[go: up one dir, main page]

CN116563122A - 图像处理方法、数据集采集方法和图像处理装置 - Google Patents

图像处理方法、数据集采集方法和图像处理装置 Download PDF

Info

Publication number
CN116563122A
CN116563122A CN202210099410.0A CN202210099410A CN116563122A CN 116563122 A CN116563122 A CN 116563122A CN 202210099410 A CN202210099410 A CN 202210099410A CN 116563122 A CN116563122 A CN 116563122A
Authority
CN
China
Prior art keywords
image
noise
definition
low
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210099410.0A
Other languages
English (en)
Inventor
金凡
张皓
杨戴天杙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ankon Technologies Co Ltd
Original Assignee
Ankon Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ankon Technologies Co Ltd filed Critical Ankon Technologies Co Ltd
Priority to CN202210099410.0A priority Critical patent/CN116563122A/zh
Priority to PCT/CN2023/072005 priority patent/WO2023143108A1/zh
Priority to US18/833,898 priority patent/US20250148576A1/en
Publication of CN116563122A publication Critical patent/CN116563122A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

公开了一种图像处理方法和数据集采集方法，图像处理方法包括：将高分辨率的高清图像与标定模糊核作用获得模糊图像；注入标定噪声形成第一噪声图像；将第一噪声图像采用降采样方法退化成低分辨率图像；对低分辨率图像进行有损压缩得到压缩图像；在压缩图像中添加模拟传输过程的随机噪点形成第二噪声图像；对第二噪声图像进行有损压缩得到低清图像，高清图像为采用胶囊内窥镜拍摄体内器官形成的图像，标定模糊核和标定噪声为拟合高清图像拍摄过程得到的结果。上述方法通过加入胶囊内窥镜在体内拍摄时相机运动带来的模糊和图像形成时的噪声影响，使图像处理更接近实际退化过程，得到精准的高清‑低清图像对应关系，以建立精准的数据集。

Description

图像处理方法、数据集采集方法和图像处理装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像处理方法、数据集采集方法和图像处理装置。
背景技术
随着科技的发展，人们对高清高分辨图像的需求越来越高，特别是在医疗影像领域，高清的医疗图像能够极大地方便主治医生分析患者的病情和做出诊断。目前，采用磁控胶囊内窥镜进行肠胃内部检查的方法已被广泛应用，胶囊内窥镜内部包括一个磁体，通过其与外部磁体间的相互作用控制内窥镜在体内移动，以拍摄胃部和肠道内壁图像，医生根据这些图像能够分析用户的胃壁和肠壁的健康状况。受限于图像传输工具的硬件限制，很多时候拍摄得到的图像分辨率较低，胃壁和肠道内侧的细节纹理模糊不清，为医生的分析与诊断带来极大的阻碍。
因此，需要使用图像超分(Image Super Resolution，由一幅低分辨率图像或图像序列恢复出高分辨率图像)等技术提升这些图像的分辨率，恢复图像的细节纹理。现有图像超分技术分为传统方法和基于深度学习的方法，前者发展时间较长，一般采用空间样条插值(bilinear)的方式来提升输入图像的分辨率，但是生成的高分辨率图像的模糊感较重，噪声放大，图像整体质量不高。而基于深度学习的方法依赖于训练数据的质量，如果训练数据设计不佳，所训练出来的模型往往不能取得较好的效果。通常，深度学习方法中的数据集制作方法是先获取高清图像，然后对高分辨率图像做降采样获得对应的低分辨率图像，将低清-高清图像对作为训练数据集。这样获取的数据集较为简单，不能全面地表达图像的退化过程，而采用这种数据集训练出来的模型往往在实际应用中的效果不尽如人意，因此根据目前的深度学习方法获取到的数据集来建立模型，据此获得的高分辨率图像仍然不是很清晰，图像恢复效果不佳，影响对图像的分析和判断。
发明内容
鉴于上述问题，本发明的目的在于提供一种图像处理方法、数据集采集方法和图像处理装置，通过模拟胶囊内窥镜在体内拍摄的高清图像的退化过程获得低分辨率的低清图像，从而获取高质量的高清-低清图像数据对，以解决现有技术中的问题。
根据本发明的第一方面，提供一种图像处理方法，包括：
将获取的高分辨率的高清图像与标定模糊核作用获得模糊图像；
在所述模糊图像中注入标定噪声形成第一噪声图像；
将所述第一噪声图像采用降采样方法退化成低分辨率图像；以及
对所述低分辨率图像进行有损压缩，降低存储空间，得到压缩图像；
模拟传输过程中的随机噪声，在所述压缩图像中添加随机噪点，形成第二噪声图像；
对所述第二噪声图像进行有损压缩后保存，得到低分辨率的低清图像，
其中，所述高清图像为采用胶囊内窥镜拍摄体内器官形成的图像，所述标定模糊核和所述标定噪声为拟合所述高清图像的拍摄过程得到的结果。
可选地，所述标定模糊核包括闪焦模糊核和运动模糊核，所述闪焦模糊核表征所述胶囊内窥镜的相机在拍摄所述高清图像的过程中由于扭曲和闪焦造成的图像模糊，所述运动模糊核表征所述相机在体内运动造成的图像模糊。
可选地，所述模糊图像为所述高清图像同时与所述闪焦模糊核和所述运动模糊核运算后得到的结果。
可选地，所述闪焦模糊核的标定步骤包括：
采用所述相机拍摄标准色卡的倾斜线，获取所述倾斜线两侧的像素值变化曲线作为脉冲信号；
计算所述脉冲信号对应的边缘函数和所述边缘函数求微分得到的线传播函数；
每隔固定的角度旋转所述标准色卡，获取多条所述倾斜线对应的多个所述线传播函数；
将多个所述线传播函数旋转一周后合成到三维空间形成点传播函数；以及
将所述点传播函数做归一化处理得到所述闪焦模糊核。
可选地，采用高斯模糊核模拟所述运动模糊核，所述高斯模糊核包括各向同性模糊核和各向异性模糊核。
可选地，所述标定噪声包括暗电流噪声和高斯噪声，所述暗电流噪声表征所述胶囊内窥镜的相机采集到的画面在信号转换过程中产生的噪声，所述高斯噪声表征所述画面在形成RGB图像的过程中产生的噪声。
可选地，所述暗电流噪声的标定步骤包括：
设置初始图像的数据，将其置于不同相机增益的黑布环境下，打光固定时间后，分别统计所述初始图像在RGB三个通道下的全图像的像素均值、横向像素均值和纵向像素均值；
获得所述不同相机增益下的每个所述通道下的全图像的像素均值和方差；
获取所述初始图像在固定相机增益下的全图像像素值，据此制作图像像素值的直方图；
根据所述像素均值和方差，分别作出多种不同函数分布下的直方图；
对比所述多种不同函数分布下的直方图与所述图像像素值的直方图的拟合度，选取最吻合的函数分布作为所述暗电流噪声的分布。
可选地，所述多种不同函数分布包括高斯分布、泊松分布和伽马分布，所述最吻合的函数分布为伽马分布。
可选地，所述高斯噪声的标定步骤包括：
设置初始图像的数据和多个不同的相机增益；
将所述初始图像置于所述多个不同相机增益的暗室环境中打光固定时间后，分别统计图像在RGB三个通道下的全图像的像素均值和方差；
根据所述像素均值和所述方差的关系制作像素均值与方差的曲线图；
获取所述相机拍摄的图像的像素均值，根据所述曲线图查找所述图像的方差；以及
根据获取的方差产生零像素均值下的高斯噪声，所述高斯噪声符合高斯分布。
可选地，在所述模糊图像中注入标定噪声形成第一噪声图像的步骤包括：
分别获取所述暗电流噪声和所述高斯噪声对应的函数分布；
分别将所述暗电流噪声和所述高斯噪声按照其对应的所述函数分布注入到所述模糊图像中以形成第一噪声图像。
可选地，采用双三次插值的降采样方法对所述第一噪声图像进行二倍降采样操作以得到所述低分辨率图像。
可选地，将所述低分辨率图像压缩为压缩图像的过程中和将所述第二噪声图像压缩为低清图像的过程中采用的有损压缩系数分别为70和90。
可选地，对图像进行有损压缩的步骤包括：
将所述图像从RGB数据转换成YUV数据，同时进行4:2:0色度抽样；
将所述YUV数据格式的所述图像分为8x8的单元格，对每个单元格执行离散余弦变化；
在执行所述离散余弦变化之后，对所述图像进行量化处理，舍弃高频区数据；
对量化后的所述图像对应的矩阵做熵编码形成压缩图像。
根据本发明的第二方面，提供一种数据集采集方法，其中，包括：
执行上述所述的图像处理方法；以及
将所述高清图像和其所对应的所述低清图像保存为一对图像数据对；
获取多个所述图像数据对制作训练数据集。
根据本发明的第三方面，提供一种图像处理装置，用于实现上述所述的图像处理方法，所述图像处理装置包括：
图像模糊单元，将获取的高分辨率的高清图像与标定模糊核作用获得模糊图像；
第一噪声注入单元，在所述模糊图像中注入标定噪声形成第一噪声图像；
降采样单元，将所述第一噪声图像采用降采样方法退化成低分辨率图像；以及
第一压缩单元，对所述低分辨率图像进行有损压缩，降低存储空间，得到压缩图像；
第二噪声注入单元，模拟传输过程中的随机噪声，在所述压缩图像中添加随机噪点，形成第二噪声图像；
第二压缩单元，对所述第二噪声图像进行有损压缩后保存，得到低分辨率的低清图像，
其中，所述高清图像为采用胶囊内窥镜拍摄体内器官形成的图像，所述标定模糊核和所述标定噪声为拟合所述高清图像的拍摄过程得到的结果。
可选地，所述图像模糊单元还用于获取所述标定模糊核，所述标定模糊核包括闪焦模糊核和运动模糊核，所述闪焦模糊核表征所述胶囊内窥镜的相机在拍摄所述高清图像的过程中由于扭曲和闪焦造成的图像模糊，所述运动模糊核表征所述相机在体内运动造成的图像模糊；
所述第一噪声注入单元还用于获取所述标定噪声，所述标定噪声包括暗电流噪声和高斯噪声，所述暗电流噪声表征所述胶囊内窥镜的相机采集到的画面在转换成数字信号的过程中产生的噪声，所述高斯噪声表征所述画面在形成RGB图像的过程中产生的噪声。
本发明提供的图像处理方法、数据集采集方法和图像处理装置，通过模拟胶囊内窥镜在体内拍摄的高清图像的退化过程，在图像处理过程中加入了模拟胶囊在体内运动引起的模糊因素和由图像处理过程中引入的噪声影响，再采用降采样和有损压缩方法多次降低高清图像的分辨率，从而得到低分辨率的压缩图像，再对压缩图像加入传输过程中的噪声影响以及对图像进行传输过程中的有损压缩，从而获取较为准确的高清图像对应的退化图像(低清图像)，该过程较为合理地描述了图像的真实退化过程，由此获得的高清图像和低清图像的数据对能有效的描述图像之间的退化关系，从而据此建立起的数据集能更好的反映图像在退化过程中受到的各种因素的影响，由此恢复出来的高分辨率图像结果更为清晰，更接近真实情况，提升了高清图像恢复的准确率和精度，而根据本发明的数据集采集方法制作的训练数据集能应用于多种图像处理过程中模型建立时的样本集建立，例如图像超分和图像去噪等领域。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1a示出了本发明的高清图像退化为低清图像的过程示意图；
图1b示出了根据本发明实施例的图像处理方法的流程图；
图2a和图2b分别示出了根据本发明实施例的闪焦模糊核的标定过程的信号变化示意图和流程图；
图3示出了本发明实施例的胶囊内窥镜拍摄图像的形成过程示意图；
图4示出了本发明实施例的暗电流噪声的标定过程的流程图；
图5a-图5c分别示出了根据本发明实施例的符合高斯分布、泊松分布和伽马分布的像素分布直方图；
图6示出了根据本发明实施例的高斯噪声的标定过程的流程图；
图7示出了根据本发明实施例的图像处理装置的简易示意图；
图8示出了根据本发明实施例的数据集采集方法的流程图。
具体实施方式
以下将参照附图更详细地描述本发明的各种实施例。在各个附图中，相同的元件采用相同或类似的附图标记来表示。为了清楚起见，附图中的各个部分没有按比例绘制。
基于深度学习的方法由于采用多层感知机非线性嵌套的方式来拟合图像低分辨率空间到高分辨率空间的映射关系，能较好地反映低分辨率图像和真实图像之间的关系。因此，本发明实施例中也采用深度学习的方法实现图像处理，进而建立对应的数据集，以建立模型，应用于各种图像处理领域，例如图像超分和噪声处理等。那么，本发明还提供一种数据集采集方法，让所训练的模型能够成功超分肠镜和胃镜等医疗图像。而建立数据集首先要建立高清图像和低清图像之间的关系，本发明通过一种图像处理方法来实现高清-低清图像数据对的建立。结合背景技术中的描述，影响图像退化的因素除了降采样还有模糊、噪声和图像保存时的压缩损失等，本发明主要分析胶囊内窥镜采集的肠镜和胃镜图像的退化过程，以实现数据集的采集。
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
图1a示出了本发明的高清图像退化为低清图像的过程示意图；图1b示出了根据本发明实施例的图像处理方法的流程图。
如图1a所示，示出了本发明的高清图像退化为低清图像的过程，高清图像是采用胶囊内窥镜例如在人体内运动，对人体器官(肠胃等)进行拍摄形成的图像，通过磁感应作用控制胶囊内窥镜在体内移动，例如在目标区域表面拖动行走，以拍摄图像，而由于胶囊内窥镜与目标区域壁(例如胃壁)之间的摩擦力导致胶囊内窥镜的镜头或相机在拍摄过程中发生扭转和运动等，受到扭曲、散焦以及运动等因素的影响，不可避免地会产生画面模糊的问题。而且相机采集到的画面在经过数字传感器的处理时还会引入一定的噪声。甚至为了降低传输成本，通常会将图像先压缩或者降采样后再传输。这些都会影响高清图像的退化，本实施例充分考虑了这些因素。
根据图1a，首先将高清图像进行图像模糊，使之与模糊核作用获得模糊图像；然后注入噪声；再进行降采样将图像分辨率降低；之后通过JPEG压缩(有损压缩)降低图像存储空间，方便图像传输；随后模拟传输过程中的随机噪声，在图像中添加服从特定分布的随机噪点；保存图像时再一次经过JPEG压缩，降低图像存储空间，最终获得低清图像。公式化表达上述过程，如下式(1)所示：
y＝(x↓bic*k+n)jpeg 式(1)
其中x表示输入的高清图像，y表示退化后的低清图像，↓bic表示bicubic(双三次插值)降采样，k表示模糊核，n表示噪声，jpeg表示JPEG压缩(有损压缩)，从式(1)可以看出，模糊、噪声、降采样和压缩都会对图像的退化产生影响。因此，为了模拟真实肠镜胃镜图像的退化过程，提供了一种与该过程相匹配的图像处理方法，以获得低清-高清数据对作为样本，以及提供了一种数据集采集方法，图像处理方法具体参见图1b。
如图1b所示，本发明实施例的图像处理方法主要包括以下步骤：
在步骤S101中，将获取的高分辨率的高清图像与标定模糊核作用获得模糊图像。
本步骤中，将获取到的高分辨率的高清图像先与标定完成的标定模糊核作用得到模糊图像，这里与图1a相对应。根据上述描述，在胶囊内窥镜拍摄的高清图像形成过程中，图像模糊的来源主要有两个地方：镜头(相机)闪焦引起的镜头模糊和场景运动带来的运动模糊。那么，标定模糊核包括闪焦模糊核和运动模糊核，闪焦模糊核表征胶囊内窥镜的相机在拍摄高清图像的过程中由于扭曲和闪焦造成的图像模糊，运动模糊核表征相机在体内运动造成的图像模糊。
进一步地，模糊图像为高清图像同时与闪焦模糊核和运动模糊核运算后得到的结果。高清图像与模糊核作用例如是卷积，模糊核视为一个矩阵，通过卷积运算使图像中每一点的像素相当于周围其他多点的像素平均值，使得图像中每一点相对于周围变得柔和，实现高清图像的模糊处理，降低图像的分辨率，得到模糊图像。关于模糊核的标定步骤在图2a-图2b中进行介绍。
在步骤S102中，在模糊图像中注入标定噪声形成第一噪声图像。
本步骤中，对应图1a，对步骤S101得到的模糊图像进行噪声注入，这里的噪声是经过标定后的标定噪声，标定噪声主要包括暗电流噪声和高斯噪声，暗电流噪声表征胶囊内窥镜的相机采集到的画面在信号转换过程中产生的噪声，高斯噪声表征画面在形成RGB图像的过程中产生的噪声。该过程主要模拟相机拍摄的画面在转换成图像的过程中受到的噪声影响。
本步骤具体包括：分别获取暗电流噪声和高斯噪声对应的函数分布；分别将暗电流噪声和高斯噪声按照其对应的函数分布注入到模糊图像中以形成第一噪声图像。通过在模糊图像中注入噪声，使得图像中每一点的像素值分布符合各噪声对应的函数分布，从而降低图像中各点的像素值，以降低分辨率。对噪声的标定步骤在图4-图6中进行介绍。
在步骤S103中，将第一噪声图像采用降采样方法退化成低分辨率图像。
本步骤中，采用双三次插值的降采样方法对第一噪声图像进行二倍降采样操作以得到低分辨率图像。具体地，在图像传输过程中，为了降低传输功耗，会对输入图像做2倍降采样操作，将图像尺寸降低到原来的一半，采用双三次插值(bicubic)降采样方法，利用待采样点周围的16个像素点做双三次插值。该插值采样方法不仅考虑周围4个相邻点的影响，还考虑各临点间灰度值变化率的影响，能够得到更接近低分辨率图像的缩小效果。
在步骤S104中，对低分辨率图像进行有损压缩，得到压缩图像。
本步骤中，为了保证传输效率，先对低分辨率图像进行一次有损压缩(即图1a中JPEG压缩)，以降低图像的存储空间，得到压缩图像，降低传输功耗，便于后续图像的传输。
在步骤S105中，模拟传输过程中的随机噪声，在压缩图像中添加随机噪点，形成第二噪声图像。
本步骤中，主要模拟图像在传输过程中受到的噪声影响，在图像中添加噪声，降低各点的像素值，形成第二噪声图像，本实施例中噪声的分布也可以符合特定函数的分布。
在步骤S106中，对第二噪声图像进行JPEG压缩后保存，得到低分辨率的低清图像。
本步骤中，在保存图像时，为了降低存储空间，也会对图像做一定程度的有损压缩。本实施例中主要采用OpenCV库中cv2.encode函数和cv2.decode函数实现两次JPEG压缩，而将低分辨率图像压缩为压缩图像的过程中(步骤S104)和将第二噪声图像压缩为低清图像的过程中(步骤S106)采用的有损压缩系数不同，分别为70和90。在传输阶段有损压缩系数选择为70，是因为实验发现不明显损失图像质量的最小压缩系数是70(压缩系数越小表示压缩程度越高)；而在图像保存阶段，有损压缩系数选择90，是由于实验发现压缩系数为90时图像在视觉上无损，同时能够降低部分存储空间。
具体地，对图像进行有损压缩(JPEG压缩)的步骤包括：
首先将图像从RGB数据转换成YUV数据，同时进行4:2:0色度抽样；然后将YUV数据格式的图像分为8x8的单元格，对每个单元格执行离散余弦变化(DCT)；在执行离散余弦变化之后，对图像进行量化处理，舍弃高频区数据；最后对量化后的图像对应的矩阵做熵编码形成压缩图像。
本实施例的图像处理方法通过模拟胶囊内窥镜在体内拍摄的高清图像的退化过程，在图像处理过程中加入了模拟胶囊在体内运动引起的模糊因素和由图像处理过程中引入的噪声影响，再采用降采样和有损压缩方法多次降低高清图像的分辨率，得到低分辨率的压缩图像，从而获取符合实际图像退化过程的准确的高清图像的退化图像(低分辨率压缩图像)，根据此图像处理方法获得的低清图像能真实有效地反映高清图像在退化过程中受到的各种因素的影响，据此可以获得精准的高清-低清图像数据对。根据本实施例的图像处理方法得到的图像数据对能更好的反映图像的真实退化过程，以此训练出的数据集更为精准，恢复出来的高分辨率图像结果更为清晰，纹理鲜明，更接近真实情况，便于图像在医学领域的研究和分析。
图2a和图2b分别示出了根据本发明实施例的闪焦模糊核的标定过程的信号变化示意图和流程图。
图2b示出了步骤S101中闪焦模糊核的标定过程，根据计算光学的理论，镜头闪焦引起的模糊问题可以由点传播函数PSF来描述，然后由点传播函数生成模糊核，图2a示出了由脉冲函数生成点传播函数的过程。
如图2a所示，首先获取脉冲信号σ(x)，然后根据脉冲函数计算边缘传播函数ESF(x)，再对边缘传播函数微分求导，获得线传播函数LSF(x)，最后旋转线传播函数一圈，合成得到点传播函数PSF(x，y)。
如图2b所示，本实施例的闪焦模糊核的标定过程主要包括步骤S1011-S1015。具体地：
在步骤S1011中，采用相机拍摄标准色卡的倾斜线，获取倾斜线两侧的像素值变化曲线作为脉冲信号。
本步骤中，首选需要获取脉冲信号，而在实际中，标定时无法获得真正的脉冲信号σ(x)，因此，采用标准色卡的倾斜线作为相机镜头的拍摄对象，作出倾斜线两侧的像素值变化曲线，采用倾斜线两侧的像素值变化曲线近似模拟脉冲信号σ(x)，设置倾斜线左侧区域较暗，右侧区域较亮，那么从左到右像素值先平滑变化，在倾斜线临域附近像素值从极低值骤然上升极高值，然后平滑变化，该曲线类似脉冲信号的变化趋势。标准色卡例如是圆盘状的，从圆心沿半径划分多条倾斜线，将色卡分成多个不同的颜色区域，每条倾斜线两侧的颜色不同，相机拍摄到的图像的像素值的分布近似为脉冲信号。
在步骤S1012中，计算脉冲信号对应的边缘函数和边缘函数求微分得到的线传播函数。
本步骤中，根据脉冲信号σ(x)计算边缘传播函数ESF(x)，然后对边缘传播函数求微分，获得对应的线传播函数LSF(x)。公式化表达上述过程如下：
ESF(x)≈smooth(σ(x)) 式(2)
LSF(x)＝diff(ESF(x)) 式(3)
公式(2)中，ESF(x)表示边缘传播函数，σ(x)表示脉冲信号。公式(3)对边缘传播函数求微分，获得一条类似一维高斯分布的曲线(参见图2a)，即为线传播函数LSF(x)，该曲线两侧信号值较低，且平滑对称，中间区域极窄，信号值较高，顶点的信号值最高，导数值为零。
在步骤S1013中，每隔固定的角度旋转标准色卡，获取多条倾斜线对应的多个线传播函数。
本步骤中，例如每隔10度旋转标准色卡的倾斜线，按照上述步骤求出每一条斜线的线传播函数，得到多个线传播函数。
在步骤S1014中，将多个线传播函数旋转一周后合成到三维空间形成点传播函数。
本步骤中，将这些线传播函数都旋转一圈，然后将旋转后的曲线按最大值对齐，合成到三维空间中形成点传播函数。旋转时沿着线传播函数的中轴线旋转360度，即可获得三维空间中的点传播函数PSF(x，y)，如图2a中最右边的图所示。可以看到，点传播函数在顶点处的信号值最高，沿着临域向外延伸，信号值越来越低，这与二维高斯模糊核极为相似。因此本步骤中标定的闪焦模糊核可以视为是线性空间中某种扭曲的二维高斯模糊核的一种表达形式。
在步骤S1015中，将点传播函数做归一化处理得到闪焦模糊核。
本步骤中，将点传播函数视为二维高斯模糊曲线，以该三维空间中曲线的顶点为中心，选取合适的长宽范围的值，最后做归一化处理，获得最终的闪焦模糊核。
本实施例中通过图2b的步骤标定了闪焦模糊核，而运动模糊核也需要标定。胶囊内窥镜的相机在拍摄过程中不可避免地存在抖动问题，导致所拍摄图像中包含运动模糊。高斯模糊核是通用的模拟运动模糊的模糊核，在大多数情况下都能较好地拟合运动模糊场景，因此本实施例采用高斯模糊核来模拟场景运行模糊过程，以高斯模糊核作为运动模糊核，模糊核例如取固定值：[3，5，7，9，11，13]。为了拓展模糊核的空间范围，也同时采用各向同性模糊核和各向异性模糊核来表示运动模糊核，尽可能囊括不同的模糊场景。高斯模糊核的公式表达如下：
其中σ表示方差，μx，μy分别表示x方向和y方向的均值。
由此完成了对闪焦模糊核和运动模糊核的标定，根据高斯模糊的相关算法，在获取了相应的标定模糊核之后，将其与高清图像进行卷积作用，可以得到模糊图像，实现高清图像的模糊处理。例如先将高清图像与闪焦模糊核作用，再与运动模糊核作用。
图3示出了本发明实施例的胶囊内窥镜拍摄图像的形成过程示意图。
如图3所示，为胶囊内窥镜拍摄的胃镜肠镜图像的形成过程。首先由胶囊镜头301采集光信号，将其传输给电子感光仪器302以形成对应的电流信号，然后由模拟前端单元(Analog front-end)303将电流信号转换为数字信号，之后经过压缩单元(crompression)304获得RAW图像，最后传给去马赛克单元305和JPEG压缩单元306进行处理，获得8位RGB压缩图像。经过分析，噪声信号主要来源于电子感光仪器302产生的暗电流噪声和去马赛克单元305与JPEG压缩单元306形成的高斯噪声。图3主要模拟了相机拍摄的图像形成过程中产生的噪声，这里只是给出了几种主要噪声的示例，实际中噪声可能不止这两种。图4-图6主要介绍如何拟合上述过程中产生的噪声信号。
图4示出了本发明实施例的暗电流噪声的标定过程的流程图，图5a-图5c分别示出了根据本发明实施例的符合高斯分布、泊松分布和伽马分布的像素分布直方图。
如图4所示，暗电流噪声的标定过程包括步骤S1021-S1025。
在步骤S1021中，设置初始图像的数据，将其置于不同相机增益的黑布环境下，打光固定时间后，分别统计初始图像在RGB三个通道下的全图像的像素均值、横向像素均值和纵向像素均值。
本步骤中，为了标定暗电流噪声，首先设置胶囊内窥镜输出的初始图像为480x480的raw类型数据，保存为bmp格式。由于不同相机增益(gain)值伴随着不同的噪声强度，将增益值分别设置为1，2，4，8，对应保存100，102，100，104张图像。然后将上述图像置于黑布环境中，用LED灯打光0～20ms，之后统计全图的时间均值对应的像素均值、横向像素均值和纵像素均值。它们的计算公式分别如下式(5)、(6)、(7)：
其中T表示最后一次打光的时刻，M表示图像的长和宽，I(x，y，t)表示图像在第t次打光时刻在坐标(x，y)处的像素值。在标定时分别统计初始图像在RGB三个通道下的全图像素均值、横向像素均值和纵向像素均值。经过分析发现，暗电流(像素)均值随着增益的增大而增大，并且R通道的暗电流均值高于G通道的，G通道的暗电流均值高于B通道的。每一个通道的暗电流均值有较好的一致性，在部分区域存在较弱的条状纹理。
在步骤S1022中，获得不同相机增益下的每个通道下的全图像的像素均值和方差。
本步骤中，得到上述全图的像素均值之后，计算全图的像素方差，由于是在不同的增益值下测量的结果，可以得到不同通道下的全图像的像素均值和方差与增益值的关系。经过标定与测试，当增益取值{1，2，4，8}时，R通道的像素均值的取值范围是4.0～5.4，G通道的像素均值的取值范围是4.0～4.6，B通道的像素均值的取值范围是4.0～4.7。R通道的像素方差(暗电流方差)的取值范围是0.020～4.698，G通道的暗电流方差的取值范围是0.003～1.401，B通道的暗电流方差的取值范围是0.009～2.487。
在步骤S1023中，获取初始图像在固定相机增益下的全图像像素值，据此制作图像像素值的直方图。
本步骤中，测量初始图像在固定增益下的各通道下的全图像素值，统计图像像素值的直方图。由于使用较小的增益值测量的像素值易受随机误差的干扰，因此采用较大的增益值(gain＝8)作为基础测量条件，测量图像在各个通道的像素值，统计图像像素值的直方图。直方图中，横坐标表示像素值，纵坐标表示像素值的分布概率，由此可以得到全图像的像素直方图曲线，该曲线符合一定的分布规律，以下几个步骤就采用常规的几种函数分布来拟合该曲线，看哪种分布与暗电流噪声的分布最为吻合。
在步骤S1024中，根据像素均值和方差，分别作出多种不同函数分布下的直方图。
本步骤中，在获得暗电流的均值和方差之后，接下来拟合暗电流的统计分布规律。根据像素均值和方差，分别作出多种不同函数分布下的直方图，其中，均值μ＝ab，方差σ2＝ab2。
例如采用常见的几种噪声分布(高斯分布、泊松分布和伽马(Gamma)分布)来拟合暗电流的统计分布规律。其中伽马分布采用matlab内置分布函数来实现，如下式(8)所示：
高斯分布(Gaussian)和泊松分布(Poisson)的概率密度函数如下式(9)、(10)所示：
其中μ和σ分别是高斯分布的均值和方差，λ是泊松分布的内置参数。
在步骤S1025中，对比多种不同函数分布下的直方图与图像像素值的直方图的拟合度，选取最吻合的函数分布作为暗电流噪声的分布。
本步骤中，对比这三种分布的直方图曲线与实际数据的直方图曲线的拟合情况，选择最接近实际数据直方图曲线的分布。试验中，采用增益值gain＝8，分别测量RGB三通道下的暗电流均值与方差，根据均值与方差作上述三种分布的直方图曲线时，由于数值大于20的像素仅占0.1％左右，为显示方便，统计时省略大于20的像素值。高斯分布、泊松分布和伽马分布三种统计分布的曲线图分别如图5a-图5c所示。
如图5a-图5c所示，根据三种统计分布的曲线图可知，随着方差σ的增强，高斯分布曲线越来越扁平；泊松分布的曲线形状受λ值影响较大，随着λ增大，曲线波峰逐渐右移；而伽马分布的曲线形状由a和b两个参数决定，其波形随参数的变化较小。通过验证发现，伽马分布的直方图曲线与实际数据的直方图曲线拟合最好，曲线形状和像素值大小两个方面都比较接近。高斯分布次之，泊松分布的曲线与实际数据的直方图曲线的差异最大，曲线形状和数值差异都比较大。因此最终选择伽马分布作为暗电流噪声的分布。当然，本实施例中仅是给出了几种常见函数分布来拟合实际图像的像素值的直方图曲线，从中选择出最为吻合的函数分布，在实际应用中也可以根据曲线的形状等选择其他合适的函数分布来拟合。
得到暗电流噪声的分布之后，将其注入到图像中，使图像中各点像素值的分布吻合暗电流噪声的分布，降低图像的分辨率。
图6示出了根据本发明实施例的高斯噪声的标定过程的流程图。
如图6所示，标定高斯噪声的过程与标定暗电流噪声的过程类似，高斯噪声的标定过程包括步骤S1031-S1035。
在步骤S1031中，设置初始图像的数据和多个不同的相机增益。
本步骤中，设置胶囊输出的图像为JPEG-480x480，rawdata数据，保存为bmp图像格式，将相机增益值分别设置为1，2，4，8。
在步骤S1032中，将初始图像置于多个不同相机增益的暗室环境中打光固定时间后，分别统计图像在RGB三个通道下的全图像的像素均值和方差。
本步骤中，将初始图像置于不同相机增益下的暗室环境中，在LED灯下打光毫秒级时间，在暗室中对着白纸拍摄。相机增益值分别设置为1，2，4，8，对应保存100，102，100，104张图像。然后统计图像在RGB三通道下的全图的像素均值和像素方差，它们的计算公式如下式(11)(12)：
其中T为最后一次打光时刻，I(x，y，t)为第t次打光在图像(x，y)坐标处的像素值，为像素均值，V为方差。
在步骤S1033中，根据像素均值和方差的关系制作像素均值与方差的曲线图。
本步骤中，分析像素均值与方差的关系，作出图，图像横坐标是均值mean，纵坐标是方差var。实验发现三个通道的/>图均存在特征峰，曲线中包含三个明显的波峰。为了拟合实际数据曲线，假定/>曲线由四部分组成：y＝y1+y2+y3+y4，其中y1＝kx+d，
这里k，d，a1，a2，a3，a4为标定参数。
在步骤S1034中，获取相机拍摄的图像的像素均值，根据曲线图查找所述图像的方差。
本步骤中，由于方差计算较为困难，因此先根据实验数据作出了均值-方差曲线图，然后获取实际拍摄图像的像素均值，根据上一步骤的曲线图，获得均值对应的方差。获取方差时，只需将均值代入到上述y1-y4中合适的公式中即可得出方差值。
在步骤S1035中，根据获取的方差产生零像素均值下的高斯噪声，高斯噪声符合高斯分布。
本步骤中，利用获得的方差产生零均值的高斯噪声，由于高斯噪声的分布符合高斯分布，因此可以得到对应方差下的零像素均值的高斯噪声曲线。将符合该分布的高斯噪声加入图片中，使得各点像素值的分布符合高斯分布，从而降低图像的像素值。
相应的，本发明还提供一种图像处理装置，用于实现上述各实施例的图像处理方法，参见图7。
图7示出了根据本发明实施例的图像处理装置的简易示意图。
如图7所示，本实施例的图像处理装置700包括：图像模糊单元701、第一噪声注入单元702、降采样单元703、第一压缩单元704、第二噪声注入单元705和第二压缩单元706。
图像模糊单元701将获取的高分辨率的高清图像与标定模糊核作用获得模糊图像；第一噪声注入单元702在模糊图像中注入标定噪声形成第一噪声图像；降采样单元703将第一噪声图像采用降采样方法退化成低分辨率图像；第一压缩单元704对低分辨率图像进行有损压缩，降低存储空间，得到压缩图像；第二噪声注入单元705模拟传输过程中的随机噪声，在压缩图像中添加随机噪点，形成第二噪声图像；第二压缩单元706对第二噪声图像进行有损压缩后保存，得到低分辨率的低清图像，其中，高清图像为采用胶囊内窥镜拍摄体内器官形成的图像，标定模糊核和标定噪声为拟合高清图像的拍摄过程得到的结果。
图像模糊单元701还用于获取标定模糊核，标定模糊核包括闪焦模糊核和运动模糊核，闪焦模糊核表征胶囊内窥镜的相机在拍摄高清图像的过程中由于扭曲和闪焦造成的图像模糊，运动模糊核表征相机在体内运动造成的图像模糊；第一噪声注入单元702还用于获取标定噪声，标定噪声包括暗电流噪声和高斯噪声，暗电流噪声表征胶囊内窥镜的相机采集到的画面在转换成数字信号的过程中产生的噪声，高斯噪声表征画面在形成RGB图像的过程中产生的噪声。
进一步地，第一噪声注入单元702和第二噪声注入单元705可以合并为同一个单元，例如噪声注入单元；同理，第一压缩单元704和第二压缩单元706可以合并为压缩单元，那么，本发明的图像处理装置具有四个单元：图像模糊单元、噪声注入单元、降采样单元和压缩单元，分别执行对应的功能，以将高清图像的分辨率降低，称为低清图像。
通过上述实施例的图像处理方法及处理装置，模拟了胶囊内窥镜在体内拍摄的高清图像的退化过程，在图像处理过程中加入了模拟胶囊在体内运动引起的模糊因素和由图像处理过程中引入的噪声影响，再采用降采样和有损压缩方法多次降低高清图像的分辨率，得到低分辨率的压缩图像，进而在压缩图像中加入模拟传输过程的噪声影响以及在传输过程中再次进行有损压缩，从而获取符合实际图像退化过程的准确的高清图像的退化图像(低清图像)，根据此图像处理方法获得的低清图像能真实有效地反映高清图像在退化过程中受到的各种因素的影响，据此可以获得精准的高清-低清图像数据对，然后建立对应的数据集和模型，如图8实施例所示。
图8示出了根据本发明实施例的数据集采集方法的流程图。
如图8所示，本实施例的数据集采集方法包括步骤S201-S208，步骤S201-S206与图1b的步骤S101-S106完全一致，本实施例的数据集采集方法是在图1a-图6实施例所描述的图像处理方法的基础上实现的，相同的步骤不再赘述，这里主要介绍步骤S207-S208。
在步骤S201中，将获取的高分辨率的高清图像与标定模糊核作用获得模糊图像。
在步骤S202中，在模糊图像中注入标定噪声形成第一噪声图像。
在步骤S203中，将第一噪声图像采用降采样方法退化成低分辨率图像。
在步骤S204中，对低分辨率图像进行有损压缩，得到压缩图像。
在步骤S205中，模拟传输过程中的随机噪声，在压缩图像中添加随机噪点，形成第二噪声图像。
在步骤S206中，对第二噪声图像进行有损压缩后保存，得到低分辨率的低清图像。
在步骤S207中，将高清图像和其所对应的低清图像保存为一对图像数据对。
本步骤中，将上述退化后得到的低清图像以及原先未经过处理的高清图像作为一对图像数据对保存。
在步骤S208中，获取多个图像数据对制作训练数据集。
本步骤中，重复上述步骤S201-S206，获取多个高清图像对应的低清图像，建立多个高清-低清图像数据对，将这些数据对共同作为训练数据集，采用该实施例的数据集采集方法建立的训练数据集可以应用于多种图像处理过程中模型建立时样本集的获取，例如图像超分、图像去模糊和图像降噪等，提升了图像处理的精度和准确度，能很好地反映图像各部分的纹理，便于医学分析和研究。
本发明提供的图像处理方法、数据集采集方法和图像处理装置，通过模拟胶囊内窥镜在体内拍摄的高清图像的退化过程，在图像处理过程中加入了模拟胶囊在体内运动引起的模糊因素和由图像处理过程中引入的噪声影响，再采用降采样和有损压缩方法多次降低高清图像的分辨率，从而得到低分辨率的压缩图像，进而在压缩图像中加入模拟传输过程的噪声影响以及在传输过程中再次进行有损压缩，从而获取较为准确的退化图像(低清图像)，该过程较为合理地描述了图像的真实退化过程，由此获得的高清图像和低清图像的数据对能有效的描述图像之间的退化关系，从而据此建立起的数据集能更好的反映图像在退化过程中受到的各种因素的影响，由此恢复出来的高分辨率图像结果更为清晰，更接近真实情况，而根据本发明的数据集采集方法制作的训练数据集能应用于多种图像处理过程中模型建立时的样本集建立。
依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (15)

1.一种图像处理方法，包括：
将获取的高分辨率的高清图像与标定模糊核作用获得模糊图像；
在所述模糊图像中注入标定噪声形成第一噪声图像；
将所述第一噪声图像采用降采样方法退化成低分辨率图像；
对所述低分辨率图像进行有损压缩，得到压缩图像；
模拟传输过程中的随机噪声，在所述压缩图像中添加随机噪点，形成第二噪声图像；
对所述第二噪声图像进行有损压缩后保存，得到低分辨率的低清图像，
其中，所述高清图像为采用胶囊内窥镜拍摄体内器官形成的图像，所述标定模糊核和所述标定噪声为拟合所述高清图像的拍摄过程得到的结果。
2.根据权利要求1所述的图像处理方法，其中，所述标定模糊核包括闪焦模糊核和运动模糊核，所述闪焦模糊核表征所述胶囊内窥镜的相机在拍摄所述高清图像的过程中由于扭曲和闪焦造成的图像模糊，所述运动模糊核表征所述相机在体内运动造成的图像模糊。
3.根据权利要求2所述的图像处理方法，其中，所述模糊图像为所述高清图像同时与所述闪焦模糊核和所述运动模糊核运算后得到的结果。
4.根据权利要求2所述的图像处理方法，其中，所述闪焦模糊核的标定步骤包括：
采用所述相机拍摄标准色卡的倾斜线，获取所述倾斜线两侧的像素值变化曲线作为脉冲信号；
计算所述脉冲信号对应的边缘函数和所述边缘函数求微分得到的线传播函数；
每隔固定的角度旋转所述标准色卡，获取多条所述倾斜线对应的多个所述线传播函数；
将多个所述线传播函数旋转一周后合成到三维空间形成点传播函数；以及
将所述点传播函数做归一化处理得到所述闪焦模糊核。
5.根据权利要求2所述的图像处理方法，其中，采用高斯模糊核模拟所述运动模糊核，所述高斯模糊核包括各向同性模糊核和各向异性模糊核。
6.根据权利要求1所述的图像处理方法，其中，所述标定噪声包括暗电流噪声和高斯噪声，所述暗电流噪声表征所述胶囊内窥镜的相机采集到的画面在信号转换过程中产生的噪声，所述高斯噪声表征所述画面在形成RGB图像的过程中产生的噪声。
7.根据权利要求6所述的图像处理方法，其中，所述暗电流噪声的标定步骤包括：
设置初始图像的数据，将其置于不同相机增益的黑布环境下，打光固定时间后，分别统计所述初始图像在RGB三个通道下的全图像的像素均值、横向像素均值和纵向像素均值；
获得所述不同相机增益下的每个所述通道下的全图像的像素均值和方差；
获取所述初始图像在固定相机增益下的全图像像素值，据此制作图像像素值的直方图；
根据所述像素均值和方差，分别作出多种不同函数分布下的直方图；
对比所述多种不同函数分布下的直方图与所述图像像素值的直方图的拟合度，选取最吻合的函数分布作为所述暗电流噪声的分布。
8.根据权利要求7所述的图像处理方法，其中，所述多种不同函数分布包括高斯分布、泊松分布和伽马分布，所述最吻合的函数分布为伽马分布。
9.根据权利要求6所述的图像处理方法，其中，所述高斯噪声的标定步骤包括：
设置初始图像的数据和多个不同的相机增益；
将所述初始图像置于所述多个不同相机增益的暗室环境中打光固定时间后，分别统计图像在RGB三个通道下的全图像的像素均值和方差；
根据所述像素均值和所述方差的关系制作像素均值与方差的曲线图；
获取所述相机拍摄的图像的像素均值，根据所述曲线图查找所述图像的方差；以及
根据获取的方差产生零像素均值下的高斯噪声，所述高斯噪声符合高斯分布。
10.根据权利要求6所述的图像处理方法，其中，在所述模糊图像中注入标定噪声形成第一噪声图像的步骤包括：
分别获取所述暗电流噪声和所述高斯噪声对应的函数分布；
分别将所述暗电流噪声和所述高斯噪声按照其对应的所述函数分布注入到所述模糊图像中以形成第一噪声图像。
11.根据权利要求1所述的图像处理方法，其中，采用双三次插值的降采样方法对所述第一噪声图像进行二倍降采样操作以得到所述低分辨率图像。
12.根据权利要求1所述的图像处理方法，其中，将所述低分辨率图像压缩为压缩图像的过程中和将所述第二噪声图像压缩为低清图像的过程中采用的有损压缩系数分别为70和90。
13.根据权利要求12所述的图像处理方法，其中，对图像进行有损压缩的步骤包括：
将所述图像从RGB数据转换成YUV数据，同时进行4:2:0色度抽样；
将所述YUV数据格式的所述图像分为8x8的单元格，对每个单元格执行离散余弦变化；
在执行所述离散余弦变化之后，对所述图像进行量化处理，舍弃高频区数据；
对量化后的所述图像对应的矩阵做熵编码形成压缩图像。
14.一种数据集采集方法，其中，包括：
执行权利要求1-13中任一项所述的图像处理方法；以及
将所述高清图像和其所对应的所述低清图像保存为一对图像数据对；
获取多个所述图像数据对制作训练数据集。
15.一种图像处理装置，用于实现权利要求1-13中任一项所述的图像处理方法，所述图像处理装置包括：
图像模糊单元，将获取的高分辨率的高清图像与标定模糊核作用获得模糊图像；
第一噪声注入单元，在所述模糊图像中注入标定噪声形成第一噪声图像；
降采样单元，将所述第一噪声图像采用降采样方法退化成低分辨率图像；以及
第一压缩单元，对所述低分辨率图像进行有损压缩，降低存储空间，得到压缩图像；
第二噪声注入单元，模拟传输过程中的随机噪声，在所述压缩图像中添加随机噪点，形成第二噪声图像；
第二压缩单元，对所述第二噪声图像进行有损压缩后保存，得到低分辨率的低清图像，
其中，所述高清图像为采用胶囊内窥镜拍摄体内器官形成的图像，所述标定模糊核和所述标定噪声为拟合所述高清图像的拍摄过程得到的结果。
CN202210099410.0A 2022-01-27 2022-01-27 图像处理方法、数据集采集方法和图像处理装置 Pending CN116563122A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202210099410.0A CN116563122A (zh) 2022-01-27 2022-01-27 图像处理方法、数据集采集方法和图像处理装置
PCT/CN2023/072005 WO2023143108A1 (zh) 2022-01-27 2023-01-13 图像处理方法、数据集采集方法和图像处理装置
US18/833,898 US20250148576A1 (en) 2022-01-27 2023-01-13 Image processing method, data set collection method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210099410.0A CN116563122A (zh) 2022-01-27 2022-01-27 图像处理方法、数据集采集方法和图像处理装置

Publications (1)

Publication Number Publication Date
CN116563122A true CN116563122A (zh) 2023-08-08

Family

ID=87470458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210099410.0A Pending CN116563122A (zh) 2022-01-27 2022-01-27 图像处理方法、数据集采集方法和图像处理装置

Country Status (3)

Country Link
US (1) US20250148576A1 (zh)
CN (1) CN116563122A (zh)
WO (1) WO2023143108A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119006681B (zh) * 2024-10-23 2024-12-17 巽风科技(贵州)有限公司 高斯点降采样方法、装置、电子设备及可读存储介质
CN119205831B (zh) * 2024-11-25 2025-04-18 山东德源电力科技股份有限公司 基于物联网的视觉数据智能采集系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
CN110120011B (zh) * 2019-05-07 2022-05-31 电子科技大学 一种基于卷积神经网络和混合分辨率的视频超分辨方法
CN113538245A (zh) * 2021-08-03 2021-10-22 四川启睿克科技有限公司 基于退化模型的超分辨率图像重建方法及系统
CN113673675A (zh) * 2021-08-10 2021-11-19 Oppo广东移动通信有限公司 模型训练方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2023143108A1 (zh) 2023-08-03
US20250148576A1 (en) 2025-05-08

Similar Documents

Publication Publication Date Title
CN111784578B (zh) 图像处理、模型训练方法及装置、设备、存储介质
KR101831551B1 (ko) 높은 동적 범위의 이미지 생성 및 렌더링
WO2022133194A1 (en) Deep perceptual image enhancement
CN110248098B (zh) 图像处理方法、装置、存储介质及电子设备
US8290295B2 (en) Multi-modal tone-mapping of images
CN115205160A (zh) 基于局部场景感知的无参考低照度图像增强方法
EP4405902A1 (en) High dynamic range view synthesis from noisy raw images
CN111862060A (zh) 一种基于CBD-Net的医学内窥图像去噪方法
Marinč et al. Multi-kernel prediction networks for denoising of burst images
CN109360148B (zh) 基于混合随机降采样的遥感影像超分辨率重构方法和装置
WO2023143108A1 (zh) 图像处理方法、数据集采集方法和图像处理装置
CN116385298A (zh) 一种用于无人机夜间采集图像的无参考增强方法
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
Huo et al. Single image-based HDR imaging with CRF estimation
Vien et al. Single-shot high dynamic range imaging via multiscale convolutional neural network
Najgebauer et al. Fully convolutional network for removing DCT artefacts from images
CN120339100A (zh) 基于isp图像信号处理视觉传感器的图像增强方法
Ye et al. Single exposure high dynamic range image reconstruction based on deep dual-branch network
Yao et al. DEUNet: Dual-encoder UNet for simultaneous denoising and reconstruction of single HDR image
CN119323523A (zh) 基于大核注意力机制的医学图像融合方法及系统
CN119379575A (zh) Hdr图像重建方法、装置、设备及存储介质
Singh et al. Detail Enhanced Multi-Exposer Image Fusion Based on Edge Perserving Filters
CN117274136A (zh) 胶囊内窥镜图像处理方法及其装置
Ikebe et al. HDR tone mapping: System implementations and benchmarking
Guo et al. Single-image hdr reconstruction based on two-stage gan structure

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination