[go: up one dir, main page]

CN113759535B - 一种基于多角度照明反卷积的高分辨率显微成像方法 - Google Patents

一种基于多角度照明反卷积的高分辨率显微成像方法 Download PDF

Info

Publication number
CN113759535B
CN113759535B CN202110847672.6A CN202110847672A CN113759535B CN 113759535 B CN113759535 B CN 113759535B CN 202110847672 A CN202110847672 A CN 202110847672A CN 113759535 B CN113759535 B CN 113759535B
Authority
CN
China
Prior art keywords
illumination
deconvolution
led
led array
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110847672.6A
Other languages
English (en)
Other versions
CN113759535A (zh
Inventor
张晓磊
左超
孙佳嵩
胡岩
沈德同
尹维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zircon Optoelectronics Suzhou Co ltd
Original Assignee
Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd filed Critical Nanjing University Of Technology Intelligent Computing Imaging Research Institute Co ltd
Priority to CN202110847672.6A priority Critical patent/CN113759535B/zh
Publication of CN113759535A publication Critical patent/CN113759535A/zh
Application granted granted Critical
Publication of CN113759535B publication Critical patent/CN113759535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

发明公开了一种基于多角度照明反卷积的高分辨率显微成像方法。与传统明场显微镜采用的科勒照明方式不同，本系统采用LED阵列作为照明光源，通过依次采集不同照明角度下的物体图像，获取不同空间频率成分的物体信息，然后根据系统参数计算出不同照明角度对应的强度传递函数对图像进行最小二乘反卷积重构。相比传统明场显微镜同时获取所有空间频率信息的成像方法，本发明通过使用最小二乘反卷积的算法，对噪声具有更强的鲁棒性。

Description

一种基于多角度照明反卷积的高分辨率显微成像方法
技术领域
本发明属于光学显微成像技术，特别是一种基于多角度照明反卷积的高分辨率显微成像方法。
背景技术
自从Leeuwenhoek于三百多年前第一次使用手工自制显微镜观察细胞以来，人类在显微成像领域陆续开展了诸多探索。其中，以看的更清楚，更精细为目的的高分辨率显微成像是其中重要的一环。1873年，Abbe在德国显微镜学报上发表了显微镜衍射成像理论，对显微镜的成像过程做了科学的阐释，首次提出了显微镜的光学分辨率是有限的，受到物镜数值的限制(张祥翔.现代显微成像技术综述[J].光学仪器,2015(6):550-560.)。
在传统科勒照明下的明场显微成像中，由于衍射光线无法全部通过物镜，所以物空间的一个点经显微镜成像后会映射成一个衍射斑，导致分辨率的降低。在这里，系统的光学分辨率的计算方法常常采用瑞利判据，它规定当一点的衍射极大与另一点的第一衍射极小相重合时，则刚好能分辨两点。(Katsumasa Fujita,Follow-up review:recentprogress in the development of super-resolution optical microscopy[J],Microscopy,Volume 65,Issue 4,August 2016,275–281)在瑞利判据下，显微镜的光学分辨率fR为：
综上所述，在照明光一定的情况下，显微镜的光学分辨率由物镜的数值孔径决定，所以要想对物体看的越精细，就需要越大数值孔径的物镜。然而瑞利判据下的光学分辨率截止频率只是人眼直接观察的分辨率极限，并不是光学成像系统的理论分辨率极限。光学系统的理论分辨率极限f(Chao Zuo,Transport of intensity equation:a tutorial[J],Optics and Lasers in Engineering,Volume 135,2020,106-187,)为：
其中，NAill为照明光源的数值孔径，当物镜数值孔径NAobj较小时，NAill通常与NAobj相等，此时光学系统的理论分辨率极限f为：
但是光学成像系统往往并不能达到其理论分辨率极限，原因是光学成像系统对信息的传递能力随着频率的升高而衰减，到截止频率附近衰减到0，会导致一定范围内的高频信息被淹没在噪声中。所以光学成像系统的实际分辨率难以达到理论分辨率极限的问题亟待解决。这里我们提出了一种基于多角度扫描的高分辨率显微成像方法，可以解决上述问题。
发明内容
本发明的目的在于解决了传统科勒照明下，因截止频率处信噪比过低而无法达到衍射极限分辨率的问题。
本发明的技术方案如下：
一种基于多角度照明反卷积的高分辨率显微成像方法，步骤如下：
步骤一.原始图像采集，使用可编程LED阵列作为成像系统的照明光源，依次点亮LED阵列的LED单元，由相机在同步触发信号下采集一系列不同照明角度下的图像序列Im,n(x,y)，其中，I是光强图像，(x,y)是空域坐标，m,n是光强图像所对应的LED单元在LED阵列中的位置坐标；
步骤二.计算出每个LED单元的所对应的照明光空间频率矢量(um,un)；
步骤三.计算LED阵列坐标为(m,n)的LED单元所对应的相干强度传递函数ATFm,n；
步骤四.对步骤一中拍到的图像序列进行最小二乘反卷积，首先对拍到的强度图序列Im,n(x,y)做傅里叶变换得到强度图频谱序列(u,v)是频域坐标，然后进行最小二乘反卷积获得重构图像Ideconv(x,y)。
优选的，步骤二中，每个LED单元所对应的照明光空间频率矢量(um,un)的计算公式为：
其中，m为LED阵列X方向的第m个LED单元，n为LED阵列Y方向的第n个LED单元，h为可编程LED阵列距离待测样品的距离，d为LED单元的间距，λ为照明波长。
优选的，步骤三中，相干强度传递函数ATFm,n的计算公式为：
其中(u,v)是频域坐标，为物镜相干照明截止频率,NAobj是物镜数值孔径。
优选的，步骤四中，最小二乘反卷积公式为：
其中，Ideconv(x,y)为反卷积后图像的强度图，F-1傅里叶逆变换。
本发明的有益效果是：(1)使用可编程LED阵列使用角度扫描的方法拍摄多角度照明下待测物体的光强图序列，可以对非相干照明中的不同空间频率成分进行高信噪比，高动态范围的信息采集，具有成像分辨率更高，成像效果更好的特点。(2)基于系统实际参数，对不同照明角度下的光强传递函数进行了计算，然后基于最小二乘法对所拍到的光强图序列进行反卷积重构，所得结果更精确，对噪声的鲁棒性更强。
附图说明
图1是基于多角度照明反卷积的高分辨率显微成像方法的流程图
图2是不同角度照明下的强度图像、强度图像频谱和与之对应的相干强度传递函数ATFm,n。
图3是使用该方法的合成强度传递函数和传统非相干照明强度传递函数对比。
图4是使用该方法的成像结果、使用传统非相干成像结果的对比。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
结合图1，本实施例是一种实现基于多角度照明反卷积的高分辨率显微成像方法，包括以下步骤：
步骤一：多角度照明下的强度图像采集。使用可编程LED阵列作为系统的照明光源，依次点亮LED单元，LED阵列的中心单元须对准成像系统光轴，LED单元每次发出不同角度的单色或白色近似平面波照射在样品上。同时单色或彩色相机接收来自可编程LED阵列的同步触发信号后开始曝光，对多角度照明下的待测物体所成像进行采集，形成单色或彩色光强图像序列Im,n(x,y)。其中，I(x,y)是光强图像，m,n是光强图像所对应的LED单元在LED阵列中的位置坐标。
步骤二：根据可编程LED阵列的位置参数，对每个LED单元所对应的照明光空间频率矢量(um,un)进行计算：
其中，m为LED阵列X方向的第m个LED单元，n为LED阵列Y方向的第n个LED单元，h为编程LED阵列距离待测样品的距离，d为LED单元的间距，λ为照明波长。
步骤三：计算每个LED单元所对应的相干强度传递函数ATFm,n。如图(2)所示，相干强度传递函数ATFm,n与多角度照明下的强度图像Im,n(x,y)相对应，如果可编程LED阵列的位置参数标定准确，计算所得的相干强度传递函数ATFm,n应该与强度图像Im,n的频谱形状一致。相干强度传递函数ATFm,n的计算公式如下：
其中(um,un)是LED单元的所对应的照明光空间频率矢量，fc为物镜相干照明截止频率：
图2是强度图像频谱相干强度传递函数ATFm,n和不同角度照明下的强度图像Im,n(x,y)，可以看到在这几个照明角度下，强度图像频谱/>的形状与相干强度传递函数ATFm,n匹配情况良好。
步骤四：根据步骤三中得到的相干强度传递函数ATFm,n，对步骤一中拍到的图像序列进行最小二乘反卷积，得到对待测样品的高分辨率成像结果。首先对拍到的强度图序列I(x,y)做傅里叶变换得到强度图频谱序列然后进行最小二乘反卷积，反卷积公式为：
其中，Ideconv(x,y)为反卷积后图像的强度图，F-1傅里叶逆变换。
图3是使用该方法的合成强度传递函数和传统非相干照明强度传递函数对比。可以看到本方法的合成强度传递函数在中高频区域的信息传递能力高于传统非相干成像的传递函数。
图4是使用该方法所得到的成像结果(右)与传统非相干照明成像结果(左)对比，可以看出该方法具有更高的分辨率和更好的成像效果。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (1)

1.一种基于多角度照明反卷积的高分辨率显微成像方法，其特征在于步骤如下：
步骤一．原始图像采集，使用可编程LED阵列作为成像系统的照明光源，依次点亮LED阵列的LED单元，由相机在同步触发信号下采集一系列不同照明角度下的图像序列，其中，/>是光强图像，/>是空域坐标，/>是光强图像所对应的LED单元在LED阵列中的位置坐标；
步骤二．计算出每个LED单元的所对应的照明光空间频率矢量；
步骤三．计算LED阵列坐标为的LED单元所对应的相干强度传递函数/>；
步骤四．对步骤一中拍到的图像序列进行最小二乘反卷积，首先对拍到的强度图序列做傅里叶变换得到强度图频谱序列/>，/>是频域坐标，然后进行最小二乘反卷积获得重构图像/>；
步骤二中，每个LED单元所对应的照明光空间频率矢量的计算公式为：
其中，m为LED阵列X方向的第m个LED单元，n为LED阵列Y方向的第n个LED单元，为可编程LED阵列距离待测样品的距离，/>为LED单元的间距，/>为照明波长；
步骤三中，相干强度传递函数的计算公式为：
其中是频域坐标，/>为物镜相干照明截止频率,/>是物镜数值孔径；
步骤四中，最小二乘反卷积公式为：
其中，为反卷积后图像的强度图，/>傅里叶逆变换。
CN202110847672.6A 2021-07-26 2021-07-26 一种基于多角度照明反卷积的高分辨率显微成像方法 Active CN113759535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110847672.6A CN113759535B (zh) 2021-07-26 2021-07-26 一种基于多角度照明反卷积的高分辨率显微成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110847672.6A CN113759535B (zh) 2021-07-26 2021-07-26 一种基于多角度照明反卷积的高分辨率显微成像方法

Publications (2)

Publication Number Publication Date
CN113759535A CN113759535A (zh) 2021-12-07
CN113759535B true CN113759535B (zh) 2024-05-31

Family

ID=78787966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110847672.6A Active CN113759535B (zh) 2021-07-26 2021-07-26 一种基于多角度照明反卷积的高分辨率显微成像方法

Country Status (1)

Country Link
CN (1) CN113759535B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114296228B (zh) * 2021-12-31 2024-01-23 南京理工大学智能计算成像研究院有限公司 一种基于混合照明模式的高分辨率显微成像方法
CN114509869B (zh) * 2021-12-31 2024-04-26 南京理工大学智能计算成像研究院有限公司 一种基于多半径环形照明的显微成像装置及反卷积方法
CN116380897A (zh) * 2023-04-03 2023-07-04 南京理工大学 一种针对大相位物体的定量相位显微成像方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106842540A (zh) * 2017-03-24 2017-06-13 南京理工大学 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法
CN107065159A (zh) * 2017-03-24 2017-08-18 南京理工大学 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
CN107290846A (zh) * 2017-08-04 2017-10-24 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
CN107966801A (zh) * 2017-12-29 2018-04-27 南京理工大学 一种基于环形照明的高速傅立叶叠层成像装置及重构方法
CN112130308A (zh) * 2020-08-20 2020-12-25 浙江大学 一种多角度照明的高分辨显微成像系统
WO2021143637A1 (zh) * 2020-01-18 2021-07-22 哈尔滨工业大学 基于环形阵列光源照明的三维全内反射显微成像装置及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106842540A (zh) * 2017-03-24 2017-06-13 南京理工大学 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法
CN107065159A (zh) * 2017-03-24 2017-08-18 南京理工大学 一种基于大照明数值孔径的大视场高分辨率显微成像装置及迭代重构方法
CN107290846A (zh) * 2017-08-04 2017-10-24 南京理工大学 基于环状可编程led照明的定量相位显微成像方法
CN107966801A (zh) * 2017-12-29 2018-04-27 南京理工大学 一种基于环形照明的高速傅立叶叠层成像装置及重构方法
WO2021143637A1 (zh) * 2020-01-18 2021-07-22 哈尔滨工业大学 基于环形阵列光源照明的三维全内反射显微成像装置及方法
CN112130308A (zh) * 2020-08-20 2020-12-25 浙江大学 一种多角度照明的高分辨显微成像系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于光强传输方程的非干涉相位恢复与定量相位 显微成像：文献综述与最新进展;左超;《中国激光》;第43卷(第6期);第17-22页 *
差分相衬显微成像技术发展综述;范瑶;《红外与激光工程》;第48卷(第6期);第11-17页 *

Also Published As

Publication number Publication date
CN113759535A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
US8019136B2 (en) Optical sectioning microscopy
CN113759535B (zh) 一种基于多角度照明反卷积的高分辨率显微成像方法
CN109580457B (zh) 基于led阵列编码照明的三维衍射层析显微成像方法
US7929044B2 (en) Autofocus searching method
US10338368B2 (en) Phase contrast imaging
CN108982456B (zh) 基于倏逝波照明的三维活细胞超分辨显微成像方法和装置
WO2019024491A1 (zh) 基于环状可编程led照明的高效率定量相位显微成像方法
WO2020066041A1 (ja) 顕微鏡システム
US10330913B2 (en) Method and device for imaging an object
CN107121065A (zh) 一种便携式相位定量检测装置
CN111257226A (zh) 基于偏振自相关的暗场共焦显微测量装置和方法
CN108918465B (zh) 光学三维成像系统及光学三维成像方法
CN110058392A (zh) 一种基于光强传输方程的散斑定量相位成像系统及其方法
CN116183568A (zh) 一种三维结构光照明超分辨显微成像的高保真重构的方法和装置
CN110567959B (zh) 一种自适应像差校正图像扫描显微成像方法
JP2015064462A (ja) 共焦点顕微鏡
JP2915919B2 (ja) レーザ走査蛍光顕微鏡
Maiden et al. A new method of high resolution, quantitative phase scanning microscopy
Arnison et al. Wavefront coding fluorescence microscopy using high aperture lenses
CN115272504B (zh) 一种用于宽场照明共焦显微成像系统的信号提取和重建图像方法
CN114509869B (zh) 一种基于多半径环形照明的显微成像装置及反卷积方法
WO2021064807A1 (ja) 顕微鏡装置、データ生成方法、およびプログラム
US20250315919A1 (en) Fourier Ptychographic Generation of an Image
Indebetouw Properties of a scanning holographic microscope: improved resolution, extended depth-of-focus, and/or optical sectioning
Hong et al. Phase retrieval based on transport of intensity equation and image interpolation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20250826

Address after: 215000 Jiangsu Province, Suzhou City, Suzhou Taihu National Tourism Resort, Xiangshan Industrial Park, Building 11

Patentee after: Zircon Optoelectronics (Suzhou) Co.,Ltd.

Country or region after: China

Address before: 210000 floor 4, unit 2, building B4, science and technology complex, No. 8, Jialing Jiangdong Street, Jianye District, Nanjing, Jiangsu Province

Patentee before: Nanjing University of technology intelligent computing Imaging Research Institute Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right