JP6680560B2 - 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム - Google Patents
共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム Download PDFInfo
- Publication number
- JP6680560B2 JP6680560B2 JP2016028265A JP2016028265A JP6680560B2 JP 6680560 B2 JP6680560 B2 JP 6680560B2 JP 2016028265 A JP2016028265 A JP 2016028265A JP 2016028265 A JP2016028265 A JP 2016028265A JP 6680560 B2 JP6680560 B2 JP 6680560B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- confocal microscope
- omnifocal
- images
- brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0032—Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/06—Means for illuminating specimens
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
図2は、本実施形態に係る共焦点顕微鏡装置100の構成を例示した図である。共焦点顕微鏡装置100は、被検物14の3次元形状を非接触で測定する装置であり、画像貼り合せ技術を用いることで視野よりも広い領域の高さを測定することができる。被検物14は、例えば、半導体基板などである。まず、図2を参照しながら、共焦点顕微鏡装置100の構成について説明する。
Ia´ = (C/A)(Ia−Ioffset)+Ioffset
Ib´ = (C/B)(Ib-Ioffset)+Ioffset
IL´={(Ie-Ioffset)/(Id-Ioffset)}(IL-Ioffset)+Ioffset
図17は、共焦点顕微鏡装置200の機能ブロック図である。共焦点顕微鏡装置200は、貼り合せ画像構築手段120の代わりに貼り合せ画像構築手段220を備える点が、図5に示す共焦点顕微鏡装置100とは異なっている。貼り合せ画像構築手段220は、第1の画像変換手段221と、第2の画像変換手段222と、画像貼り合せ手段223を備えている。
図19は、共焦点顕微鏡装置300の機能ブロック図である。共焦点顕微鏡装置300は、貼り合せ画像構築手段120の代わりに貼り合せ画像構築手段320を備える点が、図5に示す共焦点顕微鏡装置100とは異なっている。貼り合せ画像構築手段320は、画像貼り合せ手段321と、第1の画像変換手段322と、第2の画像変換手段323を備えている。
図21は、共焦点顕微鏡装置400の機能ブロック図である。共焦点顕微鏡装置400は、貼り合せ画像構築手段120の代わりに貼り合せ画像構築手段420を備える点が、図5に示す共焦点顕微鏡装置100とは異なっている。また、貼り合せ画像構築手段420は、第2の画像変換手段を有しない点が、貼り合せ画像構築手段120とは異なっている。
Claims (12)
- 共焦点顕微鏡装置であって、
測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第1の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得する画像取得手段と、
基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように前記画像取得手段で取得された前記複数の第1の全焦点画像が変換された複数の第2の全焦点画像に基づいて貼り合せ画像を構築する貼り合せ画像構築手段と、を備え、
前記共焦点顕微鏡装置は、レーザ走査型共焦点顕微鏡装置であり、
前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、前記レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含み、
前記貼り合せ画像構築手段は、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定に基づいて、前記複数の基準全焦点画像に近づくように、前記複数の第1の全焦点画像を前記複数の第2の全焦点画像に変換する第1の画像変換手段を備える
ことを特徴とする共焦点顕微鏡装置。 - 請求項1に記載の共焦点顕微鏡装置において、
前記貼り合せ画像構築手段は、さらに、前記複数の第2の全焦点画像の画像データの各々に対して所定の階調変換処理を行うことで、前記複数の第2の全焦点画像を複数の第3の全焦点画像に変換する第2の画像変換手段を備える
ことを特徴とする共焦点顕微鏡装置。 - 請求項2に記載の共焦点顕微鏡装置において、
前記所定の階調変換処理は、前記複数の第2の全焦点画像の低階調領域を前記複数の第
2の全焦点画像の高階調領域よりも相対的に強調する階調変換処理である
ことを特徴とする共焦点顕微鏡装置。 - 請求項2又は請求項3に記載の共焦点顕微鏡装置において、
前記所定の階調変換処理は、前記複数の第2の全焦点画像を前記複数の第1の全焦点画像の階調数と同じ階調数を有する前記複数の第3の全焦点画像に変換する階調変換処理である
ことを特徴とする共焦点顕微鏡装置。 - 請求項1乃至請求項4のいずれか1項に記載の共焦点顕微鏡装置において、
前記第1の画像変換手段は、前記測定視野領域に応じた明るさ設定に関する設定値と前記画像取得手段で取得される第1の全焦点画像の輝度値との対応関係に基づいて、前記複数の第1の全焦点画像のうちの少なくとも1つの第1の全焦点画像の輝度値を補正する
ことを特徴とする共焦点顕微鏡装置。 - 請求項1乃至請求項4のいずれか1項に記載の共焦点顕微鏡装置において、
前記第1の画像変換手段は、2以上の第1の全焦点画像の輝度値であって2以上の測定視野領域に重複して含まれる領域に対応する輝度値が近づくように、前記複数の第1の全焦点画像のうちの少なくとも1つの第1の全焦点画像の輝度値を補正する
ことを特徴とする共焦点顕微鏡装置。 - 請求項2乃至請求項4のいずれか1項に記載の共焦点顕微鏡装置において、
前記貼り合せ画像構築手段は、さらに、
前記複数の第1の全焦点画像、前記複数の第2の全焦点画像、又は、前記複数の第3の全焦点画像を貼り合せる画像貼り合せ手段を備える
ことを特徴とする共焦点顕微鏡装置。 - 請求項1乃至請求項7のいずれか1項に記載の共焦点顕微鏡装置において、
前記基準とする明るさ設定は、前記複数の測定視野領域に対応する複数の明るさ設定から選択された一の明るさ設定である
ことを特徴とする共焦点顕微鏡装置。 - 請求項8に記載の共焦点顕微鏡装置において、
前記基準とする明るさ設定は、前記複数の測定視野領域に対応する前記複数の明るさ設定のうちの最も明るい明るさ設定である
ことを特徴とする共焦点顕微鏡装置。 - 請求項1乃至請求項9のいずれか1項に記載の共焦点顕微鏡装置において、
前記第1の画像変換手段は、前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定と輝度値のオフセット成分に基づいて、前記複数の基準全焦点画像に近づくように、前記複数の第1の全焦点画像を前記複数の第2の全焦点画像に変換する
ことを特徴とする共焦点顕微鏡装置。 - 測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第1の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得し、
基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定とに基づいて、前記複数の第1の全焦点画像を複数の第2の全焦点画像に変換し、
前記複数の第2の全焦点画像に基づいて貼り合せ画像を構築し、
前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含む
ことを特徴とする貼り合せ画像構築方法。 - 測定すべき対象である測定対象領域を構成する複数の測定視野領域の各々の第1の全焦点画像を、当該測定視野領域に応じた明るさ設定で取得し、
基準とする明るさ設定で前記複数の測定視野領域を撮像したときに得られる複数の基準全焦点画像に近づくように、少なくとも前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定とに基づいて、前記複数の第1の全焦点画像を複数の第2の全焦点画像に変換し、
前記複数の第2の全焦点画像に基づいて貼り合せ画像を構築し、
前記基準とする明るさ設定と前記測定視野領域に応じた明るさ設定は、レーザ走査型共焦点顕微鏡装置が有する光源の出射光量に関する設定、前記レーザ走査型共焦点顕微鏡装置が有する光検出器から出力する信号又は出力した信号を増幅する増幅率に関する設定、前記レーザ走査型共焦点顕微鏡装置が有するレーザ光源の駆動電流に関する設定、又は、前記レーザ走査型共焦点顕微鏡装置が有するフォトマルチプライヤ若しくはアバランシェフォトダイオードへの印加電圧に関する設定、の少なくとも一つを含む
処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016028265A JP6680560B2 (ja) | 2016-02-17 | 2016-02-17 | 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム |
| US15/423,879 US10234673B2 (en) | 2016-02-17 | 2017-02-03 | Confocal microscope apparatus, stitched image construction method and computer-readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016028265A JP6680560B2 (ja) | 2016-02-17 | 2016-02-17 | 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017146466A JP2017146466A (ja) | 2017-08-24 |
| JP6680560B2 true JP6680560B2 (ja) | 2020-04-15 |
Family
ID=59559629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016028265A Active JP6680560B2 (ja) | 2016-02-17 | 2016-02-17 | 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10234673B2 (ja) |
| JP (1) | JP6680560B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6768289B2 (ja) * | 2015-12-01 | 2020-10-14 | キヤノン株式会社 | 走査型顕微鏡 |
| JP6680560B2 (ja) * | 2016-02-17 | 2020-04-15 | オリンパス株式会社 | 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム |
| CN111505816B (zh) * | 2020-04-09 | 2022-05-31 | 揽华智慧医疗科技(江苏)有限公司 | 高通量电子显微镜成像方法及系统 |
| CN113344834B (zh) * | 2021-06-02 | 2022-06-03 | 深圳兆日科技股份有限公司 | 图像拼接方法、装置及计算机可读存储介质 |
| CN119603552B (zh) * | 2024-12-18 | 2025-09-16 | 中国科学院合肥物质科学研究院 | 面向计数框计数的浮游植物快速扫描显微高清成像方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5932871A (en) * | 1995-11-08 | 1999-08-03 | Olympus Optical Co., Ltd. | Microscope having a confocal point and a non-confocal point, and a confocal point detect method applied thereto |
| JP3847422B2 (ja) | 1997-08-28 | 2006-11-22 | オリンパス株式会社 | 高さ測定方法及びその装置 |
| JP2004170572A (ja) | 2002-11-19 | 2004-06-17 | Keyence Corp | 画像つなぎ合わせ機能を有する共焦点顕微鏡システム、光量偏心補正方法及びコンピュータプログラム |
| WO2010011953A1 (en) * | 2008-07-25 | 2010-01-28 | Sloan Kettering Institute For Cancer Research | Rapid confocal microscopy to support surgical procedures |
| US8509565B2 (en) * | 2008-12-15 | 2013-08-13 | National Tsing Hua University | Optimal multi-resolution blending of confocal microscope images |
| US20100150472A1 (en) * | 2008-12-15 | 2010-06-17 | National Tsing Hua University (Taiwan) | Method for composing confocal microscopy image with higher resolution |
| JP5365407B2 (ja) * | 2009-08-17 | 2013-12-11 | ソニー株式会社 | 画像取得装置及び画像取得方法 |
| TWI414817B (zh) * | 2010-07-23 | 2013-11-11 | Univ Nat Taipei Technology | 線型彩色共焦顯微系統 |
| JP2012155010A (ja) * | 2011-01-24 | 2012-08-16 | Keyence Corp | 顕微鏡システム、表面状態観察方法および表面状態観察プログラム |
| JP2013011856A (ja) * | 2011-06-01 | 2013-01-17 | Canon Inc | 撮像システムおよびその制御方法 |
| JP5732353B2 (ja) * | 2011-08-31 | 2015-06-10 | 株式会社キーエンス | 拡大観察装置、拡大観察方法および拡大観察プログラム |
| JP2013148856A (ja) * | 2011-12-22 | 2013-08-01 | Canon Inc | 撮像装置、表示画面生成装置、撮像システム、及びその制御方法 |
| JP2013152334A (ja) * | 2012-01-25 | 2013-08-08 | Olympus Corp | 顕微鏡システムおよび顕微鏡観察方法 |
| DE102012217967A1 (de) * | 2012-10-01 | 2014-04-03 | Carl Zeiss Microscopy Gmbh | Konfokales Mikroskop mit frei einstellbarer Probenabtastung |
| JP6680560B2 (ja) * | 2016-02-17 | 2020-04-15 | オリンパス株式会社 | 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム |
| JP6811950B2 (ja) * | 2016-12-09 | 2021-01-13 | オリンパス株式会社 | 走査型共焦点顕微鏡装置、走査制御方法、及び、プログラム |
-
2016
- 2016-02-17 JP JP2016028265A patent/JP6680560B2/ja active Active
-
2017
- 2017-02-03 US US15/423,879 patent/US10234673B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017146466A (ja) | 2017-08-24 |
| US10234673B2 (en) | 2019-03-19 |
| US20170235119A1 (en) | 2017-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6680560B2 (ja) | 共焦点顕微鏡装置、貼り合せ画像構築方法、及びプログラム | |
| JP5356728B2 (ja) | エッジ抽出装置、測量機、およびプログラム | |
| JP2014190890A (ja) | 硬さ試験機、及び硬さ試験方法 | |
| JP5447516B2 (ja) | 画像処理装置、画像処理方法、プログラム、および、顕微鏡 | |
| JP2010062106A (ja) | 走査型荷電粒子顕微鏡装置及び走査型荷電粒子顕微鏡装置で取得した画像の処理方法 | |
| JP2018096760A (ja) | 走査型共焦点顕微鏡装置、走査制御方法、及び、プログラム | |
| JP6132650B2 (ja) | 共焦点顕微鏡装置 | |
| JP2013065266A (ja) | 画像処理装置、蛍光顕微鏡装置および画像処理プログラム | |
| JP2010216891A (ja) | 計測装置 | |
| JP2001082935A (ja) | 三次元測定装置 | |
| JP4865271B2 (ja) | 共焦点走査型顕微鏡 | |
| JP4542302B2 (ja) | 共焦点顕微鏡システム | |
| JP6660774B2 (ja) | 高さデータ処理装置、表面形状測定装置、高さデータ補正方法、及びプログラム | |
| JP2004069795A (ja) | 共焦点顕微鏡システム及びパラメータ設定用コンピュータプログラム | |
| JP2004138947A (ja) | 走査モード選択可能な共焦点顕微鏡システム | |
| JP2001056438A (ja) | 共焦点走査型顕微鏡、共焦点走査型顕微鏡における画像表示方法および画像表示処理をするための処理プログラムを記録した記録媒体 | |
| JP2010262104A (ja) | 走査型共焦点顕微鏡 | |
| JP2007139884A (ja) | 共焦点走査型顕微鏡 | |
| JP2004170572A (ja) | 画像つなぎ合わせ機能を有する共焦点顕微鏡システム、光量偏心補正方法及びコンピュータプログラム | |
| JP2009151163A (ja) | シェーディング補正装置及びシェーディング補正方法 | |
| JP4536845B2 (ja) | 共焦点顕微鏡 | |
| WO2023276326A1 (ja) | 光学画像処理方法、機械学習方法、学習済みモデル、機械学習の前処理方法、光学画像処理モジュール、光学画像処理プログラム、及び光学画像処理システム | |
| US11900574B2 (en) | Image processing system and image processing method | |
| JP2004145153A (ja) | 光量飽和表示機能付共焦点顕微鏡 | |
| JP2005291720A (ja) | 蛍光検出装置、濃淡情報補正方法および濃淡情報補正プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190924 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191113 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200122 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200319 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6680560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |