WO2018008062A1 - 蛍光観察装置および蛍光観察内視鏡装置 - Google Patents
蛍光観察装置および蛍光観察内視鏡装置 Download PDFInfo
- Publication number
- WO2018008062A1 WO2018008062A1 PCT/JP2016/069786 JP2016069786W WO2018008062A1 WO 2018008062 A1 WO2018008062 A1 WO 2018008062A1 JP 2016069786 W JP2016069786 W JP 2016069786W WO 2018008062 A1 WO2018008062 A1 WO 2018008062A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- light
- visible
- photoelectric conversion
- wavelength band
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00186—Optical arrangements with imaging filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/046—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for infrared imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
- A61B1/051—Details of CCD assembly
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/07—Endoradiosondes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Definitions
- Patent Document 2 discloses a technique for mounting a stacked imaging device on an endoscope device.
- visible light and excitation light are irradiated on the object to be inspected from the distal end portion of the endoscope scope, and reflected from the object to be inspected.
- the fluorescence emitted by the ICG by light excitation is guided to the imaging unit via the image guide.
- the multilayer interference filter can increase the light shielding rate by increasing the number of films to be stacked.
- the multilayer interference filter increases the thickness of the filter by increasing the number of films to be stacked.
- the multilayer interference filter in the state is arranged as an interlayer filter between the first substrate and the second substrate of the multilayer image sensor, and measures are taken to compensate for the low light shielding rate of the interlayer filter.
- the setting device has preset the first detection intensity detected by any one of the first photoelectric conversion elements.
- each of the first photoelectric conversion elements sets the emission intensity of the visible light so that the first detection intensity detected is equal to or less than the maximum detection intensity. Also good.
- the setting device gradually changes the emission intensity of the visible light emitted by the light source device, while changing the emission intensity of each visible light.
- the second detection intensity which is the intensity of light detected by the two photoelectric conversion elements, is monitored, and when the level of the second detection intensity detected by the second photoelectric conversion element changes by a certain level or more
- the level of the first detection intensity detected by the first photoelectric conversion element may be stored, and the constant detection intensity may be set based on the stored level of the first detection intensity.
- the fluorescence observation endoscope apparatus 1 emits fluorescence by exciting the ICG administered by photographing the subject 901 with visible light (hereinafter referred to as “normal photographing”) and irradiation with excitation light such as near infrared light. Imaging of the inspection object 901 by fluorescence (hereinafter referred to as “fluorescence imaging”) is performed.
- the insertion unit 11 is inserted into the abdomen 900 or the like of the subject to be inspected, and an image of the inspection object 901 is taken. At this time, the illumination light guided through the optical signal cable 50 is irradiated from the distal end portion of the insertion portion 11 to the device 901 to be inspected.
- the endoscope scope unit 10 outputs an imaging signal corresponding to the captured image of the inspected object 901 to the external processing unit 30 via the electric signal cable 60.
- the light source device 20 emits illumination light that irradiates the inspection object 901 when the inspection object 901 is observed in the fluorescence observation endoscope apparatus 1. Illumination light emitted from the light source device 20 is guided to the operation unit 12 of the endoscope scope unit 10 through the optical signal cable 50, and irradiated to the object 901 from the imaging unit 13 provided at the distal end of the insertion unit 11. Is done.
- the light source device 20 emits illumination light in a wavelength band used for photographing the object 901 in the fluorescence observation endoscope device 1.
- FIG. 2 is a block diagram showing a schematic configuration of the fluorescence observation endoscope apparatus 1 according to the embodiment of the present invention.
- the imaging unit 13 provided at the distal end portion of the endoscope scope unit 10 constituting the fluorescence observation endoscope apparatus 1 includes an imaging lens 130, an excitation light cut filter 131, a stacked image sensor 132, And a light guide 51.
- the excitation light cut filter 131 is an optical filter that reflects or absorbs and attenuates only the reflected light from the object 901 emitted from the imaging lens 130 and the light in the wavelength band of the excitation light included in the fluorescence.
- the excitation light cut filter 131 attenuates light in a wavelength band around 700 nm to 800 nm, which is the wavelength band of excitation light.
- the excitation light cut filter 131 attenuates the excitation light included in the incident reflected light and fluorescence to a level substantially close to “0”. "Is used for explanation.
- the excitation light cut filter 131 emits reflected light and fluorescence from the inspection object 901 from which the excitation light is cut to the multilayer image sensor 132.
- the stacked image sensor 132 is a solid-state imaging device that exposes (detects) incident light and outputs an electrical signal obtained by photoelectric conversion of the exposed light as an imaging signal.
- the multilayer image sensor 132 exposes reflected light and fluorescence from the inspection object 901 from which the excitation light emitted from the excitation light cut filter 131 is cut, and outputs respective imaging signals corresponding to the exposed reflected light and fluorescence. Generate.
- the stacked image sensor 132 is an image sensor that exposes (detects) reflected light (hereinafter referred to as “image sensor for visible image capturing”) and an image sensor that exposes (detects) fluorescence transmitted through the image sensor for visible image capturing.
- the stacked image sensor 132 has a structure in which a visible image capturing image sensor and a fluorescent image capturing image sensor are stacked with an interlayer filter interposed therebetween.
- the digital / analog conversion unit 33 performs digital / analog conversion (D / A conversion) on each of the display image data (digital values) input from the image processing unit 32.
- the digital / analog conversion unit 33 outputs the digital / analog converted image signal (analog signal) to the color monitor 40 as a display image signal generated by the external processing unit 30, and connects the object 901 to be inspected to the color monitor 40. Display the image that contains it.
- the image processing unit 32 provided in 30 corresponds to a component constituting the fluorescence observation apparatus of the present invention.
- a pixel signal (analog signal) output from each pixel 1320 for each row is input to the analog / digital conversion unit 1323.
- the horizontal scanning circuit 13222 controls the analog / digital conversion unit 1323 for each column of the pixels 1320 in the pixel unit 1321 in accordance with the control from the control circuit 13220, and the analog / digital conversion unit 1323 converts the analog / digital conversion.
- the pixel signal (digital value) after the output is sequentially output to the horizontal signal line 1326 for each column of the pixels 1320 in the pixel portion 1321.
- the analog / digital conversion unit 1323 converts the pixel signal of the digital value that each of the analog / digital conversion circuits 13230 performs analog / digital conversion to the horizontal signal line 1326 according to control from the horizontal scanning circuit 13222 in the reading unit 1322. Via the serializer 1324.
- the analog / digital conversion circuit 13230 is provided for each column of pixels 1320 in the pixel portion 1321, that is, the analog / digital conversion unit 1323 having one analog / digital conversion circuit 13230 in one column. Indicated.
- the configuration in the analog / digital conversion unit 1323 is not limited to the configuration shown in FIG.
- the analog / digital conversion unit 1323 may include a single analog / digital conversion circuit 13230 for a plurality of columns of the pixels 1320 in the pixel unit 1321.
- a configuration may be adopted in which one analog / digital conversion circuit 13230 sequentially performs analog / digital conversion on the voltage value of the analog pixel signal output from the pixel 1320 in each column.
- the arrangement of the pixels 1320 in the visible image capturing image sensor and the fluorescent image capturing image sensor is not limited to the same arrangement.
- the total number of R pixels, G pixels, and B pixels in the visible image capturing image sensor and the number of fluorescent pixels in the fluorescent image capturing image sensor are not limited to the same number of pixels.
- the image sensor for capturing a fluorescent image may have a smaller number of pixels than the image sensor for capturing a visible image.
- the area of one pixel 1320 (fluorescent pixel) arranged in the image sensor for fluorescent image capturing is four pixels 1320 arranged in the image sensor for visible image capturing (four in two rows and two columns). Minutes).
- FIG. 4 shows a state in which the microlens layer 132-5 and the on-chip color filter layer 132-4 are formed on the entire surface on the light incident side of the multilayer image sensor 132.
- each of the microlens layer 132-5 and the on-chip color filter layer 132-4 is formed only in the pixel region arranged on the image sensor substrate 132-1 for imaging a visible image. May be.
- the dielectric multilayer filter layer 132-3 attenuates visible light that passes through the visible image capturing image sensor substrate 132-1 and enters each pixel disposed on the fluorescent image capturing image sensor substrate 132-2.
- This is a layer for forming a dielectric multilayer filter, which is an optical filter in which inorganic materials such as dielectrics are laminated in multiple layers.
- the dielectric multilayer filter is formed as an interlayer filter disposed between the visible image capturing image sensor substrate 132-1 and the fluorescent image capturing image sensor substrate 132-2.
- the distance between the microlens layer 132-5 and the fluorescent image capturing image sensor substrate 132-2 is not excessively long, and the fluorescent image capturing image sensor substrate 132-2 is not excessively long.
- the sensitivity to the incident light and the remarkable deterioration of the oblique incident characteristic to the light incident from an oblique direction can be suppressed.
- the thickness of the dielectric multilayer filter layer 132-3 described above attenuates visible light incident on each pixel arranged on the fluorescent image capturing image sensor substrate 132-2 to a negligible level. The thickness is not such that a dielectric multilayer filter with a high attenuation factor is formed.
- the image sensor substrate 132-2 for capturing a fluorescent image captures each circuit that realizes the function of the image sensor for capturing a fluorescent image that outputs an image signal that is mainly exposed to the fluorescence transmitted through the image sensor substrate 132-1 for capturing a visible image.
- the photoelectric conversion layer 132-21 is a layer for forming a photoelectric conversion element constituting the fluorescent pixel 1320IR.
- FIG. 5 schematically shows a state where photoelectric conversion elements 132021 constituting each of the three fluorescent pixels 1320IR are formed on the photoelectric conversion layer 132-21.
- Each photoelectric conversion element 132021 generates and accumulates signal charges corresponding to the light intensity of incident light. More specifically, each photoelectric conversion element 132021 is incident on the visible image capturing image sensor substrate 132-1 via the on-chip color filter layer 132-4 from the microlens layer 132-5, and is used for visible image capturing. Reflected light (visible light) and fluorescent light transmitted through the opening (the substrate region SR shown in FIG. 5) of the corresponding pixel 1320 formed on the image sensor substrate 132-1 and the dielectric multilayer filter layer 132-3. A signal charge corresponding to the light intensity is generated and accumulated.
- the on-chip color filter 13204G that transmits visible light in the blue color is formed, and the on-chip color filter 13204B that transmits visible light in the blue (B) wavelength band is formed at a position corresponding to the B pixel 1320B. ing.
- each of the on-chip color filter 13204R, the on-chip color filter 13204G, and the on-chip color filter 13204B is formed in, for example, a Bayer array.
- the setting unit 21 may monitor the visible light signal intensity of the pixel 1320 to control the light emission intensity of the white light source 221.
- the range of the pixel 1320 for which the setting unit 21 monitors the visible light signal intensity may be the whole of one frame or a predetermined range of one frame. For example, it may be a predetermined range from the center of one frame, that is, a range where a main subject (inspected object 901) can be taken. Thereby, the light emission intensity of the white light source 221 can be controlled at higher speed.
- the setting unit 21 assumes that when one of the fluorescent signal intensity values changes by a predetermined value or more, when the fluorescent pixel 1320IR exposes (detects) visible light, the visible light signal intensity of the corresponding pixel 1320 May be held (recorded).
- the setting unit 21 repeatedly monitors the fluorescence signal intensity of the fluorescence pixel 1320IR and retains (records) the visible light signal intensity of the corresponding pixel 1320, thereby minimizing the current white light (visible light) emission intensity level.
- the setting unit 21 increases the emission intensity of the white light source 221 until the digital value indicating the magnitude of the pixel signal output from the G pixel 1320G becomes “3000”, the fluorescent pixel 1320IR corresponding to the G pixel 1320G
- the setting unit 21 decreases the light emission intensity.
- the white light source 221 is controlled.
- the setting unit 21 The white light source 221 is controlled so as to maintain the current emission intensity.
- the setting unit 21 increases the light emission intensity.
- the white light source 221 is controlled.
- the control amount of the light emission intensity of the white light source 221 by the setting unit 21 is not particularly limited.
- the fluorescence observation endoscope apparatus 1 white light (visible light) from the white light source 221 is determined until it is determined that the fluorescence exposure (detection) accuracy of the wavelength band WD in the photoelectric conversion element 132021 is deteriorated.
- the emission intensity can be increased.
- the fluorescence observation endoscope apparatus 1 does not darken the white light (visible light) emitted from the white light source 221 more than necessary, and is based on the visible image imaging signal exposed by the visible image imaging image sensor. In addition, it is possible to suppress deterioration in image quality in the visible image of the inspection object 901.
- the setting unit 21 sets the setting signal intensity of each pixel 1320 without distinguishing which wavelength band of light (visible light), that is, what color the on-chip color filter 13204 corresponds to.
- the lowest value among the visible light signal intensities of the R pixel 1320R, the G pixel 1320G, and the B pixel 1320B when the visible light signal intensity of the fluorescent pixel 1320IR indicates a value is set to be common to the respective pixels 1320.
- the setting unit 21 sets the setting signal intensity by distinguishing which pixel 1320 is the pixel corresponding to the on-chip color filter 13204, as described above, white light from the white light source 221 is generated.
- the emission intensity of (visible light) can be controlled more appropriately. More specifically, consider a case where the relationship between the visible light signal intensity and the fluorescence signal intensity in each pixel 1320 is the relationship shown in FIGS. 8A to 8C.
- the setting unit 21 does not distinguish each pixel 1320, “1800” is set as the setting signal strength as described above. For this reason, when the visible light signal intensity of the G pixel 1320G is “2500”, the setting unit 21 controls the white light source 221 so as to decrease the light emission intensity.
- the setting unit 21 distinguishes each pixel 1320, “2800” is set as the setting signal strength of the G pixel 1320G as described above. Therefore, the setting unit 21 does not control the white light source 221 so as to reduce the light emission intensity even when the visible light signal intensity of the G pixel 1320G is “2500”, for example, so as to maintain the current light emission intensity. Therefore, the white light source 221 is controlled. If the setting unit 21 does not distinguish between the respective pixels 1320, the visible light signal intensity of the G pixel 1320G does not become “3000” or more, and the wavelength band WD in the photoelectric conversion element 132021 of the corresponding fluorescent pixel 1320IR.
- the fluorescence exposure (detection) accuracy does not deteriorate, control is performed so as to reduce the emission intensity of the white light source 221.
- the visible light signal intensity of the pixel 1320 has the exposure (detection) accuracy of the fluorescence in the wavelength band WD in the photoelectric conversion element 132021 of the corresponding fluorescent pixel 1320IR.
- the signal intensity is weaker than the worsening visible light signal intensity, this means that the light emission intensity of the white light source 221 may be controlled early, that is, with a margin.
- the setting unit 21 may be configured to notify the image processing unit 32 included in the external processing unit 30 of information indicating that the light emission intensity of the white light source 221 is controlled.
- the image processing unit 32 performs image processing on the parallel raw data output from the deserializer 31, the image processing unit 32 performs image processing (for example, gamma correction processing) according to the notification from the setting unit 21.
- image processing for example, gamma correction processing
- the timing at which the setting unit 21 performs the setting signal strength setting process is not particularly limited.
- each pixel 1320 (R pixel 1320R, G pixel 1320G, and B pixel 1320B) disposed on the visible image capturing image sensor substrate 132-1 and the dielectric multilayer filter 13203 are provided.
- the corresponding pixel 1320 (fluorescent pixel 1320IR) arranged on the fluorescent image capturing image sensor substrate 132-2 are basically constant. This is because the structure of the multilayer image sensor 132 does not change in principle after the fluorescence observation endoscope apparatus 1 is assembled.
- the setting unit 21 may set the setting signal intensity by performing setting signal intensity setting processing at least once before assembling and shipping the fluorescence observation endoscope apparatus 1. That is, the setting unit 21 may not perform the setting signal strength setting process again.
- the light source device 20 is caused by the fluorescence emitted by the ICG administered by normal imaging of the inspected object 901 by visible light and irradiation of excitation light such as near infrared light by the stacked image sensor 132.
- a second substrate (fluorescent image capturing image sensor substrate 132-2) on which a plurality of photoelectric conversion elements 132021) are formed; a visible image capturing image sensor substrate 132-1; An interlayer filter (dielectric material) that is disposed between the optical image capturing image sensor substrate 132-2 and attenuates light in the visible region (reflected light (visible light)) transmitted through the visible image capturing image sensor substrate 132-1 Multi-layer filter 13203), an imaging device (laminated image sensor 132), and visible light irradiated by light source device 20 (white light emitted from white light source 221; that is, visible light separated by dichroic mirror 231) ) Can be detected by each photoelectric conversion element 132011, and the fluorescence detection value (exposure (detection) accuracy) detected by each photoelectric conversion element 132021 is a predetermined value (fluorescence exposure (detection) accuracy) Fluorescence observation apparatus (fluorescence observation endoscope apparatus) having a setting device (setting unit 21) that is set to be equal to or less than
- the light source device 20 can set the emission intensity of visible light (white light emitted from the white light source 221) separately from the emission intensity of excitation light (near infrared light).
- the unit 21 detects the first detected intensity (visible light) that is the intensity of the visible region light (reflected light (visible light)) included in the reflected light incident on the stacked image sensor 132 detected by each photoelectric conversion element 132011.
- a fluorescence observation apparatus fluorescence observation endoscope apparatus 1 configured to set the emission intensity of visible light (white light emitted from the white light source 221) irradiated by the light source device 20 is configured.
- the setting unit 21 has visible light (white light emitted by the white light source 221) at a timing synchronized with a period (frame rate) in which the visible light signal intensity is detected by each photoelectric conversion element 132011.
- the fluorescence observation apparatus fluorescence observation endoscope apparatus 1 is configured to set the emission intensity.
- the photoelectric conversion element 132011 includes light in the visible region of the first wavelength band (for example, light in the wavelength band of 400 nm to 500 nm), the second wavelength band different from the first wavelength band.
- Light in the visible region for example, light in the wavelength band of 500 nm to 600 nm
- light in the visible region in a third wavelength band different from the first wavelength band and the second wavelength band for example, wavelengths in the range of 600 nm to 700 nm
- the setting unit 21 corresponds to the light in the visible region of any one of the wavelength bands), and the setting unit 21 has the minimum visible light signal intensity level for each light in the visible region of the wavelength band to which the photoelectric conversion element 132011 corresponds.
- the maximum detection intensity (set signal strength) corresponding to each fluorescence observation apparatus is comprised of.
- the setting unit 21 has visible light (white light emitted by the white light source 221) at a timing synchronized with a period (frame rate) in which the visible light signal intensity is detected by each photoelectric conversion element 132011.
- the fluorescence observation apparatus fluorescence observation endoscope apparatus 1 is configured to set the emission intensity.
- the setting unit 21 gradually changes the light emission intensity of visible light (white light emitted by the white light source 221) emitted from the light source device 20 (for example, a predetermined light emission intensity level). , And gradually increase from a low level to a strong level), the fluorescence signal intensity, which is the intensity of light detected by each photoelectric conversion element 132021, is monitored, and the level of the fluorescence signal intensity detected by the photoelectric conversion element 132021 Is stored (held), the level of the visible light signal intensity detected by the corresponding photoelectric conversion element 132011 is stored (stored), for example, when the photoelectric conversion element 132021 exposes (detects) visible light.
- Fluorescence observation apparatus fluorescence observation endoscope apparatus that sets a constant detection intensity (setting signal intensity) based on the level of the visible light signal intensity held (held) ) It is configured.
- each fluorescence observation apparatus fluorescence observation endoscope apparatus 1
- first wavelength band the second wavelength band
- third wavelength band based on the respective minimum visible light signal intensity levels stored (held).
- Visible area A corresponding set certain detection intensity (setting signal intensity) in each fluorescence observation apparatus is comprised of.
- the dielectric multilayer filter 13203 constitutes a fluorescence observation apparatus (fluorescence observation endoscope apparatus 1), which is a dielectric multilayer film filter.
- a fluorescence observation endoscope apparatus for observing a fluorescent substance (for example, a fluorescent substance made of indocyanine green derivative-labeled antibody (ICG)), which is visible.
- a light source device 20 capable of irradiating the object to be inspected with light and a wavelength band of excitation light (near-infrared light) for emitting fluorescence to the object to be inspected by irradiating the fluorescent material;
- a visible image capturing image sensor substrate 132-1 having a plurality of photoelectric conversion elements 132011 for detecting light in the visible region of the reflected light reflected from the (inspected object 901), and a visible image capturing image sensor substrate 132.
- Image sensor substrate 132-2 for imaging a fluorescent image on which a plurality of photoelectric conversion elements 132021 for detecting fluorescence in reflected light transmitted through -1 are formed, and an image sensor for imaging a visible image
- a dielectric multilayer filter 13203 disposed between the plate 132-1 and the fluorescent image capturing image sensor substrate 132-2 for attenuating the visible region light transmitted through the visible image capturing image sensor substrate 132-1;
- the light emission intensity of visible light (white light emitted by the white light source 221, that is, visible light separated by the dichroic mirror 231) emitted from the light source device 20, and the respective photoelectric conversion elements.
- the detection value (exposure (detection) accuracy) of fluorescence that can be detected by 132011 and detected by each photoelectric conversion element 132021 is equal to or less than a predetermined value (appropriate level that does not deteriorate the exposure (detection) accuracy of fluorescence)
- a fluorescence observation endoscope apparatus (fluorescence observation endoscope apparatus 1) including a fluorescence observation apparatus including a setting unit 21 configured to be configured as described above.
- the stacked image sensor 132 is inserted in the living body (inspection subject to whom a fluorescent substance made of ICG is administered) in the fluorescence observation endoscope apparatus 1 (insertion unit 11). ) (The imaging unit 13 provided at the distal end portion of the insertion portion 11) is configured.
- the visible image capturing image sensor that exposes (detects) visible region light (visible light), and the infrared A fluorescent image capturing image sensor that exposes (detects) light in the region (near infrared light), and an interlayer filter disposed between the visible image capturing image sensor and the fluorescent image capturing image sensor.
- the to-be-inspected object is irradiated as illumination light with the white light of the wavelength band of visible light, and the white light of the wavelength band of excitation light.
- the visible light signal intensity represented by the visible image pickup signal is monitored in the light source device provided in the fluorescence observation apparatus.
- strength monitored is determined based on the preset setting signal intensity
- the emission intensity of white light in the wavelength band of the visible light to be emitted is exposed (detected) by the fluorescence image pickup image sensor provided in the solid-state image pickup device. ) It can be strengthened even before it is determined that the accuracy is deteriorated. Thereby, in the embodiment of the present invention, in the fluorescence observation device, the emission intensity of the white light in the wavelength band of the visible light emitted from the light source device is not weakened more than necessary, and the visible image imaging provided in the solid-state imaging device is provided. Degradation of the image quality of the visible image of the object to be inspected based on the visible image imaging signal exposed by the image sensor can be suppressed.
- a solid-state imaging device in the embodiment, a visible image imaging image sensor and a fluorescence image imaging included in the stacked image sensor 132) provided in the imaging unit configuring the fluorescence observation apparatus of the present invention.
- the image signal output from the image sensor is a pixel signal corresponding to a signal charge obtained by photoelectric conversion of each pixel in the pixel unit, that is, RAW data.
- RAW data a signal charge obtained by photoelectric conversion of each pixel in the pixel unit
- the format of the imaging signal output from the solid-state imaging device is not limited to the RAW data shown in the embodiment of the present invention.
- the pixel signal may be subjected to YC processing, and converted into a so-called luminance color difference signal such as a YCbCr signal or a YUV signal, for example, and output.
- the visible image capturing image sensor converts the digital pixel signal output from the analog / digital conversion unit 1323 into a digital luminance / chrominance signal, and then serial / parallel-converted serial luminance / chrominance signal by the serializer 1324.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Endoscopes (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
可視光および励起光の波長帯域を含む光を被写体に照射することができる光源装置と、被写体から反射された反射光の内、可視領域の光を検出する第1の光電変換素子を複数形成した第1の基板と、第1の基板を透過した反射光の内、赤外領域の光を検出する第2の光電変換素子を複数形成した第2の基板と、第1の基板と第2の基板との間に配置され、第1の基板を透過した可視領域の光を減衰する層間フィルタと、を備えた撮像装置と、光源装置が照射する可視光の発光強度を、それぞれの第1の光電変換素子で検出でき、かつ、それぞれの第2の光電変換素子で検出する光の検出値が所定の値以下となるように設定する設定装置と、を有する。
Description
本発明は、蛍光観察装置および蛍光観察内視鏡装置に関する。
従来から、癌などを診断するために、ICG(インドシアニングリーン)といわれる誘導体標識抗体(蛍光薬剤)を予め検査対象者の体内に投与することによって、病変の有無を判断する診断法が知られている。ICGは、癌などの病巣に親和性をもった蛍光物質であり、赤外領域の光によって励起し、蛍光発光する。そして、従来から、ICGの蛍光発光を観察する機能を備えた様々な医療用のシステムが提案されている。なお、例えば、医師などの検査実施者は、医療用のシステムによって観察した蛍光発光の明るさから病変の有無を判断している。
従来の医療用のシステムには、蛍光発光を観察するための構成として、近赤外光などの赤外領域の光を、ICGを励起させるための励起光として照射し、照射した励起光によって蛍光発光した病巣部の特定のタンパク質を造影する蛍光観察装置を備えている。
例えば、特許文献1には、可視光を用いた通常の観察に加えて、励起光を用いた蛍光の観察を行うことができる内視鏡装置が開示されている。特許文献1に開示された内視鏡装置では、挿入部の先端部から可視光と励起光とを被検査体に照射し、被検査体から反射した可視光および励起光と、励起光による励起によってICGが蛍光発光した蛍光とをイメージガイドファイバを介してカメラヘッドに導く。そして、特許文献1に開示された内視鏡装置では、まず、カメラヘッドに導かれた可視光、励起光、および蛍光を、カメラヘッド内に備えたダイクロックミラーによって、可視光と、励起光および蛍光とに分離する。ここで分離された可視光は、撮像手段によって撮像される。また、特許文献1に開示された内視鏡装置では、分離された励起光および蛍光は、カメラヘッド内に備えた励起光カットフィルタによって励起光が除去(カット)され、蛍光のみがイメージインテンシファイアによって増幅されて、可視光用の撮像手段とは別の撮像手段によって撮像される。
しかしながら、特許文献1に開示された内視鏡装置の構成、つまり、ダイクロックミラーによって光を分離する構成では、それぞれの撮像手段によって、可視光の撮像と蛍光の撮像とを同時に行うことができるが、撮像系、つまり、ダイクロックミラーや撮像手段などで構成される撮像部の構成が大きくなってしまう。このため、特許文献1に開示された撮像部の構成を、内視鏡装置の挿入部の先端部に搭載することは難しい。より具体的には、内視鏡装置には、撮像部を内視鏡装置の挿入部の外部に搭載する種類の装置と、挿入部の先端部に搭載する種類の装置がある。撮像部を挿入部の先端部に搭載する種類の内視鏡装置では、撮像部が搭載されている挿入部の先端部を湾曲させる構成にすることによって、広範囲の観察を行うことが可能となる。しかしながら、特許文献1に開示された内視鏡装置の技術では、先端部を湾曲させる構成によって広範囲の観察を行う機能を実現することが困難である。
また、従来から、例えば、特許文献2のように、可視領域の光(可視光)を撮像するための第1の基板と、赤外領域の光(近赤外光)を撮像するための第2の基板とを積層した積層型の撮像装置が提案されている。そして、特許文献2には、積層型の撮像装置を内視鏡装置に搭載する技術が開示されている。特許文献2に開示された内視鏡装置では、内視鏡スコープ部の先端部から可視光と励起光とを被検査体に照射し、被検査体から反射した可視光および励起光と、励起光による励起によってICGが蛍光発光した蛍光とをイメージガイドを介して撮像部に導く。そして、特許文献2に開示された内視鏡装置では、撮像部に導かれた可視光、励起光、および蛍光の内、励起光のみが、カメラヘッド内に備えた励起光カットフィルタによって除去(カット)され、可視光と蛍光とが、積層型の撮像装置に入射される。特許文献2に開示された積層型の撮像装置では、第1の基板で可視光を撮像し、第1の基板を透過した可視光と蛍光との内、可視光は、第1の基板と第2の基板との間に配置された層間フィルタによって除去(カット)され、第2の基板で蛍光のみを撮像する。
特許文献2では、積層型の撮像装置を撮像部に備える内視鏡装置の構成が開示されているが、特許文献2に開示されたような積層型の撮像装置を内視鏡装置の先端部に搭載することによって、先端部を小型化した内視鏡装置を実現することも考えられる。
しかしながら、ICGによる蛍光の発光は非常に微弱である。このため、特許文献2に開示されたような積層型の撮像装置(以下、「積層型イメージセンサ」という)において、微弱なICGによる蛍光を第2の基板で撮像するためには、第1の基板と第2の基板との間に配置する層間フィルタで、第1の基板を透過した可視光を、非常に高い遮光率で除去(カット)して、可視光の光量を、蛍光の光量よりも十分に小さくする必要がある。しかし、積層型イメージセンサに配置する層間フィルタの材料として、可視光を赤色(R)、緑色(G)、青色(B)の波長帯域のそれぞれの光に分離して入射させるために第1の基板に貼付されるオンチップカラーフィルタと同様の有機材料を用いたのでは、可視光の遮光率が非常に低く、第1の基板を透過した可視光を十分に除去(カット)することが難しい。
そこで、層間フィルタとして、無機材料を多層に積層した多層膜干渉フィルタを用いることも考えられる。多層膜干渉フィルタは、積層する膜の数を増やすことによって遮光率を高くすることができる。しかし、多層膜干渉フィルタは、積層する膜の数を増やすことによって、フィルタの厚さが厚くなってしまう。そして、積層型イメージセンサに、十分な高さの遮光率を実現できるまで積層する膜の数を増やした厚さの厚い多層膜干渉フィルタを配置すると、第1の基板に配置されたマイクロレンズから第2の基板までの間の距離が長くなり、第2の基板に配置された画素における光に対する感度や、斜め方向から入射する光に対する特性(斜入射特性)が著しく悪化してしまう。
このため、積層型イメージセンサを実際に内視鏡装置の先端部に搭載する際には、薄い(極端に厚くない)多層膜干渉フィルタ、つまり、十分な高さの遮光率が実現できていない状態の多層膜干渉フィルタを、層間フィルタとして積層型イメージセンサの第1の基板と第2の基板との間に配置し、層間フィルタの遮光率が低くなっている分を補うための施策を行う必要がある。
この層間フィルタの遮光率が低くなっている分を補うための施策としては、内視鏡装置の先端部から被検査体に照射する可視光の強度を抑える方法が考えられる。この方法では、内視鏡装置におけるあらゆる状況で蛍光の誤検出(蛍光の検出精度の悪化)を防ぐため、被検査体に照射する可視光の強度を、被検査体から反射した可視光の強度が強くなる状況、つまり、被検査体の可視光の反射率が高く、内視鏡装置の先端部と被検査体との距離が近い状況であっても、層間フィルタの遮光率の低下分を補うことができるような強度に決定することになる。このため、被検査体に照射する可視光の強度は、いかなる状況でも、層間フィルタによって除去(カット)することができなかった可視光を補完することができるように、十分に抑えた(弱くした)強度に設定することになる。また、被検査体から反射してくる可視光は、被検査体における可視光の反射率によって異なることも考慮すると、被検査体の可視光の反射率が高いことも想定して、被検査体に照射する可視光の強度をさらに抑えた(弱くした)強度に設定することになる。
しかしながら、被検査体に照射する可視光の強度を十分に抑えた(弱くした)強度に設定すると、例えば、被検査体の反射率が低い状況や、内視鏡装置の先端部と被検査体との距離が遠い状況など、被検査体から反射した可視光の強度が弱くなる状況では、積層型イメージセンサの第1の基板に入射する可視光が著しく低下してしまう。この積層型イメージセンサの第1の基板に入射する可視光の低下は、第1の基板で撮像した被検査体を含む画像の画質を劣化させてしまう要因となる。
本発明は、上記の課題に基づいてなされたものであり、光電変換部が形成された複数の半導体基板を積層した構成の固体撮像装置によって可視光と蛍光物質が励起した蛍光とを同時に撮像する際に、蛍光の検出精度の悪化を防ぐと共に、可視光を撮像した画像における画質の劣化を抑制することができる蛍光観察装置および蛍光観察内視鏡装置を提供することを目的としている。
本発明の第1の態様の蛍光観察装置は、可視光および励起光の波長帯域を含む光を被写体に照射することができる光源装置と、前記被写体から反射された反射光の内、可視領域の光を検出する第1の光電変換素子を複数形成した第1の基板と、前記第1の基板を透過した前記反射光の内、赤外領域の光を検出する第2の光電変換素子を複数形成した第2の基板と、前記第1の基板と前記第2の基板との間に配置され、前記第1の基板を透過した可視領域の光を減衰する層間フィルタと、を備えた撮像装置と、前記光源装置が照射する前記可視光の発光強度を、それぞれの前記第1の光電変換素子で検出でき、かつ、それぞれの前記第2の光電変換素子で検出する光の検出値が所定の値以下となるように設定する設定装置と、を有する。
本発明の第2の態様によれば、上記第1の態様の蛍光観察装置において、前記光源装置は、前記可視光の発光強度を前記励起光の発光強度とは別に設定することができ、前記設定装置は、それぞれの前記第1の光電変換素子が検出した、前記撮像装置に入射した前記反射光に含まれる前記可視領域の光の強度である第1の検出強度に基づいて、前記光源装置が照射する前記可視光の発光強度を設定してもよい。
本発明の第3の態様によれば、上記第2の態様の蛍光観察装置において、前記設定装置は、いずれかの前記第1の光電変換素子が検出した前記第1の検出強度が予め設定した最大の検出強度を超えた場合に、それぞれの前記第1の光電変換素子は検出する前記第1の検出強度が前記最大の検出強度以下となるように、前記可視光の発光強度を設定してもよい。
本発明の第4の態様によれば、上記第3の態様の蛍光観察装置において、前記設定装置は、それぞれの前記第1の光電変換素子によって前記第1の検出強度を検出する周期に同期したタイミングで、前記可視光の発光強度を設定してもよい。
本発明の第5の態様によれば、上記第4の態様の蛍光観察装置において、前記設定装置は、前記光源装置が照射する前記可視光の発光強度を徐々に変動させながら、それぞれの前記第2の光電変換素子が検出した光の強度である第2の検出強度を監視し、前記第2の光電変換素子が検出した前記第2の検出強度のレベルが一定レベル以上変化したときに、対応する前記第1の光電変換素子が検出した前記第1の検出強度のレベルを記憶し、記憶した前記第1の検出強度のレベルに基づいて、前記最大の検出強度を設定してもよい。
本発明の第6の態様によれば、上記第5の態様の蛍光観察装置において、前記第1の光電変換素子は、第1の波長帯域の可視領域の光、前記第1の波長帯域とは異なる第2の波長帯域の可視領域の光、前記第1の波長帯域および前記第2の波長帯域とは異なる第3の波長帯域の可視領域の光のいずれか1つの波長帯域の可視領域の光に対応し、前記設定装置は、前記第1の光電変換素子が対応する波長帯域の可視領域の光ごとに、最小の前記第1の検出強度のレベルを記憶し、記憶したそれぞれの最小の前記第1の検出強度のレベルに基づいて、前記第1の波長帯域の可視領域、前記第2の波長帯域の可視領域、前記第3の波長帯域の可視領域のそれぞれに対応する前記最大の検出強度を設定してもよい。
本発明の第7の態様によれば、上記第2の態様の蛍光観察装置において、前記設定装置は、前記第1の光電変換素子の検出強度が予め設定した一定の検出強度になるように、前記可視光の発光強度を設定してもよい。
本発明の第8の態様によれば、上記第7の態様の蛍光観察装置において、前記設定装置は、それぞれの前記第1の光電変換素子によって前記第1の検出強度を検出する周期に同期したタイミングで、前記可視光の発光強度を設定してもよい。
本発明の第9の態様によれば、上記第8の態様の蛍光観察装置において、前記設定装置は、前記光源装置が照射する前記可視光の発光強度を徐々に変動させながら、それぞれの前記第2の光電変換素子が検出した光の強度である第2の検出強度を監視し、前記第2の光電変換素子が検出した前記第2の検出強度のレベルが一定レベル以上変化したときに、対応する前記第1の光電変換素子が検出した前記第1の検出強度のレベルを記憶し、記憶した前記第1の検出強度のレベルに基づいて、前記一定の検出強度を設定してもよい。
本発明の第10の態様によれば、上記第9の態様の蛍光観察装置において、前記第1の光電変換素子は、第1の波長帯域の可視領域の光、前記第1の波長帯域とは異なる第2の波長帯域の可視領域の光、前記第1の波長帯域および前記第2の波長帯域とは異なる第3の波長帯域の可視領域の光のいずれか1つの波長帯域の可視領域の光に対応し、前記設定装置は、前記第1の光電変換素子が対応する波長帯域の可視領域の光ごとに、最小の前記第1の検出強度のレベルを記憶し、記憶したそれぞれの最小の前記第1の検出強度のレベルに基づいて、前記第1の波長帯域の可視領域、前記第2の波長帯域の可視領域、前記第3の波長帯域の可視領域のそれぞれに対応する前記一定の検出強度を設定してもよい。
本発明の第11の態様によれば、上記第1の態様から上記第10の態様のいずれか一態様の蛍光観察装置において、前記層間フィルタは、誘電体多層膜フィルタであってもよい。
本発明の第12の態様の蛍光観察内視鏡装置は、蛍光物質を観察する蛍光観察内視鏡装置であって、可視光、および前記蛍光物質に照射することで被検査体に蛍光を発光させる励起光の波長帯域を含む光を前記被検査体に照射することができる光源装置と、前記被検査体から反射された反射光の内、可視領域の光を検出する第1の光電変換素子を複数形成した第1の基板と、前記第1の基板を透過した前記反射光の内、蛍光を検出する第2の光電変換素子を複数形成した第2の基板と、前記第1の基板と前記第2の基板との間に配置され、前記第1の基板を透過した可視領域の光を減衰する層間フィルタと、を備えた撮像装置と、前記光源装置が照射する前記可視光の発光強度を、それぞれの前記第1の光電変換素子で検出でき、かつ、それぞれの前記第2の光電変換素子で検出する蛍光の検出値が所定の値以下となるように設定する設定装置と、を有する蛍光観察装置、を備える。
本発明の第13の態様によれば、上記第12の態様の蛍光観察内視鏡装置において、前記撮像装置は、前記蛍光観察内視鏡装置において前記生体の内部に挿入される挿入部の先端部に配置されてもよい。
上記各態様によれば、光電変換部が形成された複数の半導体基板を積層した構成の固体撮像装置によって可視光と蛍光物質が励起した蛍光とを同時に撮像する際に、蛍光の検出精度の悪化を防ぐと共に、可視光を撮像した画像における画質の劣化を抑制することができる蛍光観察装置および蛍光観察内視鏡装置を提供することができる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、本発明の蛍光観察装置が、蛍光観察内視鏡装置として構成される場合について説明する。図1は、本発明の実施形態における蛍光観察内視鏡装置の概略構成を示した構成図である。
図1において、蛍光観察内視鏡装置1は、内視鏡スコープ部10と、光源装置20と、外部処理部30と、カラーモニタ40と、を備えている。蛍光観察内視鏡装置1は、例えば、腹腔鏡手術用の内視鏡装置である。蛍光観察内視鏡装置1は、内視鏡スコープ部10における体内への挿入部が検査対象者の腹部900に挿入され、検査対象者の体内の生体組織など、観察対象の被検査体901を撮影する。図1には、蛍光観察内視鏡装置1を構成する内視鏡スコープ部10の挿入部が、検査対象者の腹部900に挿入されて被検査体901を撮影している状態を示している。
蛍光観察内視鏡装置1は、ICGなどの誘導体標識抗体(蛍光薬剤)が体内に予め投与された状態の検査対象者に対して使用される。以下の説明においては、蛍光薬剤としてICGが検査対象者の体内に投与されているものとして説明する。
蛍光観察内視鏡装置1は、可視光による被検査体901の撮影(以下、「通常撮影」という)と、近赤外光などの励起光の照射によって投与したICGが励起して蛍光発光した蛍光による被検査体901の撮影(以下、「蛍光撮影」という)と、を行う。
蛍光観察内視鏡装置1において、内視鏡スコープ部10は、挿入部11と、操作部12と、を備えている。蛍光観察内視鏡装置1において、内視鏡スコープ部10の操作部12と光源装置20とは、光信号ケーブル50によって接続されている。また、蛍光観察内視鏡装置1において、内視鏡スコープ部10の操作部12と外部処理部30とは、電気信号ケーブル60によって接続されている。
内視鏡スコープ部10は、挿入部11が検査対象者の腹部900などに挿入され、被検査体901の像を撮像する。このとき、被検査体901には、光信号ケーブル50を介して導かれた照明光が挿入部11の先端部から照射される。内視鏡スコープ部10は、撮像した被検査体901の像に応じた撮像信号を、電気信号ケーブル60介して外部処理部30に出力する。
挿入部11は、ICGが予め投与された状態の検査対象者の腹部900から検査対象者の体内に挿入される。内視鏡スコープ部10において、挿入部11は、先端部に撮像部13を備えている。撮像部13は、被検査体901の像を電気信号に変換した撮像信号を生成する。そして、撮像部13は、生成した撮像信号を、挿入部11、操作部12、および電気信号ケーブル60を介して外部処理部30に出力する。
操作部12は、例えば、検査実施者(例えば、腹腔鏡手術を実施している医師など)が操作することによって、挿入部11および撮像部13の動作を制御する支持部である。内視鏡スコープ部10において、操作部12は、蛍光観察内視鏡装置1における撮影を制御するための撮影制御スイッチ14を備えている。撮影制御スイッチ14は、例えば、検査実施者の操作に応じて、撮影(通常撮影や蛍光撮影)を指示する制御信号を、操作部12および電気信号ケーブル60を介して外部処理部30に出力する。
光源装置20は、蛍光観察内視鏡装置1において被検査体901を観察する際に被検査体901に照射する照明光を出射する。光源装置20が出射した照明光は、光信号ケーブル50を介して内視鏡スコープ部10の操作部12に導かれ、挿入部11の先端部に備えた撮像部13から被検査体901に照射される。光源装置20は、蛍光観察内視鏡装置1において被検査体901を撮影するために使用する波長帯域の照明光を出射する。より具体的には、光源装置20は、蛍光観察内視鏡装置1が被検査体901の通常撮影を行うために使用する可視光と、蛍光観察内視鏡装置1が被検査体901の蛍光撮影を行うために使用する励起光と、を含む照明光を出射する。
外部処理部30は、電気信号ケーブル60を介して入力された、内視鏡スコープ部10に備えた撮像部13が撮影した被検査体901の撮像信号に対して予め定めた画像処理を行い、撮影した被検査体901を含む画像を生成する画像処理装置である。外部処理部30は、生成した被検査体901を含む画像の画像信号をカラーモニタ40に出力して表示させる。また、外部処理部30は、撮像部13が被検査体901を撮影する際の制御信号(駆動信号)を、電気信号ケーブル60を介して撮像部13に伝送する。
カラーモニタ40は、外部処理部30から入力された画像信号に応じた被検査体901を含む画像を表示する、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)などの表示装置である。
このような構成によって蛍光観察内視鏡装置1は、可視光による被検査体901の通常撮影と、検査対象者に投与されたICGを励起光によって励起させた蛍光による被検査体901の蛍光撮影とを行う。そして、蛍光観察内視鏡装置1は、撮影した被検査体901を含む画像を、検査実施者に提示する。
次に、蛍光観察内視鏡装置1のより詳細な構成について説明する。図2は、本発明の実施形態の蛍光観察内視鏡装置1の概略構成を示したブロック図である。図2において、蛍光観察内視鏡装置1を構成する内視鏡スコープ部10の先端部に備えた撮像部13は、撮像レンズ130と、励起光カットフィルタ131と、積層型イメージセンサ132と、ライトガイド51と、を含んで構成される。
ライトガイド51は、光源装置20が発光した照明光を撮像部13まで導く、例えば、光ファイバなどの導光ケーブルである。ライトガイド51によって、光源装置20が発光した照明光が、光信号ケーブル50、操作部12、および挿入部11を通って撮像部13まで導かれ、ライトガイド51の先端から被検査体901に照射される。
撮像レンズ130は、入射した光、すなわち、光源装置20が発光した照明光が照射された被検査体901からの反射光および蛍光を積層型イメージセンサ132側に出射し、被検査体901の像を積層型イメージセンサ132の撮像面に結像させる光学レンズである。
励起光カットフィルタ131は、撮像レンズ130から出射された被検査体901からの反射光および蛍光に含まれる励起光の波長帯域の光のみを反射または吸収して減衰させる光学フィルタである。例えば、励起光カットフィルタ131は、励起光の波長帯域である700nm~800nm近辺の波長帯域の光を減衰させる。なお、以下の説明においては、励起光カットフィルタ131は、入射した反射光および蛍光に含まれる励起光をほぼ“0”に近いレベルまで減衰させるため、「減衰」ではなく、「除去(カット)」という表現を用いて説明する。励起光カットフィルタ131は、励起光をカットした被検査体901からの反射光および蛍光を、積層型イメージセンサ132に出射する。
積層型イメージセンサ132は、入射した光を露光(検出)し、露光した光を光電変換した電気信号を、撮像信号として出力する固体撮像装置である。積層型イメージセンサ132は、励起光カットフィルタ131から出射された励起光がカットされた被検査体901からの反射光および蛍光を露光し、露光した反射光および蛍光に応じたそれぞれの撮像信号を生成する。積層型イメージセンサ132は、反射光を露光(検出)するイメージセンサ(以下、「可視画像撮像用イメージセンサ」という)と、可視画像撮像用イメージセンサを透過した蛍光を露光(検出)するイメージセンサ(以下、「蛍光画像撮像用イメージセンサ」という)と、可視画像撮像用イメージセンサと蛍光画像撮像用イメージセンサとの間に配置される層間フィルタと、を含んで構成される。つまり、積層型イメージセンサ132は、可視画像撮像用イメージセンサと蛍光画像撮像用イメージセンサとが、層間フィルタを挟んで積層された構造である。
積層型イメージセンサ132を構成する可視画像撮像用イメージセンサは、反射光の内、可視領域の光(可視光)を露光した撮像信号を出力する。可視画像撮像用イメージセンサには、入射した光を光電変換するフォトダイオードなどの光電変換素子(受光素子)を備えた画素が、行列状に複数配置されている。可視画像撮像用イメージセンサ内に配置された画素には、赤色(R)の波長帯域の光(可視光)を透過するオンチップカラーフィルタが貼付された画素(以下、「R画素」という)と、緑色(G)の波長帯域の光(可視光)を透過するオンチップカラーフィルタが貼付された画素(以下、「G画素」という)と、青色(B)の波長帯域の光(可視光)を透過するオンチップカラーフィルタが貼付された画素(以下、「B画素」という)とがある。
また、積層型イメージセンサ132を構成する層間フィルタは、可視画像撮像用イメージセンサ(より具体的には、可視画像撮像用イメージセンサに配置されたR画素、G画素、B画素の領域)を透過した光の内、可視領域の光(可視光)を反射または吸収して減衰させる光学フィルタである。積層型イメージセンサ132においては、例えば、誘電体多層膜フィルタやファブリペローフィルタなど、無機材料を多層に積層した多層膜干渉フィルタを、層間フィルタとして用いる。なお、誘電体多層膜フィルタとファブリペローフィルタとでは、誘電体多層膜フィルタの方が、広い波長帯域の光を減衰させる特性の層間フィルタを実現することが容易であると考えられる。以下の説明においては、層間フィルタが、誘電体多層膜フィルタであるものとして説明する。
また、積層型イメージセンサ132を構成する蛍光画像撮像用イメージセンサは、蛍光、つまり、赤外領域の光(近赤外光)を露光した撮像信号を出力する。蛍光画像撮像用イメージセンサには、可視画像撮像用イメージセンサ(より具体的には、可視画像撮像用イメージセンサに配置されたR画素、G画素、B画素の領域)および層間フィルタを透過した光を光電変換するフォトダイオードなどの光電変換素子(受光素子)を備えた画素が、行列状に複数配置されている。以下の説明においては、蛍光画像撮像用イメージセンサに配置された画素を、「蛍光画素」という。蛍光画素は、光源装置20が照射した近赤外光などの励起光によって検査対象者に投与したICGが励起して蛍光発光した蛍光を露光(検出)する画素である。
なお、積層型イメージセンサ132の構造や、可視画像撮像用イメージセンサおよび蛍光画像撮像用イメージセンサにおけるそれぞれの画素の配置や構成、層間フィルタの構成に関する詳細な説明は、後述する。
積層型イメージセンサ132は、可視画像撮像用イメージセンサに配置されたそれぞれの画素が露光して光電変換した電気信号(以下、「画素信号」という)に応じた撮像信号(以下、「可視画像撮像信号」という)を、挿入部11、操作部12、および電気信号ケーブル60を通る撮像信号線61によって、外部処理部30に出力する。また、積層型イメージセンサ132は、蛍光画像撮像用イメージセンサに配置されたそれぞれの画素が露光して光電変換した画素信号に応じた撮像信号(以下、「蛍光画像撮像信号」という)を、可視画像撮像信号と同様に、挿入部11、操作部12、および電気信号ケーブル60を通る撮像信号線61によって、外部処理部30に出力する。以下の説明において、可視画像撮像信号および蛍光画像撮像信号のそれぞれを区別しない場合には、単に「撮像信号」という。
なお、積層型イメージセンサ132は、可視画像撮像用イメージセンサおよび蛍光画像撮像用イメージセンサ内に配置されたそれぞれの画素が出力したアナログの画素信号をアナログ/デジタル変換(A/D変換)し、画素信号の大きさを表すデジタル値、いわゆる、RAWデータを、それぞれの撮像信号として外部処理部30に出力する。このRAWデータは、それぞれの画素信号の大きさを表すパラレルのデジタル値である。
積層型イメージセンサ132は、それぞれのRAWデータを撮像信号として外部処理部30に伝送するための撮像信号線61の信号線の数を削減するため、パラレルのデジタル値であるRAWデータ(以下、「パラレルRAWデータ」という)をシリアルのデジタル値のRAWデータ(以下、「シリアルRAWデータ」という)にパラレル/シリアル変換してから、それぞれのシリアルRAWデータを撮像信号として外部処理部30に出力する。
また、図2において、蛍光観察内視鏡装置1を構成する光源装置20は、設定部21と、2個の白色光源221および白色光源222と、2個のダイクロックミラー231およびダイクロックミラー232と、光照射レンズ24と、を含んで構成される。
白色光源221および白色光源222のそれぞれは、白色光を発光する光源である。ただし、白色光源221は、設定部21からの制御に応じた強度の白色光を発光する。なお、白色光源221および白色光源222としては、例えば、キセノンランプを用いる。しかし、白色光源221および白色光源222として、例えば、ハロゲンランプや白色LED(Light Emitting Diode)光源などを用いてもよい。以下の説明において、白色光源221および白色光源222のそれぞれを区別しない場合には、「白色光源220」という。
ダイクロックミラー231およびダイクロックミラー232のそれぞれは、白色光源221および白色光源222のそれぞれに対応し、対応する白色光源220のそれぞれが発光した白色光から特定の波長帯域の光を選択(分離)する。ダイクロックミラー231およびダイクロックミラー232のそれぞれは、分離した光を光照射レンズ24に出射する。
より具体的には、ダイクロックミラー231は、対応する白色光源221が発光した白色光における可視光の波長帯域の光(例えば、400nm~700nmの波長帯域の光)を光照射レンズ24が配置された方向に反射することによって分離した可視光(白色の光)を、光照射レンズ24に出射する。ここで、ダイクロックミラー231が光照射レンズ24に出射する可視光には、青色(B)の波長帯域の光(例えば、400nm~500nmの波長帯域の光)、緑色(G)の波長帯域の光(例えば、500nm~600nmの波長帯域の光)、および赤色(R)の波長帯域の光(例えば、600nm~700nmの波長帯域の光)が含まれている。また、ダイクロックミラー232は、対応する白色光源222が発光した白色光における励起光の波長帯域の光(例えば、700nm~800nmの波長帯域の光)を光照射レンズ24が配置された方向に反射することによって分離したICGを励起させるための励起光(近赤外光)を、光照射レンズ24に出射する。
光照射レンズ24は、ダイクロックミラー231およびダイクロックミラー232のそれぞれから出射された特定の波長帯域の光を、ライトガイド51の径と同程度まで集光させる光学レンズである。光照射レンズ24は、集光させた光をライトガイド51の第1の端面に出射する。これにより、ライトガイド51は、光照射レンズ24から出射された光を撮像部13まで導き、光源装置20が発光した照明光として、撮像部13の先端に配置された第2の端面から出射(被検査体901に照射)する。
設定部21は、外部処理部30から入力された可視画像撮像信号および蛍光画像撮像信号に含まれるそれぞれの画素信号の大きさを表すデジタル値(パラレルRAWデータ)に基づいて、白色光源221が発光する白色光の強度を制御する。なお、設定部21におけるパラレルRAWデータに基づいた白色光源221の発光強度の制御に関する詳細な説明は、後述する。
また、図2において、蛍光観察内視鏡装置1を構成する外部処理部30は、デシリアライザ31と、画像処理部32と、デジタル/アナログ変換部(D/A変換部)33と、を含んで構成される。
デシリアライザ31は、撮像部13に備えた積層型イメージセンサ132から出力されて撮像信号線61によって伝送された撮像信号(シリアルRAWデータ)から、積層型イメージセンサ132がアナログ/デジタル変換した元のパラレルRAWデータを復元する。つまり、デシリアライザ31は、入力されたシリアルRAWデータに対してシリアル/パラレル変換を行って、パラレルRAWデータに復元する。そして、デシリアライザ31は、復元したパラレルRAWデータを、画像処理部32に出力する。
画像処理部32は、デシリアライザ31から出力されたそれぞれのパラレルRAWデータに対して画像処理を行って、積層型イメージセンサ132が撮像した被検査体901を含むデジタル値の画像を生成する。より具体的には、画像処理部32は、可視画像撮像信号のパラレルRAWデータに基づいた、赤色(R)、緑色(G)、および青色(B)の可視光のデジタル値の可視画像を生成する。また、画像処理部32は、蛍光画像撮像信号のパラレルRAWデータに基づいた、蛍光のデジタル値の蛍光画像を生成する。画像処理部32は、生成した被検査体901を含む可視画像のデータと蛍光画像のデータとを、表示用の画像データ(以下、「表示用画像データ」という)として、デジタル/アナログ変換部33に出力する。
また、画像処理部32は、デシリアライザ31から出力されたパラレルRAWデータ(可視画像撮像信号および蛍光画像撮像信号のパラレルRAWデータ)を、白色光の強度を設定するための監視信号として、光源装置20に備えた設定部21に出力する。つまり、画像処理部32は、積層型イメージセンサ132に備えた可視画像撮像用イメージセンサおよび蛍光画像撮像用イメージセンサ内に配置されたそれぞれの画素が出力した画素信号の大きさを表すデジタル値を、監視信号として設定部21に出力する。
なお、画像処理部32がパラレルRAWデータに対して行う画像処理としては、例えば、デモザイキング処理、ホワイトバランス処理、ガンマ補正処理などがある。デモザイキング処理は、入力されたパラレルRAWデータ(復元されたパラレルRAWデータ)に基づいて、画像に含まれる全ての画素が同じ波長帯域の光に応じた画素信号(デジタル値)で表された画像データを生成する、いわゆる、三板化の処理と同様の画像処理である。ホワイトバランス処理は、画像データにおける同じ位置のそれぞれの画素に対応した画素信号のデジタル値の大きさが、白(ホワイト)の被写体に対して同様の値になるように、それぞれの画素のデジタル値にゲイン値を乗じることによってレベルを調整する画像処理である。ガンマ補正処理は、ホワイトバランス処理された画像データに応じた画像をカラーモニタ40に出力して表示させる際に、出力する画像の画像信号と、実際にカラーモニタ40に表示される画像との色味の非線形性を補正する画像処理である。
画像処理部32は、例えば、ガンマ補正処理まで施した画像データを表示用画像データとして、デジタル/アナログ変換部33に出力する。なお、画像処理部32は、例えば、ガンマ補正処理まで施した蛍光画像の画像データに、ガンマ補正処理まで施した可視画像の画像データを重畳する重畳処理を行った画像データを、表示用画像データとしてデジタル/アナログ変換部33に出力してもよい。また、画像処理部32は、例えば、デモザイキング処理まで施した可視画像および蛍光画像の画像データを、白色光の強度を設定するための監視信号として光源装置20に備えた設定部21に出力してもよい。
デジタル/アナログ変換部33は、画像処理部32から入力された表示用画像データ(デジタル値)のそれぞれをデジタル/アナログ変換(D/A変換)する。デジタル/アナログ変換部33は、デジタル/アナログ変換した画像信号(アナログ信号)を、外部処理部30が生成した表示用の画像信号としてカラーモニタ40に出力し、カラーモニタ40に被検査体901を含む画像を表示させる。
このような構成によって蛍光観察内視鏡装置1は、可視光による通常撮影と、蛍光による蛍光撮影とによって、被検査体901を含む画像を撮影する。そして、蛍光観察内視鏡装置1は、撮影した被検査体901を含むそれぞれの画像をカラーモニタ40に表示して検査実施者に提示する。
なお、蛍光観察内視鏡装置1においては、内視鏡スコープ部10の先端部に備えた撮像部13内の励起光カットフィルタ131および積層型イメージセンサ132と、光源装置20と、外部処理部30に備えた画像処理部32とが、本発明の蛍光観察装置を構成する構成要素に相当する。
次に、蛍光観察内視鏡装置1において本発明の蛍光観察装置を構成する積層型イメージセンサ132について説明する。まず、積層型イメージセンサ132を構成する可視画像撮像用イメージセンサと蛍光画像撮像用イメージセンサの構成について説明する。図3は、本発明の実施形態の蛍光観察内視鏡装置1に備えた固体撮像装置(積層型イメージセンサ132)の概略構成を示したブロック図である。なお、積層型イメージセンサ132は、可視画像撮像用イメージセンサと蛍光画像撮像用イメージセンサとの2つのイメージセンサ(固体撮像装置)が積層されているが、それぞれのイメージセンサの構成は、同様の構成である。以下の説明においては、積層型イメージセンサ132に積層されるイメージセンサを代表して、可視画像撮像用イメージセンサの構成について説明する。
図3において、可視画像撮像用イメージセンサは、画素部1321と、読み出し部1322と、アナログ/デジタル変換部1323と、シリアライザ1324と、を備えている。
画素部1321は、複数の画素1320が配置されている。図3には、複数の画素1320が、7行8列に2次元的に配置された画素部1321の一例を示している。画素部1321内に配置されたそれぞれの画素1320は、配置されたそれぞれの位置に入射してきた光の強度に応じた電荷量の信号電荷を発生し、発生した信号電荷を蓄積する。
読み出し部1322は、画素部1321内に配置されたそれぞれの画素1320が発生して蓄積した信号電荷の読み出しを制御する。読み出し部1322は、例えば、制御回路13220、垂直走査回路13221、水平走査回路13222などを含んで構成される。制御回路13220は、読み出し部1322に備えたそれぞれの構成要素、つまり、読み出し部1322の全体を制御する。垂直走査回路13221は、制御回路13220からの制御に応じて画素部1321内のそれぞれの画素1320を行ごとに駆動し、それぞれの画素1320に蓄積された信号電荷に応じた電圧信号を、画素信号として垂直信号線1325に出力させる。これにより、それぞれの画素1320が行ごとに出力した画素信号(アナログ信号)が、アナログ/デジタル変換部1323に入力される。水平走査回路13222は、制御回路13220からの制御に応じて画素部1321内のそれぞれの画素1320の列ごとに、アナログ/デジタル変換部1323を制御し、アナログ/デジタル変換部1323がアナログ/デジタル変換した後の画素信号(デジタル値)を、画素部1321内のそれぞれの画素1320の列ごとに順次、水平信号線1326に出力させる。これにより、アナログ/デジタル変換部1323がアナログ/デジタル変換したそれぞれの画素1320が出力したアナログの画素信号の大きさを表すデジタル値の画素信号が、画素部1321に配置されたそれぞれの画素1320の列ごとに、シリアライザ1324に順次入力される。
アナログ/デジタル変換部1323は、読み出し部1322内の垂直走査回路13221からの制御に応じて画素部1321内のそれぞれの画素1320から出力されたアナログの画素信号をアナログ/デジタル変換する。図3には、入力されたアナログ信号の電圧値をアナログ/デジタル変換したデジタル値を出力するアナログ/デジタル変換回路(A/D変換回路)13230を、画素部1321に配置されたそれぞれの画素1320の列ごとに備えた構成のアナログ/デジタル変換部1323の一例を示している。アナログ/デジタル変換回路13230のそれぞれは、対応する列の画素1320から入力されたアナログの画素信号の電圧値をアナログ/デジタル変換したデジタル値の画素信号を出力する。アナログ/デジタル変換部1323は、読み出し部1322内の水平走査回路13222からの制御に応じて、アナログ/デジタル変換回路13230のそれぞれがアナログ/デジタル変換したデジタル値の画素信号を、水平信号線1326を介してシリアライザ1324に出力する。
なお、図3には、アナログ/デジタル変換回路13230を画素部1321内の画素1320の列ごと、つまり、1列に1個のアナログ/デジタル変換回路13230を備える構成のアナログ/デジタル変換部1323を示した。しかし、アナログ/デジタル変換部1323内の構成は、図3に示した構成に限定されるものではない。例えば、アナログ/デジタル変換部1323は、画素部1321内の画素1320の複数列に対して1個のアナログ/デジタル変換回路13230を備える構成であってもよい。また、1個のアナログ/デジタル変換回路13230が、それぞれの列の画素1320から出力されたアナログの画素信号の電圧値を順次、アナログ/デジタル変換する構成であってもよい。
シリアライザ1324は、アナログ/デジタル変換部1323から順次入力された画素信号(デジタル値)、つまり、パラレルRAWデータをパラレル/シリアル変換する。シリアライザ1324は、パラレル/シリアル変換したシリアルRAWデータを、撮像信号(可視画像撮像信号)として可視画像撮像用イメージセンサの外部に出力する。このとき、シリアライザ1324は、シリアルRAWデータを、例えば、差動インターフェース方式であるLVDS(Low voltage differential signaling)方式に対応させて、可視画像撮像信号として可視画像撮像用イメージセンサの外部に出力する。この場合、シリアライザ1324は、LVDS方式の終端の処理なども行う。
なお、可視画像撮像用イメージセンサにおいて画素部1321に複数配置される画素1320には、上述したように、R画素と、G画素と、B画素とがある。また、蛍光画像撮像用イメージセンサにおいて画素部1321に複数配置される画素1320は、全て蛍光画素である。
なお、可視画像撮像用イメージセンサと蛍光画像撮像用イメージセンサとにおける画素1320の配置は同じ配置に限定されるものではない。つまり、可視画像撮像用イメージセンサにおけるR画素、G画素、およびB画素の合計の画素数と、蛍光画像撮像用イメージセンサにおける蛍光画素の画素数とは、同じ画素数に限定されるものではない。例えば、蛍光画像撮像用イメージセンサの方が、可視画像撮像用イメージセンサよりも少ない画素数であってもよい。この場合、例えば、蛍光画像撮像用イメージセンサに配置する1個の画素1320(蛍光画素)の領域は、可視画像撮像用イメージセンサに配置する画素1320の4個分(2行2列の4個分)の領域であってもよい。これにより、蛍光画像撮像用イメージセンサに配置する蛍光画素において光を受光する開口面積は、可視画像撮像用イメージセンサに配置するR画素、G画素、またはB画素のいずれかの画素の開口面積の4倍になり、蛍光画像撮像用イメージセンサに配置した蛍光画素は、より多くの光を受光することができる。
続いて、蛍光観察内視鏡装置1において本発明の蛍光観察装置を構成する積層型イメージセンサ132の概略の構造について説明する。図4は、本発明の実施形態の蛍光観察内視鏡装置1に備えた固体撮像装置(積層型イメージセンサ132)の概略の構造を示した断面図である。図4には、積層型イメージセンサ132の全体の縦構造を模式的に示している。
上述したように、積層型イメージセンサ132は、可視画像撮像用イメージセンサと蛍光画像撮像用イメージセンサとが、層間フィルタを挟んで積層された構造である。より具体的には、積層型イメージセンサ132は、光が入射する側から光が進む方向に向かって、マイクロレンズ層132-5、オンチップカラーフィルタ層132-4、可視画像撮像用イメージセンサ基板132-1、誘電体多層膜フィルタ層132-3、蛍光画像撮像用イメージセンサ基板132-2、および支持基板132-6の順番で積層された構造である。
マイクロレンズ層132-5は、入射した光、つまり、励起光カットフィルタ131から出射された励起光がカットされた被検査体901からの反射光(可視光)および蛍光を、可視画像撮像用イメージセンサ基板132-1および蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの画素に集光させるマイクロレンズを形成する層である。マイクロレンズ層132-5には、可視画像撮像用イメージセンサ基板132-1および蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの画素に対応する位置に、マイクロレンズを形成する。
オンチップカラーフィルタ層132-4は、予め定めた波長帯域の光を透過して可視画像撮像用イメージセンサ基板132-1に配置されたそれぞれの画素に入射させるオンチップカラーフィルタを形成する層である。オンチップカラーフィルタ層132-4には、可視画像撮像用イメージセンサ基板132-1に配置されたそれぞれの画素に対応する位置に、赤色(R)、緑色(G)、または青色(B)の波長帯域の光(可視光)を透過するいずれかのオンチップカラーフィルタを形成する。
なお、図4においては、マイクロレンズ層132-5とオンチップカラーフィルタ層132-4とを、積層型イメージセンサ132に光が入射する側の全面に形成している状態を示している。しかし、積層型イメージセンサ132においては、マイクロレンズ層132-5とオンチップカラーフィルタ層132-4とのそれぞれを、可視画像撮像用イメージセンサ基板132-1に配置された画素の領域のみに形成してもよい。
可視画像撮像用イメージセンサ基板132-1は、反射光(可視光)を主に露光した撮像信号を出力する可視画像撮像用イメージセンサの機能を実現するそれぞれの回路要素を形成した半導体基板である。
誘電体多層膜フィルタ層132-3は、可視画像撮像用イメージセンサ基板132-1を透過して蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの画素に入射する可視光を減衰させる、誘電体などの無機材料を多層に積層した光学フィルタである誘電体多層膜フィルタを形成する層である。誘電体多層膜フィルタは、可視画像撮像用イメージセンサ基板132-1と蛍光画像撮像用イメージセンサ基板132-2との間に配置される層間フィルタとして形成される。誘電体多層膜フィルタは、例えば、二酸化シリコン(SiO2)を材料とした200nm以下(例えば、100nm)の薄膜層と、酸化チタン(TiO2)を材料とした200nm以下(例えば、50nm)の薄膜層とを交互に積層することによって形成する。
誘電体多層膜フィルタは、積層する薄膜層の数を増やす、つまり、誘電体多層膜フィルタの厚さを厚くすることによって、可視光の減衰率(遮光率)を高くすることができる。しかし、誘電体多層膜フィルタの厚さ、つまり、誘電体多層膜フィルタ層132-3の厚さは、5um以内に抑えることが好ましい。また、誘電体多層膜フィルタを形成する際に積層する二酸化シリコン(SiO2)および酸化チタン(TiO2)の薄膜層の数は、50層以下(例えば、35層)であることが好ましい。これにより、積層型イメージセンサ132において、マイクロレンズ層132-5から蛍光画像撮像用イメージセンサ基板132-2までの間の距離を過度に長くすることなく、蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの画素において、入射する光に対する感度や斜め方向から入射する光に対する斜入射特性の著しい悪化を抑えることができる。なお、上述した誘電体多層膜フィルタ層132-3の厚さは、蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの画素に入射する可視光を、無視できるレベルに減衰させるような高い減衰率の誘電体多層膜フィルタが形成される厚さとはなっていない。
蛍光画像撮像用イメージセンサ基板132-2は、可視画像撮像用イメージセンサ基板132-1を透過した蛍光を主に露光した撮像信号を出力する蛍光画像撮像用イメージセンサの機能を実現するそれぞれの回路要素を形成した半導体基板である。
支持基板132-6は、マイクロレンズ層132-5、オンチップカラーフィルタ層132-4、可視画像撮像用イメージセンサ基板132-1、誘電体多層膜フィルタ層132-3、および蛍光画像撮像用イメージセンサ基板132-2が積層された積層型イメージセンサ132の全体を強度的に支持するための半導体基板である。
続いて、蛍光観察内視鏡装置1において本発明の蛍光観察装置を構成する積層型イメージセンサ132のより詳細な構造について説明する。図5は、本発明の実施形態の蛍光観察内視鏡装置1に備えた固体撮像装置(積層型イメージセンサ132)の構造の一例を示した断面図である。図5には、積層型イメージセンサ132において、可視画像撮像用イメージセンサにR画素、G画素、およびB画素が形成されている領域、つまり、画素部1321の一部の縦構造を模式的に示している。なお、図5には、積層型イメージセンサ132を構成する蛍光画像撮像用イメージセンサにおいて、可視画像撮像用イメージセンサに形成されたR画素、G画素、およびB画素に対応するそれぞれの位置に蛍光画素が形成されている、つまり、3個の蛍光画素が形成されている場合を示している。
積層型イメージセンサ132は、上述したように、支持基板132-6の上に、画素1320を構成するそれぞれの層およびイメージセンサ基板(蛍光画像撮像用イメージセンサ基板132-2と可視画像撮像用イメージセンサ基板132-1)が積層されて形成されている。なお、蛍光画像撮像用イメージセンサ基板132-2と可視画像撮像用イメージセンサ基板132-1とのそれぞれも、光電変換層と配線層とによって形成されている。より具体的には、蛍光画像撮像用イメージセンサ基板132-2は、光電変換層132-21と配線層132-22とによって形成されている。また、可視画像撮像用イメージセンサ基板132-1は、光電変換層132-11と配線層132-12とによって形成されている。蛍光画像撮像用イメージセンサ基板132-2と可視画像撮像用イメージセンサ基板132-1とのそれぞれは、裏面照射(BackSide Illumination:BSI)型の固体撮像装置である。従って、積層型イメージセンサ132は、支持基板132-6の上に、光が入射する側に向かって、配線層132-22、光電変換層132-21、誘電体多層膜フィルタ層132-3、配線層132-12、光電変換層132-11、オンチップカラーフィルタ層132-4、およびマイクロレンズ層132-5の順番で積層された構成となっている。
配線層132-22は、蛍光画像撮像用イメージセンサの機能を実現するそれぞれの回路要素における配線を形成する層である。図5には、配線層132-22に、蛍光画像撮像用イメージセンサ基板132-2に配置するそれぞれの画素1320である蛍光画素(以下、「蛍光画素1320IR」という)の回路要素を接続する配線132022を形成した状態を模式的に示している。それぞれの蛍光画素1320IRは、配線層132-22に形成された配線132022を通して入力された垂直走査回路13221からの駆動信号に応じた画素信号(アナログ信号)を、配線132022を通して垂直信号線1325に出力する。
光電変換層132-21は、蛍光画素1320IRを構成する光電変換素子を形成する層である。図5には、光電変換層132-21に、3個の蛍光画素1320IRのそれぞれを構成する光電変換素子132021を形成した状態を模式的に示している。それぞれの光電変換素子132021は、入射した光の光強度に応じた信号電荷を発生して蓄積する。より具体的には、それぞれの光電変換素子132021は、マイクロレンズ層132-5からオンチップカラーフィルタ層132-4を介して可視画像撮像用イメージセンサ基板132-1に入射され、可視画像撮像用イメージセンサ基板132-1に形成された対応する画素1320の開口部(図5に示した基板領域SR)と誘電体多層膜フィルタ層132-3とを透過した反射光(可視光)および蛍光の光強度に応じた信号電荷を発生して蓄積する。
誘電体多層膜フィルタ層132-3には、上述したように、例えば、二酸化シリコン(SiO2)の薄膜層と、酸化チタン(TiO2)の薄膜層とを交互に積層することによって誘電体多層膜フィルタ13203を形成する。誘電体多層膜フィルタ13203は、可視画像撮像用イメージセンサ基板132-1に形成された画素1320の開口部の基板領域SRを透過した反射光(可視光)および蛍光の内、可視光の波長帯域の光のみを反射または吸収して減衰させ、蛍光の波長帯域の光を透過させる。図5には、二酸化シリコン(SiO2)薄膜層132031と、酸化チタン(TiO2)薄膜層132032とを交互に4層ずつ積層して誘電体多層膜フィルタ13203を形成した状態を模式的に示している。
配線層132-12は、可視画像撮像用イメージセンサの機能を実現するそれぞれの回路要素における配線を形成する層である。図5には、配線層132-12に、可視画像撮像用イメージセンサに配置するそれぞれの画素1320の回路要素を接続する配線132012を形成した状態を模式的に示している。なお、以下の説明においては、可視画像撮像用イメージセンサに配置する画素1320であるR画素を「R画素1320R」といい、G画素を「G画素1320G」といい、B画素を「B画素1320B」という。R画素1320R、G画素1320G、およびB画素1320Bのそれぞれは、配線層132-12に形成された配線132012を通して入力された垂直走査回路13221からの駆動信号に応じた画素信号(アナログ信号)を、配線132012を通して垂直信号線1325に出力する。
光電変換層132-11は、R画素1320R、G画素1320G、およびB画素1320Bのそれぞれを構成する光電変換素子を形成する層である。図5には、光電変換層132-11に、R画素1320R、G画素1320G、およびB画素1320Bのそれぞれを構成する光電変換素子132011を形成した状態を模式的に示している。それぞれの光電変換素子132011は、入射した光の光強度に応じた信号電荷を発生して蓄積する。より具体的には、それぞれの光電変換素子132011は、マイクロレンズ層132-5からオンチップカラーフィルタ層132-4を介して入射した反射光(可視光)の光強度に応じた信号電荷を発生して蓄積する。
なお、可視画像撮像用イメージセンサ基板132-1は、入射した反射光(可視光)および蛍光の内、光電変換層132-11に形成した光電変換素子132011によって信号電荷の発生に用いられなかった一部の可視光の波長帯域の光と蛍光の波長帯域の光とを透過する。言い換えれば、可視画像撮像用イメージセンサ基板132-1は、入射した反射光(可視光)および蛍光の内、光電変換素子132011によって信号電荷の発生に用いた可視光の波長帯域の光を吸収して減衰させる光学フィルタとしても機能している。
オンチップカラーフィルタ層132-4は、形成したオンチップカラーフィルタ13204によって、赤色(R)、緑色(G)、または青色(B)の波長帯域のいずれかの可視光を透過させて、光電変換層132-11に形成された光電変換素子132011に入射させる。なお、オンチップカラーフィルタ13204は、対応する波長帯域の可視光に加えて、近赤外の波長帯域の光、つまり、蛍光の波長帯域の光も透過させる。図5には、R画素1320Rに対応する位置に赤色(R)の波長帯域の可視光を透過させるオンチップカラーフィルタ13204Rを形成し、G画素1320Gに対応する位置に緑色(G)の波長帯域の可視光を透過させるオンチップカラーフィルタ13204Gを形成し、B画素1320Bに対応する位置に青色(B)の波長帯域の可視光を透過させるオンチップカラーフィルタ13204Bを形成した状態を模式的に示している。なお、積層型イメージセンサ132においては、オンチップカラーフィルタ13204R、オンチップカラーフィルタ13204G、およびオンチップカラーフィルタ13204Bのそれぞれが、例えば、ベイヤー配列に形成される。
マイクロレンズ層132-5は、形成したマイクロレンズ13205によって、積層型イメージセンサ132に入射した反射光(可視光)および蛍光を、光電変換層132-11に形成された光電変換素子132011のそれぞれに集光させる。図5には、光電変換層132-11に形成された3個の光電変換素子132011のそれぞれに対応するマイクロレンズ13205を形成した状態を模式的に示している。
次に、積層型イメージセンサ132おいて、それぞれの画素1320に入射する光の波長帯域に対する特性について説明する。図6は、本発明の実施形態の蛍光観察内視鏡装置1に備えた固体撮像装置(積層型イメージセンサ132)の画素1320に対応するそれぞれのフィルタの特性の一例を示した図である。図6の(a)には、積層型イメージセンサ132を構成する可視画像撮像用イメージセンサ基板132-1に配置された画素1320に対応するそれぞれのフィルタの特性の一例を示している。また、図6の(b)には、積層型イメージセンサ132を構成する可視画像撮像用イメージセンサ基板132-1を透過する光の特性の一例を示している。また、図6の(c)には、積層型イメージセンサ132を構成する誘電体多層膜フィルタ13203の特性の一例を示している。
図6の(a)~図6の(c)には、光の波長を横軸にして、光の透過率を表した特性(以下、「分光特性」という)を縦軸に示している。より具体的には、図6の(a)において、B1は、オンチップカラーフィルタ13204Bの分光特性を表し、G1は、オンチップカラーフィルタ13204Gの分光特性を表し、R1は、オンチップカラーフィルタ13204Rの分光特性を表している。また、図6の(b)において、ST1は、可視画像撮像用イメージセンサ基板132-1を透過する光(図5に示した画素1320の開口部の基板領域SRを透過する光)の最大値に対する割合を、可視画像撮像用イメージセンサ基板132-1を光学フィルタとして考えた場合における透過率として表した分光特性を表している。また、図6の(c)において、DM1は、誘電体多層膜フィルタ13203の分光特性を表している。なお、図6の(a)には、積層型イメージセンサ132に入射する励起光の波長帯域の光を減衰またはカットする励起光カットフィルタ131の分光特性EL1も併せて示している。
図6の(a)に示したように、B画素1320Bに対応するオンチップカラーフィルタ13204Bの分光特性B1は、青色(B)の波長帯域である400nm~500nmの波長帯域の光に対して高い透過率を持った特性である。従って、オンチップカラーフィルタ13204Bは、400nm~500nmの青色(B)の波長帯域の可視光を選択(透過)して、B画素1320Bの光電変換素子132011に入射させる。
また、図6の(a)に示したように、G画素1320Gに対応するオンチップカラーフィルタ13204Gの分光特性G1は、緑色(G)の波長帯域である500nm~600nmの波長帯域の光に対して高い透過率を持った特性である。従って、オンチップカラーフィルタ13204Gは、500nm~600nmの緑色(G)の波長帯域の可視光を選択(透過)して、G画素1320Gの光電変換素子132011に入射させる。
また、図6の(a)に示したように、R画素1320Rに対応するオンチップカラーフィルタ13204Rの分光特性R1は、赤色(R)の波長帯域である600nm~700nmの波長帯域の光に対して高い透過率を持った特性である。従って、オンチップカラーフィルタ13204Rは、600nm~700nmの赤色(R)の波長帯域の可視光を選択(透過)して、R画素1320Rの光電変換素子132011に入射させる。
なお、オンチップカラーフィルタ13204は有機材料で形成されるため、図6の(a)に示したように、選択する波長帯域ではない、つまり、意図した波長帯域ではない波長帯域の可視光も透過させる。このため、それぞれの画素1320の光電変換素子132011には、露光(検出)する波長帯域ではない光も入射する。より具体的には、それぞれの光電変換素子132011には、図6の(a)に示したように、800nmを超える波長帯域の近赤外光、すなわち、蛍光も入射する。
ただし、蛍光観察内視鏡装置1において蛍光は、検査対象者に投与されたICGを励起光によって励起させた(蛍光発光させた)非常に微弱な光である。このため、可視画像撮像用イメージセンサ基板132-1に配置されたR画素1320R、G画素1320G、およびB画素1320Bのそれぞれの光電変換素子132011に入射する蛍光は、オンチップカラーフィルタ13204が選択(透過)する波長帯域の可視光に対して無視することができるレベルである。従って、積層型イメージセンサ132において可視画像撮像用イメージセンサ基板132-1に配置されたR画素1320R、G画素1320G、およびB画素1320Bのそれぞれの光電変換素子132011は、対応するオンチップカラーフィルタ13204を透過して入射された可視光の強度に応じた信号電荷を発生して蓄積する。これにより、可視画像撮像用イメージセンサは、可視光を露光した可視画像撮像信号を出力する。
また、可視画像撮像用イメージセンサ基板132-1は、上述したように、それぞれの光電変換素子132011によって信号電荷の発生に用いられなかった一部の可視光と蛍光とを透過する。より具体的には、図5に示した画素1320の開口部の基板領域SRから、一部の可視光と蛍光とを透過する。図6の(b)には、可視画像撮像用イメージセンサ基板132-1が画素1320の開口部の基板領域SRにおいて透過する光の分光特性を示している。図6の(b)に示した分光特性ST1は、積層型イメージセンサ132を、誘電体多層膜フィルタ層132-3を積層していない構成として測定した、蛍光画像撮像用イメージセンサ基板132-2に配置された蛍光画素1320IRの光電変換素子132021における光に対する波長帯域ごとの感度、いわゆる、分光感度の測定結果を、最大値に対する割合で表したものである。これは、誘電体多層膜フィルタ層132-3を介さずに蛍光画像撮像用イメージセンサ基板132-2に入射する光の強度を波長帯域ごとに表したものに相当し、可視画像撮像用イメージセンサ基板132-1を光学フィルタとして考えた場合における可視画像撮像用イメージセンサ基板132-1の分光特性を表している。
図6の(b)に示したように、可視画像撮像用イメージセンサ基板132-1の分光特性ST1は、一部の可視光から近赤外光の波長帯域(500nm~1100nm)の光に対して高い透過率を持った特性である。従って、可視画像撮像用イメージセンサ基板132-1は、500nmを超える波長帯域の光を透過して、誘電体多層膜フィルタ13203に出射する。言い換えれば、可視画像撮像用イメージセンサ基板132-1は、500nm以下の波長帯域の光を減衰させる。
誘電体多層膜フィルタ13203は、図6の(c)に示した分光特性DM1のように、450nm~750nmの波長帯域の光を減衰させる。従って、誘電体多層膜フィルタ13203は、可視画像撮像用イメージセンサ基板132-1から入射された500nm~1100nmの波長帯域の光の内、750nmを超える波長帯域の近赤外光(蛍光)を透過して、蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRの光電変換素子132021に入射させる。
ここで、蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRに入射する光の波長帯域について説明する。図7は、本発明の実施形態の蛍光観察内視鏡装置1に備えた固体撮像装置(積層型イメージセンサ132)を構成する蛍光画像撮像用イメージセンサ(蛍光画像撮像用イメージセンサ基板132-2)に入射する光の特性の一例を示した図である。図7は、図6の(a)に示した可視画像撮像用イメージセンサ基板132-1に配置された画素1320に対応するそれぞれのフィルタの特性の一例に、図6の(b)に示した可視画像撮像用イメージセンサ基板132-1を透過する光の特性、および図6の(c)に示した誘電体多層膜フィルタ13203の特性に基づいた波長帯域の範囲を示している。
積層型イメージセンサ132には、波長帯域WCの光(励起光の波長帯域の光)が、励起光カットフィルタ131によって反射または吸収されて減衰した反射光(可視光)および蛍光が入射される(分光特性EL1参照)。そして、積層型イメージセンサ132では、入射した反射光(可視光)および蛍光の内、波長帯域WAの可視光が、可視画像撮像用イメージセンサ基板132-1によって吸収されて減衰する(図6の(b)に示した分光特性ST1参照)。また、積層型イメージセンサ132では、入射した反射光(可視光)および蛍光の内、波長帯域WBの可視光が、誘電体多層膜フィルタ13203によって減衰する(図6の(c)に示した分光特性DM1参照)。このため、積層型イメージセンサ132において蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRの光電変換素子132021には、波長帯域WDの蛍光(近赤外光)のみが入射される。そして、光電変換素子132021は、入射された波長帯域WDの蛍光の強度に応じた信号電荷を発生して蓄積する。これにより、蛍光画像撮像用イメージセンサは、蛍光のみを露光した蛍光画像撮像信号を出力する。
ただし、これは、可視画像撮像用イメージセンサ基板132-1が波長帯域WAの可視光を、誘電体多層膜フィルタ13203が波長帯域WBの可視光を、全て減衰または除去(カット)させた場合である。ここで、波長帯域WAおよび波長帯域WBの可視光を全て減衰または除去(カット)させるためには、可視画像撮像用イメージセンサ基板132-1および誘電体多層膜フィルタ13203の減衰率(遮光率)を非常に高くする必要がある。
誘電体多層膜フィルタ13203では、上述したように、誘電体多層膜フィルタ13203を形成するために交互に積層する二酸化シリコン(SiO2)薄膜層132031と酸化チタン(TiO2)薄膜層132032との数を増やして厚さを厚くすることによって、減衰率を高くすることができる。同様に、可視画像撮像用イメージセンサ基板132-1においても、可視画像撮像用イメージセンサ基板132-1に形成する光電変換層132-11の厚さを厚くすることによって、減衰率を高くすることができる。ただし、光電変換層132-11の厚さを厚くすると、光電変換層132-11は、可視光だけでなく、蛍光画像撮像用イメージセンサ基板132-2で検出すべき蛍光も吸収して減衰させてしまう。このことから、可視画像撮像用イメージセンサ基板132-1の厚さを厚くして波長帯域WAの可視光の減衰率を高めるのは、有効性が少ないと考えられる。なお、仮に、450nm以下の波長帯域の減衰率(遮光率)を高める場合には、誘電体多層膜フィルタ13203が減衰させる波長帯域WBの可視光の範囲を、450nm以下の波長帯域の範囲まで拡張する、より具体的には、可視画像撮像用イメージセンサ基板132-1が減衰させる波長帯域WAの可視光の範囲まで拡張する方が、有効であると考えられる。
しかし、積層型イメージセンサ132は、図4および図5に示したように、可視画像撮像用イメージセンサ基板132-1に光が入射する側の面と反対側の面に蛍光画像撮像用イメージセンサ基板132-2を積層した構造である。このため、積層型イメージセンサ132では、可視画像撮像用イメージセンサ基板132-1や誘電体多層膜フィルタ13203における光の遮光率を、波長帯域WAおよび波長帯域WBの可視光を全て減衰または除去(カット)させる遮光率まで高くすることは難しい。つまり、積層型イメージセンサ132では、光の遮光率を高くするために、可視画像撮像用イメージセンサ基板132-1や誘電体多層膜フィルタ13203の厚さを厚くすることは困難である。
これは、光の遮光率を高くするために可視画像撮像用イメージセンサ基板132-1や誘電体多層膜フィルタ13203の厚さを厚くしてしまうと、蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRの光電変換素子132021と、対応するマイクロレンズ13205との間の距離が長くなり、それぞれの光電変換素子132021の光に対する感度や斜入射特性が悪化してしまうからである。
このため、積層型イメージセンサ132では、可視画像撮像用イメージセンサ基板132-1や誘電体多層膜フィルタ13203の厚さを、波長帯域WAおよび波長帯域WBの可視光を全て減衰または除去(カット)させる遮光率まで高めるほどの厚さにはしていない。つまり、積層型イメージセンサ132では、蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRの光電変換素子132021における光に対する感度や斜入射特性の悪化を抑えている。従って、積層型イメージセンサ132では、光電変換素子132021にも、わずかながらの可視光が入射する。
なお、蛍光観察内視鏡装置1では、上述したように、積層型イメージセンサ132の外部に配置する励起光カットフィルタ131は、図6の(a)に示した分光特性EL1のように、波長帯域WCの波長帯域の励起光をほぼ全て除去(カット)して、被検査体901からの反射光および蛍光を、積層型イメージセンサ132に入射させる。このため、励起光カットフィルタ131は、波長帯域WCの波長帯域(700nm~800nmの波長帯域)の励起光に対する減衰率(遮光率)を非常に高くするために、厚さが非常に厚いものである。この励起光カットフィルタ131も、例えば、誘電体多層膜フィルタ13203と同様に、薄膜層を複数積層して形成されるが、薄膜層の数を誘電体多層膜フィルタ13203よりも多層(例えば、100層)にすることによって、波長帯域WCの波長帯域の励起光に対する減衰率(遮光率)を非常に高くしている。これは、励起光カットフィルタ131は、積層型イメージセンサ132の外部に配置されるため、積層型イメージセンサ132を構成する蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRの光電変換素子132021における光に対する感度や斜入射特性に影響しないからである。
ところで、蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRの光電変換素子132021が露光(検出)する蛍光は、上述したように、可視光に対して無視することができるような非常に微弱な光である。このため、それぞれの光電変換素子132021に入射する波長帯域WAおよび波長帯域WBの可視光の遮光率が低いと、光電変換素子132021が露光(検出)する波長帯域ではない波長帯域WAおよび波長帯域WBの可視光のレベルが、無視することが困難なレベルになってしまう。すると、光電変換素子132021における波長帯域WDの蛍光の露光(検出)精度が悪化してしまう。
そこで、本発明においては、光源装置20に備えた設定部21が、白色光源221が発光する白色光、つまり、ダイクロックミラー231が分離する可視光の強度を制御する。これにより、本発明では、光源装置20が出射した照明光が照射された被検査体901からの反射光(可視光)が減衰されずに蛍光画像撮像用イメージセンサ基板132-2に入射されてしまう可視光の強度を、それぞれの蛍光画素1320IRの光電変換素子132021における蛍光の露光(検出)精度を悪化させないような適正なレベル以下になるようにする。
より具体的には、設定部21は、外部処理部30に備えた画像処理部32から出力された白色光の強度を設定するための監視信号、つまり、パラレルRAWデータに含まれる可視画像撮像用イメージセンサ基板132-1に配置されたそれぞれの画素1320が出力した画素信号の大きさを表すデジタル値(以下、「可視光信号強度」という)を監視する。そして、設定部21は、監視しているそれぞれの可視光信号強度を、予め設定した信号強度(以下、「設定信号強度」という)と基づいて判定し、この判定結果に応じて、白色光源221による白色光(可視光)の発光強度を制御する。ここで、設定信号強度は、画素1320が出力する画素信号のデジタル値に対して予め設定する最大のデジタル値、または一定のデジタル値である。
設定信号強度が予め設定した最大のデジタル値である場合、設定部21は、監視しているいずれかの画素1320の可視光信号強度が、設定信号強度を超えたか否かを判定する。そして、設定部21は、監視しているいずれかの画素1320の可視光信号強度が設定信号強度を超えたと判定した場合、発光強度を下げるように白色光源221を制御し、監視しているいずれの画素1320の可視光信号強度も設定信号強度を超えていない判定した場合、現在の発光強度を維持するように白色光源221を制御する。
これにより、設定部21は、可視画像撮像用イメージセンサ基板132-1に配置されている全ての画素1320が出力する画素信号のデジタル値、つまり、画素信号の大きさを、予め設定した最大の大きさ以下に抑えることができる。このことにより、蛍光画像撮像用イメージセンサ基板132-2には、減衰されずに入射される可視光がなくなり、配置されている全ての蛍光画素1320IRの光電変換素子132021における蛍光の露光(検出)精度が悪化することがなくなる。
また、設定信号強度が予め設定した一定のデジタル値である場合、設定部21は、監視しているいずれかの画素1320の可視光信号強度が、設定信号強度よりも大きいか否かを判定する。そして、設定部21は、監視しているいずれかの画素1320の可視光信号強度が設定信号強度よりも大きい判定した場合、発光強度を下げるように白色光源221を制御し、監視しているいずれかの画素1320の可視光信号強度が設定信号強度よりも小さい判定した場合、発光強度を上げるように白色光源221を制御する。なお、設定信号強度が予め設定した一定のデジタル値である場合、監視している全ての画素1320の可視光信号強度が、設定信号強度よりも大きいまたは小さいと判定されるとは限らない。つまり、設定部21が監視しているそれぞれの画素1320の可視光信号強度の中に、設定信号強度よりも大きいと判定される画素1320の可視光信号強度と、設定信号強度よりも小さいと判定される画素1320の可視光信号強度とが混在していることも考えられる。この場合、設定部21は、設定信号強度よりも大きいと判定される画素1320の可視光信号強度がなくなるように、つまり、監視している全ての画素1320の可視光信号強度が、設定信号強度以下となるように、白色光源221の発光強度を制御、つまり、発光強度を下げるように制御する。
これにより、設定部21は、可視画像撮像用イメージセンサ基板132-1に配置されている全ての画素1320が出力する画素信号のデジタル値(画素信号の大きさ)を、予め設定した一定の大きさ以内に抑えることができる。このことにより、蛍光画像撮像用イメージセンサ基板132-2には、減衰されずに入射される可視光がなくなり、配置されている全ての蛍光画素1320IRの光電変換素子132021における蛍光の露光(検出)精度が悪化することがなくなる。
なお、設定部21による画素1320の可視光信号強度の監視は、画像処理部32から出力された監視信号(パラレルRAWデータ)ごと、つまり、可視画像撮像用イメージセンサが反射光(可視光)を露光して被検査体901を撮影したフレームごとに行ってもよいし、予め定めたフレームの間隔ごと、例えば、10フレームに1回の割合で行ってもよい。また、設定部21による画素1320の可視光信号強度の監視は、可視画像撮像用イメージセンサが反射光(可視光)を露光するフレームの周期、いわゆる、フレームレートに同期したタイミングで行ってもよいし、フレームレートとは非同期に行ってもよい。例えば、検査実施者が撮影制御スイッチ14を操作して入力した、可視光信号強度を監視して光源装置20が発光する照明光を調整することを表す指示(指示信号)に応じて、設定部21が、画素1320の可視光信号強度の監視を行って、白色光源221の発光強度を制御してもよい。また、設定部21が可視光信号強度を監視する画素1320の範囲は、1フレームの全体であってもよいし、1フレームの予め定めた範囲であってもよい。例えば、1フレームの中心から予め定めた範囲、いわゆる、主要な被写体(被検査体901)を撮影すると考えられる範囲であってもよい。これにより、白色光源221の発光強度を、より高速に制御することができる。
ここで、蛍光観察内視鏡装置1において本発明の蛍光観察装置を構成する光源装置20が出射する照明光の強度(白色光源221が発光する白色光(可視光)の発光強度)を制御するための設定信号強度を設定する方法について説明する。設定部21は、予め定めた条件に従って白色光源221の発光強度を制御したときに外部処理部30に備えた画像処理部32から出力される監視信号を用いて、設定信号強度を設定する。
より具体的には、白色光源221が発光する白色光(可視光)の発光強度を徐々に変動させ(例えば、予め定めた発光強度のレベルの間隔で、低いレベルから強いレベルまで徐々に上げていき)、それぞれの発光強度において、積層型イメージセンサ132が撮影する。なお、このとき、白色光源222は白色光の発光、つまり、ダイクロックミラー232が分離する励起光の出射を行わないようにする。また、このとき積層型イメージセンサ132が撮影する被写体は、基準の被写体(例えば、白(ホワイト)の被写体)とする。
そして、外部処理部30に備えた画像処理部32は、それぞれの発光強度における監視信号(パラレルRAWデータ)を、光源装置20に備えた設定部21に出力する。設定部21は、画像処理部32から出力されたそれぞれの監視信号に含まれる、可視画像撮像用イメージセンサが出力した可視画像撮像信号のパラレルRAWデータが表す可視光信号強度と、蛍光画像撮像用イメージセンサが出力した蛍光画像撮像信号のパラレルRAWデータが表す信号強度(以下、「蛍光信号強度」という)とに基づいて、設定信号強度を設定する。
なお、設定部21が設定信号強度を設定する際に用いる可視光信号強度と蛍光信号強度とは、可視画像撮像用イメージセンサ基板132-1に配置された画素1320、つまり、R画素1320R、G画素1320G、およびB画素1320Bのそれぞれを区別してもよいし、それぞれの画素1320を区別しなくてもよい。設定部21がそれぞれの画素1320を区別せずに設定信号強度を設定した場合には、白色光源221の発光強度を制御する際に可視画像撮像用イメージセンサが出力したそれぞれの画素1320の可視光信号強度を監視する上述した処理を、容易にすることができる。
以下の説明においては、設定部21が行う設定信号強度の設定処理をより詳細に説明するため、設定部21がR画素1320R、G画素1320G、およびB画素1320Bのそれぞれを区別して、設定信号強度を設定する場合について説明する。なお、設定部21がR画素1320R、G画素1320G、およびB画素1320Bのそれぞれを区別して設定信号強度を設定した場合には、可視画像撮像用イメージセンサ基板132-1に配置されたそれぞれの画素1320ごとに、設定信号強度を設定することができる。そして、設定部21は、監視しているいずれかの画素1320の可視光信号強度が、設定信号強度を超えたか否か、または設定信号強度よりも大きいか否かを、可視光の波長帯域ごとに判定することができる。これにより、設定部21は、白色光源221による白色光(可視光)の発光強度の制御を、より適切に行うことができる。
図8は、本発明の実施形態の蛍光観察内視鏡装置1に備えた光源装置20が出射する光(照明光、特に可視光)の強度の設定方法を説明する図である。図8の(a)~図8の(c)には、可視画像撮像用イメージセンサ基板132-1で検出する可視光信号強度を横軸に、蛍光画像撮像用イメージセンサ基板132-2で検出する可視光信号強度を縦軸にして、可視画像撮像用イメージセンサ基板132-1で検出する可視光信号強度と蛍光画像撮像用イメージセンサ基板132-2で検出する可視光信号強度との関係を示している。より具体的には、図8の(a)には、B画素1320Bの可視光信号強度と、B画素1320Bに対応する蛍光画素1320IRの可視光信号強度との関係を示している。また、図8の(b)には、G画素1320Gの可視光信号強度と、G画素1320Gに対応する蛍光画素1320IRの可視光信号強度との関係を示している。また、図8の(c)には、R画素1320Rの可視光信号強度と、R画素1320Rに対応する蛍光画素1320IRの可視光信号強度との関係を示している。なお、以下の説明においては、可視画像撮像用イメージセンサ基板132-1で検出する可視光信号強度と蛍光画像撮像用イメージセンサ基板132-2で検出する可視光信号強度とのそれぞれの値、つまり、それぞれの画素1320が出力した画素信号の大きさを表すデジタル値を、単位のない整数で表して説明する。
上述したように、設定部21は、白色光源221が発光する白色光(可視光)の発光強度を、例えば、低いレベルから強いレベルまで徐々に上げていく。このとき、設定部21は、蛍光画像撮像信号のパラレルRAWデータに含まれる蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRの可視光信号強度を監視する。そして、設定部21は、いずれかの可視光信号強度が値を示したとき、つまり、いずれかの蛍光画素1320IRが、可視画像撮像用イメージセンサ基板132-1および誘電体多層膜フィルタ13203を透過して入射した可視光を露光(検出)したとき、この蛍光画素1320IRに対応する可視画像撮像用イメージセンサ基板132-1の画素1320の可視光信号強度を保持(記録)する。なお、設定部21は、いずれかの蛍光信号強度の値が予め定めた値以上変化したときを、蛍光画素1320IRが可視光を露光(検出)したときとして、対応する画素1320の可視光信号強度を保持(記録)してもよい。設定部21は、蛍光画素1320IRの蛍光信号強度の監視と、対応する画素1320の可視光信号強度の保持(記録)とを繰り返し、現在の白色光(可視光)の発光強度のレベルにおける最小の可視光信号強度を、可視画像撮像用イメージセンサ基板132-1に配置されたそれぞれの画素1320ごと、つまり、R画素1320R、G画素1320G、およびB画素1320Bのそれぞれごとに保持(記録)する。そして、設定部21は、保持(記録)した最小の可視光信号強度と蛍光信号強度との関係に基づいて、R画素1320R、G画素1320G、およびB画素1320Bのそれぞれごとに、許容する最大の可視光信号強度(デジタル値)または一定の可視光信号強度(デジタル値)を、設定信号強度として設定する。
設定部21が、図8の(a)~図8の(c)に示したような、それぞれの画素1320ごとの可視光信号強度と蛍光信号強度との関係を保持した場合に設定する設定信号強度の一例について説明する。
図8の(a)に示したように、B画素1320Bに対応する蛍光画素1320IRの可視光信号強度が、B画素1320Bの可視光信号強度の全域にわたって“0”であった場合、設定部21は、B画素1320Bに対応する設定信号強度を設定しない。つまり、設定部21は、白色光源221の発光強度を上げていっても、B画素1320Bに対応する蛍光画素1320IRが可視光を露光(検出)しなかった場合には、B画素1320Bに対応する設定信号強度を設定しない。そして、設定部21は、B画素1320Bの可視光信号強度を、監視する対象から除外する。
また、図8の(b)に示したように、G画素1320Gに対応する蛍光画素1320IRの可視光信号強度が、G画素1320Gの可視光信号強度が“3000”のときから値を示した場合、設定部21は、G画素1320Gに対応する設定信号強度を設定する。つまり、設定部21は、G画素1320Gが出力した画素信号の大きさを表すデジタル値が“3000”となるまで白色光源221の発光強度を上げると、G画素1320Gに対応する蛍光画素1320IRが、可視画像撮像用イメージセンサ基板132-1および誘電体多層膜フィルタ13203を透過した可視光を検出してしまい、光電変換素子132021における波長帯域WDの蛍光の露光(検出)精度が悪化してしまうと判定する。このため、設定部21は、G画素1320Gの可視光信号強度=“3000”を基準として、この“3000”よりも低い値(例えば、“2800”)を、G画素1320Gに対応する設定信号強度として設定する。
また、図8の(c)に示したように、R画素1320Rに対応する蛍光画素1320IRの可視光信号強度が、R画素1320Rの可視光信号強度が“2000”のときから値を示した場合、設定部21は、同様に、R画素1320Rに対応する設定信号強度を設定する。つまり、設定部21は、R画素1320Rが出力した画素信号の大きさを表すデジタル値が“2000”となるまで白色光源221の発光強度を上げると、R画素1320Rに対応する蛍光画素1320IRが、可視画像撮像用イメージセンサ基板132-1および誘電体多層膜フィルタ13203を透過した可視光を検出してしまい、光電変換素子132021における波長帯域WDの蛍光の露光(検出)精度が悪化してしまうと判定する。このため、設定部21は、R画素1320Rの可視光信号強度=“2000”を基準として、この“2000”よりも低い値(例えば、“1800”)を、R画素1320Rに対応する設定信号強度として設定する。
このようにして、設定部21は、画像処理部32から出力されたそれぞれの監視信号に含まれる可視画像撮像信号のパラレルRAWデータが表す可視光信号強度と、蛍光画像撮像信号のパラレルRAWデータが表す蛍光信号強度とに基づいて、可視画像撮像用イメージセンサ基板132-1に配置されたそれぞれの画素1320ごとに、設定信号強度を設定する。そして、蛍光観察内視鏡装置1における通常の動作(被検査体901の観察動作)において、設定部21は、上述したように、それぞれの画素1320の可視光信号強度を監視し、設定した設定信号強度に基づいた判定結果に応じて、白色光源221による白色光(可視光)の発光強度を制御する。
より具体的には、例えば、監視しているR画素1320Rの可視光信号強度が“1800”を超えた、または“1800”よりも大きくなった場合、設定部21は、発光強度を下げるように白色光源221を制御する。また、例えば、監視しているR画素1320Rの可視光信号強度が“1800”以下、または“1800”の近辺の値(例えば、“1800”~“1600”など)である場合、設定部21は、現在の発光強度を維持するように白色光源221を制御する。また、例えば、監視しているR画素1320Rの可視光信号強度が“1800”よりも十分に低い値(例えば、“1500”以下)になった場合、設定部21は、発光強度を上げるように白色光源221を制御する。なお、本発明においては、設定部21による白色光源221の発光強度の制御量に関しては、特に制限はしない。
これにより、蛍光観察内視鏡装置1では、通常の動作(被検査体901の観察動作)において、積層型イメージセンサ132を構成する蛍光画像撮像用イメージセンサ基板132-2への可視画像撮像用イメージセンサ基板132-1および誘電体多層膜フィルタ13203によって減衰されなかった可視光の入射がなくなる。これにより、蛍光観察内視鏡装置1では、蛍光画像撮像用イメージセンサ基板132-2に配置されている全ての蛍光画素1320IRの光電変換素子132021における蛍光の露光(検出)精度の悪化を防止することができる。このことにより、蛍光観察内視鏡装置1では、蛍光画像撮像用イメージセンサが露光した蛍光画像撮像信号に基づいた、被検査体901の蛍光画像における画質の劣化を抑制することができる。
また、蛍光観察内視鏡装置1では、光電変換素子132021における波長帯域WDの蛍光の露光(検出)精度が悪化してしまうと判定されるまでは、白色光源221による白色光(可視光)の発光強度を強くしておくことができる。このことにより、蛍光観察内視鏡装置1では、必要以上に白色光源221が発光する白色光(可視光)を暗くすることがなくなり、可視画像撮像用イメージセンサが露光した可視画像撮像信号に基づいた、被検査体901の可視画像における画質の劣化を抑制することができる。
なお、設定部21がそれぞれの画素1320を、どの波長帯域の光(可視光)、つまり、何色のオンチップカラーフィルタ13204に対応する画素であるかを区別せずに設定信号強度を設定する場合、蛍光画素1320IRの可視光信号強度が値を示したときのR画素1320R、G画素1320G、およびB画素1320Bの可視光信号強度の内、最も低い値を、それぞれの画素1320に共通の設定信号強度として設定する。より具体的には、それぞれの画素1320における可視光信号強度と蛍光信号強度との関係が図8の(a)~図8の(c)に示した関係である場合、設定部21は、図8の(c)に示した最も低いR画素1320Rの可視光信号強度=“2000”を基準として同様に、この“2000”よりも低い値(例えば、“1800”)を、全ての画素1320に対応する設定信号強度として設定する。なお、設定部21がそれぞれの画素1320を何色のオンチップカラーフィルタ13204に対応する画素であるかを区別せずに設定信号強度を設定した場合でも、蛍光観察内視鏡装置1における通常の動作において設定部21が行う白色光源221の発光強度の制御方法は、設定部21がそれぞれの画素1320を何色のオンチップカラーフィルタ13204に対応する画素であるかを区別して設定信号強度を設定した場合と同様である。
ただし、上述したように、設定部21がそれぞれの画素1320を何色のオンチップカラーフィルタ13204に対応する画素であるかを区別して設定信号強度を設定した場合には、白色光源221による白色光(可視光)の発光強度の制御を、より適切に行うことができる。より具体的には、それぞれの画素1320における可視光信号強度と蛍光信号強度との関係が図8の(a)~図8の(c)に示した関係である場合について考える。設定部21がそれぞれの画素1320を区別しない場合には、上述したように、設定信号強度は、“1800”が設定される。このため、設定部21は、G画素1320Gの可視光信号強度が、例えば、“2500”である場合には、発光強度を下げるように白色光源221を制御することになる。これに対して、設定部21がそれぞれの画素1320を区別する場合には、上述したように、G画素1320Gの設定信号強度は、“2800”が設定される。従って、設定部21は、G画素1320Gの可視光信号強度が、例えば、“2500”であっても、発光強度を下げるように白色光源221を制御しない、つまり、現在の発光強度を維持するように白色光源221を制御することになる。これは、設定部21がそれぞれの画素1320を区別しない場合には、G画素1320Gの可視光信号強度が“3000”以上にならないと、対応する蛍光画素1320IRの光電変換素子132021における波長帯域WDの蛍光の露光(検出)精度が悪化しないにもかかわらず、白色光源221の発光強度を下げるように制御していることになる。これは、設定部21がそれぞれの画素1320を区別しない場合には、画素1320の可視光信号強度が、対応する蛍光画素1320IRの光電変換素子132021における波長帯域WDの蛍光の露光(検出)精度が悪化する可視光信号強度よりも弱い場合でも、早めに、つまり、余裕をもって、白色光源221の発光強度を下げるように制御してしまう場合があることを表している。しかし、設定部21がそれぞれの画素1320を区別しない場合には、上述したように、蛍光観察内視鏡装置1における通常の動作において、それぞれの画素1320の可視光信号強度を監視する処理を、容易にすることができるという優位性もある。
なお、設定部21は、白色光源221の発光強度を制御したことを表す情報を、外部処理部30に備えた画像処理部32に通知する構成にしてもよい。この場合、画像処理部32は、デシリアライザ31から出力されたパラレルRAWデータに対して画像処理を行う際に、設定部21からの通知に応じて、画像処理(例えば、ガンマ補正処理)の方法やパラメータを変更して、より画質のよい(被検査体901をより見えやすくした)可視画像や、表示用の画像(表示用画像データ)を生成することができる。
なお、本発明においては、設定部21が設定信号強度の設定処理を行うタイミングに関しては、特に制限はしない。しかし、積層型イメージセンサ132においては、可視画像撮像用イメージセンサ基板132-1に配置されたそれぞれの画素1320(R画素1320R、G画素1320G、およびB画素1320B)と、誘電体多層膜フィルタ13203と、蛍光画像撮像用イメージセンサ基板132-2に配置された対応する画素1320(蛍光画素1320IR)とのそれぞれの関係は、基本的に一定である。これは、蛍光観察内視鏡装置1を組み上げた後では、原則として積層型イメージセンサ132の構造が変化しない、つまり、積層型イメージセンサ132の構造においては、可視画像撮像用イメージセンサ基板132-1、誘電体多層膜フィルタ13203、および蛍光画像撮像用イメージセンサ基板132-2は、いずれも変更(交換)されることがないからである。従って、積層型イメージセンサ132においては、R画素1320R、G画素1320G、およびB画素1320Bのそれぞれにおける可視光信号強度と、対応する蛍光画素1320IRにおける蛍光信号強度との関係は、常に一定の関係である。このため、設定部21は、例えば、蛍光観察内視鏡装置1を組み上げて出荷する前に、設定信号強度の設定処理を少なくとも1度行って、設定信号強度を設定するようにしてもよい。つまり、設定部21は、設定信号強度の設定処理を、再度行わないようにしてもよい。
このように、蛍光観察内視鏡装置1を構成する光源装置20に備えた設定部21は、外部処理部30から入力された監視信号に基づいて、白色光源221が発光する白色光の発光強度を制御する。これにより、光源装置20は、積層型イメージセンサ132によって、可視光による被検査体901の通常撮影と、近赤外光などの励起光の照射によって投与したICGが励起して蛍光発光した蛍光による被検査体901の蛍光撮影とを同時に行う際に、蛍光の露光(検出)精度の悪化を防止すると共に、可視画像の画質の劣化を抑制することができる。
実施形態によれば、可視光および励起光(近赤外光)の波長帯域を含む光を被写体に照射することができる光源装置(光源装置20)と、被写体から反射された反射光の内、可視領域の光を検出する第1の光電変換素子(R画素1320R、G画素1320G、およびB画素1320Bのそれぞれを構成する光電変換素子132011)を複数形成した第1の基板(可視画像撮像用イメージセンサ基板132-1)と、可視画像撮像用イメージセンサ基板132-1を透過した反射光の内、赤外領域の光(蛍光)を検出する第2の光電変換素子(蛍光画素1320IRを構成する光電変換素子132021)を複数形成した第2の基板(蛍光画像撮像用イメージセンサ基板132-2)と、可視画像撮像用イメージセンサ基板132-1と蛍光画像撮像用イメージセンサ基板132-2との間に配置され、可視画像撮像用イメージセンサ基板132-1を透過した可視領域の光(反射光(可視光))を減衰する層間フィルタ(誘電体多層膜フィルタ13203)と、を備えた撮像装置(積層型イメージセンサ132)と、光源装置20が照射する可視光(白色光源221が発光する白色光、つまり、ダイクロックミラー231が分離する可視光)の発光強度を、それぞれの光電変換素子132011で検出でき、かつ、それぞれの光電変換素子132021で検出する蛍光の検出値(露光(検出)精度)が所定の値(蛍光の露光(検出)精度を悪化させないような適正なレベル)以下となるように設定する設定装置(設定部21)と、を有する蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、光源装置20は、可視光(白色光源221が発光する白色光)の発光強度を励起光(近赤外光)の発光強度とは別に設定することができ、設定部21は、それぞれの光電変換素子132011が検出した、積層型イメージセンサ132に入射した反射光に含まれる可視領域の光(反射光(可視光))の強度である第1の検出強度(可視光信号強度)に基づいて、光源装置20が照射する可視光(白色光源221が発光する白色光)の発光強度を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、設定部21は、いずれかの光電変換素子132011が検出した可視光信号強度が予め設定した最大の検出強度を超えた場合に、それぞれの光電変換素子132011は検出する可視光信号強度が最大の検出強度(設定信号強度)以下となるように、可視光(白色光源221が発光する白色光)の発光強度を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、設定部21は、それぞれの光電変換素子132011によって可視光信号強度を検出する周期(フレームレート)に同期したタイミングで、可視光(白色光源221が発光する白色光)の発光強度を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、設定部21は、光源装置20が照射する可視光(白色光源221が発光する白色光)の発光強度を徐々に変動させながら(例えば、予め定めた発光強度のレベルの間隔で、低いレベルから強いレベルまで徐々に上げていき)、それぞれの光電変換素子132021が検出した光の強度である第2の検出強度(蛍光信号強度)を監視し、光電変換素子132021が検出した蛍光信号強度のレベルが一定レベル以上変化したとき(例えば、光電変換素子132021が可視光を露光(検出)したとき)に、対応する光電変換素子132011が検出した可視光信号強度のレベルを記憶(保持)し、記憶(保持)した可視光信号強度のレベルに基づいて、最大の検出強度(設定信号強度)を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、光電変換素子132011は、第1の波長帯域の可視領域の光(例えば、400nm~500nmの波長帯域の光)、第1の波長帯域とは異なる第2の波長帯域の可視領域の光(例えば、500nm~600nmの波長帯域の光)、第1の波長帯域および第2の波長帯域とは異なる第3の波長帯域の可視領域の光(例えば、600nm~700nmの波長帯域の光)のいずれか1つの波長帯域の可視領域の光に対応し、設定部21は、光電変換素子132011が対応する波長帯域の可視領域の光ごとに、最小の可視光信号強度のレベルを記憶(保持)し、記憶(保持)したそれぞれの最小の可視光信号強度のレベルに基づいて、第1の波長帯域の可視領域、第2の波長帯域の可視領域、第3の波長帯域の可視領域のそれぞれに対応する最大の検出強度(設定信号強度)を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、設定部21は、光電変換素子132011の検出強度が予め設定した一定の検出強度(設定信号強度)になるように、可視光(白色光源221が発光する白色光)の発光強度を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、設定部21は、それぞれの光電変換素子132011によって可視光信号強度を検出する周期(フレームレート)に同期したタイミングで、可視光(白色光源221が発光する白色光)の発光強度を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、設定部21は、光源装置20が照射する可視光(白色光源221が発光する白色光)の発光強度を徐々に変動させながら(例えば、予め定めた発光強度のレベルの間隔で、低いレベルから強いレベルまで徐々に上げていき)、それぞれの光電変換素子132021が検出した光の強度である蛍光信号強度を監視し、光電変換素子132021が検出した蛍光信号強度のレベルが一定レベル以上変化したとき(例えば、光電変換素子132021が可視光を露光(検出)したとき)に、対応する光電変換素子132011が検出した可視光信号強度のレベルを記憶(保持)し、記憶(保持)した可視光信号強度のレベルに基づいて、一定の検出強度(設定信号強度)を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、光電変換素子132011は、第1の波長帯域の可視領域の光(例えば、400nm~500nmの波長帯域の光)、第1の波長帯域とは異なる第2の波長帯域の可視領域の光(例えば、500nm~600nmの波長帯域の光)、第1の波長帯域および第2の波長帯域とは異なる第3の波長帯域の可視領域の光(例えば、600nm~700nmの波長帯域の光)のいずれか1つの波長帯域の可視領域の光に対応し、設定部21は、光電変換素子132011が対応する波長帯域の可視領域の光ごとに、最小の可視光信号強度のレベルを記憶(保持)し、記憶(保持)したそれぞれの最小の可視光信号強度のレベルに基づいて、第1の波長帯域の可視領域、第2の波長帯域の可視領域、第3の波長帯域の可視領域のそれぞれに対応する一定の検出強度(設定信号強度)を設定する、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、誘電体多層膜フィルタ13203は、誘電体多層膜フィルタである、蛍光観察装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、蛍光物質(例えば、インドシアニングリーン誘導体標識抗体(ICG)からなる蛍光物質)を観察する蛍光観察内視鏡装置(蛍光観察内視鏡装置1)であって、可視光、および蛍光物質に照射することで被検査体に蛍光を発光させる励起光(近赤外光)の波長帯域を含む光を被検査体に照射することができる光源装置20と、被検査体(被検査体901)から反射された反射光の内、可視領域の光を検出する光電変換素子132011を複数形成した可視画像撮像用イメージセンサ基板132-1と、可視画像撮像用イメージセンサ基板132-1を透過した反射光の内、蛍光を検出する光電変換素子132021を複数形成した蛍光画像撮像用イメージセンサ基板132-2と、可視画像撮像用イメージセンサ基板132-1と蛍光画像撮像用イメージセンサ基板132-2との間に配置され、可視画像撮像用イメージセンサ基板132-1を透過した可視領域の光を減衰する誘電体多層膜フィルタ13203と、を備えた積層型イメージセンサ132と、光源装置20が照射する可視光(白色光源221が発光する白色光、つまり、ダイクロックミラー231が分離する可視光)の発光強度を、それぞれの光電変換素子132011で検出でき、かつ、それぞれの光電変換素子132021で検出する蛍光の検出値(露光(検出)精度)が所定の値(蛍光の露光(検出)精度を悪化させないような適正なレベル)以下となるように設定する設定部21と、を有する蛍光観察装置、を備える蛍光観察内視鏡装置(蛍光観察内視鏡装置1)が構成される。
また、実施形態によれば、積層型イメージセンサ132は、蛍光観察内視鏡装置1において生体(ICGからなる蛍光物質が投与された検査対象者)の内部に挿入される挿入部(挿入部11)の先端部(挿入部11の先端部に備えた撮像部13)に配置される、蛍光観察内視鏡装置1が構成される。
上記に述べたように、本発明の実施形態によれば、蛍光観察装置に備える固体撮像装置において、可視領域の光(可視光)を露光(検出)する可視画像撮像用イメージセンサと、赤外領域の光(近赤外光)を露光(検出)する蛍光画像撮像用イメージセンサと、可視画像撮像用イメージセンサと蛍光画像撮像用イメージセンサとの間に配置される層間フィルタとを備える。そして、本発明の実施形態では、蛍光観察装置に備える光源装置において、可視光の波長帯域の白色光と励起光の波長帯域の白色光とを、照明光として被検査体に照射する。これにより、本発明の実施形態では、蛍光観察装置において、可視光を露光した可視画像撮像信号と、被検査体に投与したICGなどの誘導体標識抗体(蛍光薬剤:蛍光物質)が励起して蛍光発光した赤外領域の光(近赤外光)である蛍光を露光した蛍光画像撮像信号とを同時期に得ることができる。
また、本発明の実施形態では、蛍光観察装置に備える光源装置において、可視画像撮像信号が表す可視光信号強度を監視する。そして、本発明の実施形態では、蛍光観察装置に備える光源装置において、監視している可視光信号強度を、予め設定した設定信号強度に基づいて判定し、その判定結果に応じて、発光する可視光の波長帯域の白色光の発光強度を制御する。これにより、本発明の実施形態では、蛍光観察装置に備える固体撮像装置において、可視画像撮像用イメージセンサおよび層間フィルタによって減衰されなかった可視光が蛍光画像撮像用イメージセンサに入射するのを防止することができる。このことにより、本発明の実施形態では、蛍光観察装置において、光源装置が発光する可視光の波長帯域の白色光の発光強度を必要以上に強くして、固体撮像装置に備える蛍光画像撮像用イメージセンサにおける蛍光の露光(検出)精度の悪化するのを防止することができる。これにより、本発明の実施形態では、蛍光観察装置において、固体撮像装置に備える蛍光画像撮像用イメージセンサが露光した蛍光画像撮像信号に基づいた被検査体の蛍光画像における画質の劣化を抑制することができる。
また、本発明の実施形態では、蛍光観察装置に備える光源装置において、発光する可視光の波長帯域の白色光の発光強度を、固体撮像装置に備える蛍光画像撮像用イメージセンサにおける蛍光の露光(検出)精度が悪化してしまうと判定される手前まで強くしておくことができる。これにより、本発明の実施形態では、蛍光観察装置において、光源装置が発光する可視光の波長帯域の白色光の発光強度を必要以上に弱くすることがなく、固体撮像装置に備える可視画像撮像用イメージセンサが露光した可視画像撮像信号に基づいた被検査体の可視画像の画質の劣化を抑制することができる。
これらのことにより、本発明の実施形態では、蛍光観察装置において、可視画像撮像用イメージセンサと蛍光画像撮像用イメージセンサとを積層した固体撮像装置を備え、画質の劣化を抑制した、被検査体の可視画像と被検査体の蛍光画像とを同時期に得ることができる。このことにより、本発明の実施形態では、蛍光観察装置を蛍光観察内視鏡装置として構成する場合においても、検査実施者に、画質の劣化を抑制した、被検査体の可視画像と被検査体の蛍光画像とを同時期に提示することができる。
なお、本発明の実施形態では、本発明の蛍光観察装置を構成する撮像部に備えた固体撮像装置(実施形態においては、積層型イメージセンサ132を構成する可視画像撮像用イメージセンサおよび蛍光画像撮像用イメージセンサ)が出力する撮像信号が、画素部内のそれぞれの画素が光電変換した信号電荷に応じた画素信号、つまり、RAWデータである場合を示した。しかし、固体撮像装置が出力する撮像信号の形式は、本発明の実施形態において示したRAWデータに限定されるものではない。例えば、積層型イメージセンサ132が撮像信号線61によって伝送する撮像信号のデータ量を削減するため、可視画像撮像用イメージセンサに配置されたR画素1320R、G画素1320G、およびB画素1320Bのそれぞれの画素信号に対してYC処理を行って、例えば、YCbCr信号、YUV信号などの、いわゆる、輝度色差信号に変換して出力してもよい。この場合、可視画像撮像用イメージセンサは、アナログ/デジタル変換部1323が出力したデジタル値の画素信号をデジタル値の輝度色差信号に変換した後、シリアライザ1324がパラレル/シリアル変換したシリアルの輝度色差信号を、可視画像撮像信号として外部に出力する構成が考えられる。また、この場合、外部処理部30は、デシリアライザ31がシリアルの輝度色差信号を元のパラレルの輝度色差信号に復元した後、画像処理部32のデモザイキング処理によってR画素、G画素、またはB画素のいずれかの画素の画素信号のみからなるそれぞれの画像データを生成する構成が考えられる。
なお、本発明の実施形態では、本発明の蛍光観察装置を構成する光源装置が、白色光源とダイクロックミラーとの組によって、予め定めた波長帯域の光を発光する構成を示した。しかし、光源装置の構成は、本発明の実施形態において示した構成に限定されるものではない。例えば、白色光源とダイクロックミラーとの組の代わりに、予め定めた波長帯域の光を発光する光源を備え、それぞれの光源が発光した光を、光照射レンズが集光して出射する構成にしてもよい。この場合、光源装置は、例えば、青色(B)から赤色(R)までの波長帯域の光(例えば、400nm~700nmの波長帯域の可視光)を発光する白色光源と、励起光の波長帯域の光(例えば、700nm~800nmの波長帯域の近赤外光)を発光する赤外光源と、のそれぞれを備える構成が考えられる。
なお、本発明の実施形態では、本発明の蛍光観察装置が、蛍光観察内視鏡装置として構成される場合について説明した。しかし、本発明の蛍光観察装置は、実施形態において示した蛍光観察内視鏡装置としての構成に限定されるものではない。例えば、本発明の蛍光観察装置を、顕微鏡装置として構成することもできる。この場合、本発明の蛍光観察装置のそれぞれの構成要素は、顕微鏡装置における適切な位置にそれぞれ配置する。
また、例えば、積層型イメージセンサ132に積層する誘電体多層膜フィルタ13203の特性に関しては、450nmまたは450nm以下~750nmの波長帯域の可視光に対する減衰率(遮光率)を、白色光源221による白色光(可視光)の発光強度を弱くした場合に許容することができる可視画像の画質を維持できれば、二酸化シリコン(SiO2)と酸化チタン(TiO2)とのそれぞれの薄膜層の数を減らしてもよい。そして、最終的には、積層型イメージセンサ132に、誘電体多層膜フィルタ層132-3を積層していない構成にしてもよい。この構成の積層型イメージセンサ132では、蛍光画像撮像用イメージセンサ基板132-2に配置されたそれぞれの蛍光画素1320IRの光電変換素子132021における光に対する感度や斜入射特性の悪化をさらに抑えることができる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
上記実施形態によれば、光電変換部が形成された複数の半導体基板を積層した構成の固体撮像装置によって可視光と蛍光物質が励起した蛍光とを同時に撮像する際に、蛍光の検出精度の悪化を防ぐと共に、可視光を撮像した画像における画質の劣化を抑制することができる蛍光観察装置および蛍光観察内視鏡装置を提供することができる。
1 蛍光観察内視鏡装置(蛍光観察装置,蛍光観察内視鏡装置)
10 内視鏡スコープ部
11 挿入部(挿入部)
12 操作部
13 撮像部(蛍光観察装置,蛍光観察内視鏡装置,挿入部,先端部)
130 撮像レンズ
131 励起光カットフィルタ(蛍光観察装置,蛍光観察内視鏡装置)
132 積層型イメージセンサ(蛍光観察装置,蛍光観察内視鏡装置,撮像装置)
1320 画素(第1の光電変換素子,第2の光電変換素子,撮像装置)
1320IR 蛍光画素(第2の光電変換素子,撮像装置,第2の基板)
1320R R画素(第1の光電変換素子,撮像装置,第1の基板)
1320G G画素(第1の光電変換素子,撮像装置,第1の基板)
1320B B画素(第1の光電変換素子,撮像装置,第1の基板)
1321 画素部(第1の光電変換素子,第2の光電変換素子,撮像装置)
1322 読み出し部
13220 制御回路
13221 垂直走査回路
13222 水平走査回路
1323 アナログ/デジタル変換部
13230 アナログ/デジタル変換回路
1324 シリアライザ
1325 垂直信号線
1326 水平信号線
132-1 可視画像撮像用イメージセンサ基板(撮像装置,第1の基板)
132-11 光電変換層(撮像装置,第1の基板)
132011 光電変換素子(第1の光電変換素子,撮像装置,第1の基板)
132-12 配線層(撮像装置,第1の基板)
132012 配線(撮像装置,第1の基板)
132-2 蛍光画像撮像用イメージセンサ基板(撮像装置,第2の基板)
132-21 光電変換層(撮像装置,第2の基板)
132021 光電変換素子(第2の光電変換素子,撮像装置,第2の基板)
132-22 配線層(撮像装置,第2の基板)
132022 配線(撮像装置,第2の基板)
132-3 誘電体多層膜フィルタ層(撮像装置,層間フィルタ)
132031 二酸化シリコン薄膜層(撮像装置,層間フィルタ,誘電体多層膜フィルタ)
132032 酸化チタン薄膜層(撮像装置,層間フィルタ,誘電体多層膜フィルタ)
132-4 オンチップカラーフィルタ層(撮像装置)
13204 オンチップカラーフィルタ(撮像装置)
13204R オンチップカラーフィルタ(撮像装置)
13204G オンチップカラーフィルタ(撮像装置)
13204B オンチップカラーフィルタ(撮像装置)
132-5 マイクロレンズ層(撮像装置)
13205 マイクロレンズ
132-6 支持基板(撮像装置)
14 撮影制御スイッチ
20 光源装置(蛍光観察装置,蛍光観察内視鏡装置,光源装置)
21 設定部(蛍光観察装置,蛍光観察内視鏡装置,光源装置,設定装置)
220,221,222 白色光源(蛍光観察装置,蛍光観察内視鏡装置,光源装置)
231,232 ダイクロックミラー(蛍光観察装置,蛍光観察内視鏡装置,光源装置)
24 光照射レンズ(蛍光観察装置,蛍光観察内視鏡装置,光源装置)
30 外部処理部(蛍光観察装置,蛍光観察内視鏡装置)
31 デシリアライザ
32 画像処理部(蛍光観察装置,蛍光観察内視鏡装置)
33 デジタル/アナログ変換部
40 カラーモニタ
50 光信号ケーブル
51 ライトガイド
60 電気信号ケーブル
61 撮像信号線
900 腹部
901 被検査体
SR 基板領域
WA 波長帯域
WB 波長帯域
WC 波長帯域
WD 波長帯域
B1 分光特性
G1 分光特性
R1 分光特性
EL1 分光特性
ST1 分光特性
DM1 分光特性
10 内視鏡スコープ部
11 挿入部(挿入部)
12 操作部
13 撮像部(蛍光観察装置,蛍光観察内視鏡装置,挿入部,先端部)
130 撮像レンズ
131 励起光カットフィルタ(蛍光観察装置,蛍光観察内視鏡装置)
132 積層型イメージセンサ(蛍光観察装置,蛍光観察内視鏡装置,撮像装置)
1320 画素(第1の光電変換素子,第2の光電変換素子,撮像装置)
1320IR 蛍光画素(第2の光電変換素子,撮像装置,第2の基板)
1320R R画素(第1の光電変換素子,撮像装置,第1の基板)
1320G G画素(第1の光電変換素子,撮像装置,第1の基板)
1320B B画素(第1の光電変換素子,撮像装置,第1の基板)
1321 画素部(第1の光電変換素子,第2の光電変換素子,撮像装置)
1322 読み出し部
13220 制御回路
13221 垂直走査回路
13222 水平走査回路
1323 アナログ/デジタル変換部
13230 アナログ/デジタル変換回路
1324 シリアライザ
1325 垂直信号線
1326 水平信号線
132-1 可視画像撮像用イメージセンサ基板(撮像装置,第1の基板)
132-11 光電変換層(撮像装置,第1の基板)
132011 光電変換素子(第1の光電変換素子,撮像装置,第1の基板)
132-12 配線層(撮像装置,第1の基板)
132012 配線(撮像装置,第1の基板)
132-2 蛍光画像撮像用イメージセンサ基板(撮像装置,第2の基板)
132-21 光電変換層(撮像装置,第2の基板)
132021 光電変換素子(第2の光電変換素子,撮像装置,第2の基板)
132-22 配線層(撮像装置,第2の基板)
132022 配線(撮像装置,第2の基板)
132-3 誘電体多層膜フィルタ層(撮像装置,層間フィルタ)
132031 二酸化シリコン薄膜層(撮像装置,層間フィルタ,誘電体多層膜フィルタ)
132032 酸化チタン薄膜層(撮像装置,層間フィルタ,誘電体多層膜フィルタ)
132-4 オンチップカラーフィルタ層(撮像装置)
13204 オンチップカラーフィルタ(撮像装置)
13204R オンチップカラーフィルタ(撮像装置)
13204G オンチップカラーフィルタ(撮像装置)
13204B オンチップカラーフィルタ(撮像装置)
132-5 マイクロレンズ層(撮像装置)
13205 マイクロレンズ
132-6 支持基板(撮像装置)
14 撮影制御スイッチ
20 光源装置(蛍光観察装置,蛍光観察内視鏡装置,光源装置)
21 設定部(蛍光観察装置,蛍光観察内視鏡装置,光源装置,設定装置)
220,221,222 白色光源(蛍光観察装置,蛍光観察内視鏡装置,光源装置)
231,232 ダイクロックミラー(蛍光観察装置,蛍光観察内視鏡装置,光源装置)
24 光照射レンズ(蛍光観察装置,蛍光観察内視鏡装置,光源装置)
30 外部処理部(蛍光観察装置,蛍光観察内視鏡装置)
31 デシリアライザ
32 画像処理部(蛍光観察装置,蛍光観察内視鏡装置)
33 デジタル/アナログ変換部
40 カラーモニタ
50 光信号ケーブル
51 ライトガイド
60 電気信号ケーブル
61 撮像信号線
900 腹部
901 被検査体
SR 基板領域
WA 波長帯域
WB 波長帯域
WC 波長帯域
WD 波長帯域
B1 分光特性
G1 分光特性
R1 分光特性
EL1 分光特性
ST1 分光特性
DM1 分光特性
Claims (13)
- 可視光および励起光の波長帯域を含む光を被写体に照射することができる光源装置と、
前記被写体から反射された反射光の内、可視領域の光を検出する第1の光電変換素子を複数形成した第1の基板と、前記第1の基板を透過した前記反射光の内、赤外領域の光を検出する第2の光電変換素子を複数形成した第2の基板と、前記第1の基板と前記第2の基板との間に配置され、前記第1の基板を透過した可視領域の光を減衰する層間フィルタと、を備えた撮像装置と、
前記光源装置が照射する前記可視光の発光強度を、それぞれの前記第1の光電変換素子で検出でき、かつ、それぞれの前記第2の光電変換素子で検出する光の検出値が所定の値以下となるように設定する設定装置と、
を有する蛍光観察装置。 - 前記光源装置は、
前記可視光の発光強度を前記励起光の発光強度とは別に設定することができ、
前記設定装置は、
それぞれの前記第1の光電変換素子が検出した、前記撮像装置に入射した前記反射光に含まれる前記可視領域の光の強度である第1の検出強度に基づいて、前記光源装置が照射する前記可視光の発光強度を設定する、
請求項1に記載の蛍光観察装置。 - 前記設定装置は、
いずれかの前記第1の光電変換素子が検出した前記第1の検出強度が予め設定した最大の検出強度を超えた場合に、それぞれの前記第1の光電変換素子は検出する前記第1の検出強度が前記最大の検出強度以下となるように、前記可視光の発光強度を設定する、
請求項2に記載の蛍光観察装置。 - 前記設定装置は、
それぞれの前記第1の光電変換素子によって前記第1の検出強度を検出する周期に同期したタイミングで、前記可視光の発光強度を設定する、
請求項3に記載の蛍光観察装置。 - 前記設定装置は、
前記光源装置が照射する前記可視光の発光強度を徐々に変動させながら、それぞれの前記第2の光電変換素子が検出した光の強度である第2の検出強度を監視し、
前記第2の光電変換素子が検出した前記第2の検出強度のレベルが一定レベル以上変化したときに、対応する前記第1の光電変換素子が検出した前記第1の検出強度のレベルを記憶し、
記憶した前記第1の検出強度のレベルに基づいて、前記最大の検出強度を設定する、
請求項4に記載の蛍光観察装置。 - 前記第1の光電変換素子は、
第1の波長帯域の可視領域の光、前記第1の波長帯域とは異なる第2の波長帯域の可視領域の光、前記第1の波長帯域および前記第2の波長帯域とは異なる第3の波長帯域の可視領域の光のいずれか1つの波長帯域の可視領域の光に対応し、
前記設定装置は、
前記第1の光電変換素子が対応する波長帯域の可視領域の光ごとに、最小の前記第1の検出強度のレベルを記憶し、
記憶したそれぞれの最小の前記第1の検出強度のレベルに基づいて、前記第1の波長帯域の可視領域、前記第2の波長帯域の可視領域、前記第3の波長帯域の可視領域のそれぞれに対応する前記最大の検出強度を設定する、
請求項5に記載の蛍光観察装置。 - 前記設定装置は、
前記第1の光電変換素子の検出強度が予め設定した一定の検出強度になるように、前記可視光の発光強度を設定する、
請求項2に記載の蛍光観察装置。 - 前記設定装置は、
それぞれの前記第1の光電変換素子によって前記第1の検出強度を検出する周期に同期したタイミングで、前記可視光の発光強度を設定する、
請求項7に記載の蛍光観察装置。 - 前記設定装置は、
前記光源装置が照射する前記可視光の発光強度を徐々に変動させながら、それぞれの前記第2の光電変換素子が検出した光の強度である第2の検出強度を監視し、
前記第2の光電変換素子が検出した前記第2の検出強度のレベルが一定レベル以上変化したときに、対応する前記第1の光電変換素子が検出した前記第1の検出強度のレベルを記憶し、
記憶した前記第1の検出強度のレベルに基づいて、前記一定の検出強度を設定する、
請求項8に記載の蛍光観察装置。 - 前記第1の光電変換素子は、
第1の波長帯域の可視領域の光、前記第1の波長帯域とは異なる第2の波長帯域の可視領域の光、前記第1の波長帯域および前記第2の波長帯域とは異なる第3の波長帯域の可視領域の光のいずれか1つの波長帯域の可視領域の光に対応し、
前記設定装置は、
前記第1の光電変換素子が対応する波長帯域の可視領域の光ごとに、最小の前記第1の検出強度のレベルを記憶し、
記憶したそれぞれの最小の前記第1の検出強度のレベルに基づいて、前記第1の波長帯域の可視領域、前記第2の波長帯域の可視領域、前記第3の波長帯域の可視領域のそれぞれに対応する前記一定の検出強度を設定する、
請求項9に記載の蛍光観察装置。 - 前記層間フィルタは、
誘電体多層膜フィルタである、
請求項1から請求項10のいずれか1の項に記載の蛍光観察装置。 - 蛍光物質を観察する蛍光観察内視鏡装置であって、
可視光、および前記蛍光物質に照射することで被検査体に蛍光を発光させる励起光の波長帯域を含む光を前記被検査体に照射することができる光源装置と、
前記被検査体から反射された反射光の内、可視領域の光を検出する第1の光電変換素子を複数形成した第1の基板と、前記第1の基板を透過した前記反射光の内、蛍光を検出する第2の光電変換素子を複数形成した第2の基板と、前記第1の基板と前記第2の基板との間に配置され、前記第1の基板を透過した可視領域の光を減衰する層間フィルタと、を備えた撮像装置と、
前記光源装置が照射する前記可視光の発光強度を、それぞれの前記第1の光電変換素子で検出でき、かつ、それぞれの前記第2の光電変換素子で検出する蛍光の検出値が所定の値以下となるように設定する設定装置と、
を有する蛍光観察装置、
を備える蛍光観察内視鏡装置。 - 前記撮像装置は、
前記蛍光観察内視鏡装置において前記生体の内部に挿入される挿入部の先端部に配置される、
請求項12に記載の蛍光観察内視鏡装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/069786 WO2018008062A1 (ja) | 2016-07-04 | 2016-07-04 | 蛍光観察装置および蛍光観察内視鏡装置 |
| JP2018525838A JPWO2018008062A1 (ja) | 2016-07-04 | 2016-07-04 | 蛍光観察装置および蛍光観察内視鏡装置 |
| US16/229,435 US11419501B2 (en) | 2016-07-04 | 2018-12-21 | Fluorescence observation device and fluorescence observation endoscope device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2016/069786 WO2018008062A1 (ja) | 2016-07-04 | 2016-07-04 | 蛍光観察装置および蛍光観察内視鏡装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/229,435 Continuation US11419501B2 (en) | 2016-07-04 | 2018-12-21 | Fluorescence observation device and fluorescence observation endoscope device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2018008062A1 true WO2018008062A1 (ja) | 2018-01-11 |
Family
ID=60912520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2016/069786 Ceased WO2018008062A1 (ja) | 2016-07-04 | 2016-07-04 | 蛍光観察装置および蛍光観察内視鏡装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11419501B2 (ja) |
| JP (1) | JPWO2018008062A1 (ja) |
| WO (1) | WO2018008062A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020010763A (ja) * | 2018-07-13 | 2020-01-23 | パナソニック株式会社 | 内視鏡システム |
| JP2020151403A (ja) * | 2019-03-22 | 2020-09-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
| TWI721567B (zh) * | 2018-09-27 | 2021-03-11 | 台灣積體電路製造股份有限公司 | 三維積體晶片、堆疊影像感測器裝置以及形成三維積體晶片的方法 |
| CN113271841A (zh) * | 2018-11-30 | 2021-08-17 | 直观外科手术操作公司 | 促进使用不同荧光成像剂的医学成像系统和方法 |
| US20210251469A1 (en) * | 2020-02-18 | 2021-08-19 | Sony Olympus Medical Solutions Inc. | Medical signal processing device, cap member, and medical signal processing method |
| JP2021526220A (ja) * | 2018-05-03 | 2021-09-30 | アコヤ・バイオサイエンシズ・インコーポレイテッド | マルチスペクトルサンプル画像化 |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11832797B2 (en) * | 2016-09-25 | 2023-12-05 | Micronvision Corp. | Endoscopic fluorescence imaging |
| WO2018225122A1 (ja) * | 2017-06-05 | 2018-12-13 | オリンパス株式会社 | 内視鏡装置 |
| DE102018126421A1 (de) * | 2018-09-27 | 2020-04-02 | Taiwan Semiconductor Manufacturing Co. Ltd. | Bandpassfilter für gestapelten sensor |
| CN110164896B (zh) * | 2019-06-05 | 2021-06-25 | 芯盟科技有限公司 | 内窥镜探头以及制造方法 |
| US11550057B2 (en) * | 2019-06-20 | 2023-01-10 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
| US20200397270A1 (en) | 2019-06-20 | 2020-12-24 | Ethicon Llc | Optical fiber waveguide in an endoscopic system for fluorescence imaging |
| US11931009B2 (en) | 2019-06-20 | 2024-03-19 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a hyperspectral imaging system |
| US11903563B2 (en) | 2019-06-20 | 2024-02-20 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a fluorescence imaging system |
| US11788963B2 (en) | 2019-06-20 | 2023-10-17 | Cilag Gmbh International | Minimizing image sensor input/output in a pulsed fluorescence imaging system |
| US11531112B2 (en) | 2019-06-20 | 2022-12-20 | Cilag Gmbh International | Offset illumination of a scene using multiple emitters in a hyperspectral, fluorescence, and laser mapping imaging system |
| JP7323787B2 (ja) * | 2019-07-31 | 2023-08-09 | 日亜化学工業株式会社 | 照明装置及び赤外線カメラ付き照明装置 |
| US11872355B2 (en) * | 2020-09-04 | 2024-01-16 | Covidien Lp | Medical device for detecting fluid parameters using fluorescent probes |
| JP2022049487A (ja) | 2020-09-16 | 2022-03-29 | ソニーグループ株式会社 | 固体撮像装置及び電子機器 |
| DE102021106836A1 (de) | 2020-10-02 | 2022-04-07 | Karl Storz Se & Co. Kg | Optisches Filtersystem für ein Video-Endoskop, Anzeigesystem und Video-Endoskop |
| EP3977912B1 (en) | 2020-10-02 | 2024-01-31 | Karl Storz SE & Co. KG | Optical system for a video endoscope and video endoscope |
| JP7551465B2 (ja) * | 2020-11-18 | 2024-09-17 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078952A (ja) * | 1999-09-16 | 2001-03-27 | Hamamatsu Photonics Kk | 微弱光カラー撮像装置 |
| JP2006122335A (ja) * | 2004-10-28 | 2006-05-18 | Morita Mfg Co Ltd | カメラ装置 |
| US20120268573A1 (en) * | 2009-06-10 | 2012-10-25 | W.O.M. World Of Medicine Ag | Imaging system and method for the fluorescence-optical visualization of an object |
| JP2014135535A (ja) * | 2013-01-08 | 2014-07-24 | Olympus Corp | 撮像装置 |
| JP2015099875A (ja) * | 2013-11-20 | 2015-05-28 | オリンパス株式会社 | 撮像素子 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19612536A1 (de) * | 1996-03-29 | 1997-10-02 | Freitag Lutz Dr | Anordnung und Verfahren zur Diagnose von malignem Gewebe durch Fluoreszenzbetrachtung |
| US7179222B2 (en) * | 1996-11-20 | 2007-02-20 | Olympus Corporation | Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum |
| JP3962122B2 (ja) | 1996-11-20 | 2007-08-22 | オリンパス株式会社 | 内視鏡装置 |
| JP2001078175A (ja) * | 1999-07-07 | 2001-03-23 | Fuji Photo Film Co Ltd | 蛍光観察装置 |
| CA2383696C (en) * | 1999-09-01 | 2009-05-26 | Hamamatsu Photonics K.K. | Weak light color imaging device |
| JP2005308805A (ja) * | 2004-04-16 | 2005-11-04 | Olympus Corp | 焦点検出装置及び光学機器 |
-
2016
- 2016-07-04 WO PCT/JP2016/069786 patent/WO2018008062A1/ja not_active Ceased
- 2016-07-04 JP JP2018525838A patent/JPWO2018008062A1/ja active Pending
-
2018
- 2018-12-21 US US16/229,435 patent/US11419501B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001078952A (ja) * | 1999-09-16 | 2001-03-27 | Hamamatsu Photonics Kk | 微弱光カラー撮像装置 |
| JP2006122335A (ja) * | 2004-10-28 | 2006-05-18 | Morita Mfg Co Ltd | カメラ装置 |
| US20120268573A1 (en) * | 2009-06-10 | 2012-10-25 | W.O.M. World Of Medicine Ag | Imaging system and method for the fluorescence-optical visualization of an object |
| JP2014135535A (ja) * | 2013-01-08 | 2014-07-24 | Olympus Corp | 撮像装置 |
| JP2015099875A (ja) * | 2013-11-20 | 2015-05-28 | オリンパス株式会社 | 撮像素子 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7387720B2 (ja) | 2018-05-03 | 2023-11-28 | アコヤ・バイオサイエンシズ・インコーポレイテッド | マルチスペクトルサンプル画像化 |
| JP2024019180A (ja) * | 2018-05-03 | 2024-02-08 | アコヤ・バイオサイエンシズ・インコーポレイテッド | マルチスペクトルサンプル画像化 |
| US11879843B2 (en) | 2018-05-03 | 2024-01-23 | Akoya Biosciences, Inc. | Multispectral sample imaging |
| JP2021526220A (ja) * | 2018-05-03 | 2021-09-30 | アコヤ・バイオサイエンシズ・インコーポレイテッド | マルチスペクトルサンプル画像化 |
| JP2020010763A (ja) * | 2018-07-13 | 2020-01-23 | パナソニック株式会社 | 内視鏡システム |
| TWI721567B (zh) * | 2018-09-27 | 2021-03-11 | 台灣積體電路製造股份有限公司 | 三維積體晶片、堆疊影像感測器裝置以及形成三維積體晶片的方法 |
| CN113271841A (zh) * | 2018-11-30 | 2021-08-17 | 直观外科手术操作公司 | 促进使用不同荧光成像剂的医学成像系统和方法 |
| CN113271841B (zh) * | 2018-11-30 | 2025-02-18 | 直观外科手术操作公司 | 促进使用不同荧光成像剂的医学成像系统和方法 |
| US12268469B2 (en) | 2018-11-30 | 2025-04-08 | Intuitive Surgical Operations, Inc. | Medical imaging systems and methods that facilitate use of different fluorescence imaging agents |
| JP7374600B2 (ja) | 2019-03-22 | 2023-11-07 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
| JP2020151403A (ja) * | 2019-03-22 | 2020-09-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置及び医療用観察システム |
| US11583165B2 (en) * | 2020-02-18 | 2023-02-21 | Sony Olympus Medical Solutions Inc. | Medical signal processing device, cap member, and medical signal processing method |
| US20210251469A1 (en) * | 2020-02-18 | 2021-08-19 | Sony Olympus Medical Solutions Inc. | Medical signal processing device, cap member, and medical signal processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| US11419501B2 (en) | 2022-08-23 |
| US20190110686A1 (en) | 2019-04-18 |
| JPWO2018008062A1 (ja) | 2019-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2018008062A1 (ja) | 蛍光観察装置および蛍光観察内視鏡装置 | |
| JP7314976B2 (ja) | 撮像装置及び撮像方法 | |
| JP6076093B2 (ja) | 撮像装置 | |
| US10335019B2 (en) | Image pickup element and endoscope device | |
| JP5088990B2 (ja) | 内視鏡用の自己蛍光画像化システム | |
| JP5184016B2 (ja) | 撮像装置 | |
| JP5283731B2 (ja) | 内視鏡用の自己蛍光画像化システム | |
| JP5735031B2 (ja) | コンパクトな蛍光内視鏡映像システム | |
| US9906739B2 (en) | Image pickup device and image pickup method | |
| JP5100457B2 (ja) | 内視鏡観察システム | |
| JP6377181B2 (ja) | 撮像装置 | |
| WO2017145529A1 (ja) | 計算システム | |
| JP2016097067A (ja) | 分析装置及び分析方法 | |
| JP6072374B2 (ja) | 観察装置 | |
| US10602919B2 (en) | Imaging device | |
| US20210329153A1 (en) | Three-plate camera and four-plate camera | |
| WO2012172908A1 (ja) | 医療機器 | |
| JP2014064196A (ja) | 撮像装置 | |
| JPWO2016117049A1 (ja) | 内視鏡装置 | |
| US20180092519A1 (en) | Infrared fluorescence observation device | |
| WO2018154644A1 (ja) | 固体撮像装置、蛍光観察内視鏡装置、および固体撮像装置の製造方法 | |
| JP7477158B2 (ja) | 3板式カメラ | |
| WO2017042980A1 (ja) | 蛍光観察装置および蛍光観察内視鏡装置 | |
| WO2021131052A1 (ja) | 撮像装置 | |
| JP2004512120A (ja) | 中空状部位に使用するための内視鏡器具 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WWE | Wipo information: entry into national phase |
Ref document number: 2018525838 Country of ref document: JP |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16908106 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16908106 Country of ref document: EP Kind code of ref document: A1 |