[go: up one dir, main page]

WO2014156604A1 - 内視鏡システム及びその作動方法並びにプロセッサ装置 - Google Patents

内視鏡システム及びその作動方法並びにプロセッサ装置 Download PDF

Info

Publication number
WO2014156604A1
WO2014156604A1 PCT/JP2014/056268 JP2014056268W WO2014156604A1 WO 2014156604 A1 WO2014156604 A1 WO 2014156604A1 JP 2014056268 W JP2014056268 W JP 2014056268W WO 2014156604 A1 WO2014156604 A1 WO 2014156604A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
signal
image signal
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/056268
Other languages
English (en)
French (fr)
Inventor
典雅 繁田
山口 博司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of WO2014156604A1 publication Critical patent/WO2014156604A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/1459Measuring characteristics of blood in vivo, e.g. gas concentration or pH-value ; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid or cerebral tissue using optical sensors, e.g. spectral photometrical oximeters invasive, e.g. introduced into the body by a catheter
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular

Definitions

  • the high-frequency component extraction unit for performing high-frequency filtering to extract high-frequency components to the first signal image signal and the second signal image signal
  • the first alignment unit is an image signal for the first signal after high frequency filtering It is preferable that the calculation of the positional deviation amount and the alignment be performed on the basis of the second signal image signal.
  • a low frequency component extraction unit for performing low frequency filtering to extract low frequency components to the first reference image signal and the second reference image signal which have been aligned is provided, and the second alignment unit is configured to perform low frequency filtering It is preferable to align the later first reference image signal and the second reference image signal.
  • the processor unit 16 is electrically connected to the monitor 18 and the console 20.
  • the monitor 18 outputs and displays image information and the like.
  • the console 20 functions as a UI (user interface) that receives an input operation such as function setting.
  • an external recording unit (not shown) that records image information and the like may be connected to the processor device 16.
  • the light source device 14 includes a first blue laser light source (473 LD) 34 that emits a first blue laser light having a central wavelength of 473 nm and a second blue laser light source that emits a second blue laser light having a central wavelength of 445 nm. (445 LD) 34 as a light source.
  • the light emission from the semiconductor light emitting elements of each of the light sources 34 and 36 is individually controlled by the light source control unit 40, and the light quantity ratio of the emitted light of the first blue laser light source 34 and the emitted light of the second blue laser light source 36 Is changeable.
  • the light source control unit 40 drives the second blue laser light source 36 to emit the second blue laser light.
  • the laser beams emitted from the light sources 34 and 36 are incident on the light guide (LG) 41 via optical members such as a condenser lens, an optical fiber, and a multiplexer (none of which are shown).
  • the light guide 41 is incorporated in a universal cord (not shown) that connects the light source device 14 and the endoscope 12.
  • the light guide 41 propagates the laser light from each of the light sources 34 and 36 to the tip 24 of the endoscope 12.
  • a multimode fiber can be used as the light guide 41.
  • the distal end portion 24 of the endoscope 12 has an illumination optical system 24 a and an imaging optical system 24 b.
  • a fluorescent body 44 and an illumination lens 45 are provided in the illumination optical system 24 a.
  • the laser light from the light guide 41 is incident on the phosphor 44.
  • the fluorescent substance 44 emits fluorescence by being irradiated with the first or second blue laser light.
  • part of the first or second blue laser light passes through the phosphor 44 as it is.
  • the light emitted from the phosphor 44 is irradiated into the sample through the illumination lens 45.
  • the second white light as shown in FIG. 3 is irradiated into the sample.
  • the second white light is composed of the second blue laser light and the green to red second fluorescence excited and emitted from the phosphor 44 by the second blue laser light. Therefore, the second white light has a wavelength range extending to the entire visible light range.
  • the first white light and the second white light are alternately emitted. Do.
  • the alternately emitted first and second white light is irradiated into the sample.
  • the first white light is composed of a first blue laser light and a first fluorescence of green to red which is excited to emit light from the phosphor 44 by the first blue laser light. Therefore, the signal light has a wavelength range extending to the entire visible light range.
  • the second white light is similar to the second white light emitted in the normal observation mode. As shown in FIG. 5, the first fluorescence and the second fluorescence have the same waveform.
  • the phosphor 44 absorbs a part of the first and second blue laser light, and emits plural colors of green to red (for example, YAG-based phosphor or BAM (BaMgAl 10 O 17 )). Etc.) are preferably contained.
  • the semiconductor light emitting element is used as an excitation light source of the phosphor 44 as in this configuration example, high intensity first and second white light can be obtained with high luminous efficiency, and the intensity of the white light can be easily adjusted. In addition, changes in color temperature and chromaticity can be reduced.
  • the imaging optical system 24 b of the endoscope 12 has an objective lens 46, a zooming lens 47, and an image sensor 48. Reflected light from the subject is incident on the image sensor 48 through the objective lens 46 and the zooming lens 47. Thereby, a reflection image of the subject is formed on the image sensor 48.
  • the zooming lens 47 moves between the tele end and the wide end by operating the zoom operation unit 22 c. When the zooming lens 47 moves to the tele end side, the reflection image of the subject is enlarged, while by moving to the wide end side, the reflection image of the subject is reduced.
  • An image sensor (imaging unit) 48 is a color image sensor, which captures a reflection image of a subject and outputs an image signal.
  • the image sensor 48 is a charge coupled device (CCD) image sensor, a complementary metal-oxide semiconductor (CMOS) image sensor, or the like.
  • CCD charge coupled device
  • CMOS complementary metal-oxide semiconductor
  • the image sensor used in the present invention is an RGB image sensor having RGB pixels in which RGB color filters are provided on the imaging surface, and photoelectric conversion is performed on each channel to obtain R, G, B image signals of three colors. Output.
  • the first white light when the first white light is irradiated into the sample in the special observation mode, part of the green component of the first blue laser light and the first fluorescence is incident on the B pixel and the first fluorescence is on the G pixel A part of the green component of R.sub.1 is incident, and the red component of the first fluorescence is incident to the R pixel.
  • the first blue laser light since the first blue laser light has extremely higher emission intensity than the first fluorescence, most of the B image signal is occupied by the reflected light component of the first blue laser light.
  • the light incident component at the BGR pixel when the second white light is irradiated into the sample in the special observation mode is the same as that in the normal observation mode.
  • the imaging control unit 49 performs imaging control of the image sensor 48 according to the observation mode.
  • the observation mode As shown in FIG. 7A, in the normal observation mode, the inside of the sample illuminated by the second white light is imaged by the color image sensor 48 every period of one frame. Thus, the image sensor 48 outputs RGB image signals for each frame.
  • the inside of the sample illuminated with the first white light is imaged by the color image sensor 48 in the first frame, and the second white light is imaged in the second frame.
  • the illuminated sample is imaged by a color image sensor 48.
  • the period for one frame of the image sensor 48 includes an accumulation period for photoelectrically converting and accumulating the reflected light from the sample and a readout period for reading out the charges accumulated thereafter and outputting an image signal.
  • the image signal output from the image sensor 48 is transmitted to the CDS / AGC circuit 50.
  • the CDS-AGC circuit 50 performs correlated double sampling (CDS) and automatic gain control (AGC) on an image signal which is an analog signal.
  • a gamma conversion unit 51 performs gamma conversion on the image signal that has passed through the CDS-AGC circuit 50. Thereby, an image signal having a gradation suitable for an output device such as the monitor 18 can be obtained.
  • the image signal after gamma conversion is converted into a digital image signal by an A / D converter (A / D converter) 52.
  • the A / D converted digital image signal is input to the processor unit 16.
  • the image processing switching unit 60 transmits the digital image signal to the normal light image processing unit 62 when the normal observation mode is set by the mode switching SW 22 b, and when the special observation mode is set, the image processing switching unit 60 The image signal is transmitted to the special light image processing unit 64.
  • a digital image signal before image processing by the normal light image processing unit 62 and the special light image processing unit 64 is referred to as an image signal
  • a digital image signal after image processing is referred to as image data.
  • the color emphasizing unit 70 performs various color emphasizing processing on the color converted RGB image data.
  • the structure emphasizing unit 72 performs structure emphasizing processing such as spatial frequency emphasizing on the color emphasizing processed RGB image data.
  • the RGB image data subjected to the structure emphasizing process by the structure emphasizing unit 72 is input from the normal light image processing unit 62 to the image display signal generating unit 66 as a normal light image.
  • the special light image processing unit 64 generates an oxygen saturation image based on the input two frames of B1 and R1 image signals and G2 and R2 image signals, and an oxygen saturation image generation unit 76.
  • a structure emphasizing unit 78 that performs structure emphasizing processing such as spatial frequency emphasizing.
  • the RGB image data subjected to the structure emphasis processing by the structure emphasis unit 78 is input from the special light image processing unit 64 to the image display signal generation unit 66 as a special light image.
  • the search condition setting unit 80a sets various conditions (search conditions) of the search point used for alignment processing in the first and second alignment units 80b and 80c. After setting the search conditions, as shown in FIG. 9, the first alignment unit 80b calculates the amount of displacement of the sample between the B1 image signal and the G2 image signal, and the sample between the B1 image signal and the G2 image signal Align the image.
  • the B1 image signal after alignment is set as a “B1a image signal” in order to deform the B1 image signal and align it with the G2 image signal.
  • the second alignment unit 80c aligns the sample image between the R1 image signal and the R2 image signal based on the positional shift amount calculated by the first alignment unit 80b.
  • the reference signal ratio calculation unit 80d calculates the reference signal ratio used to correct the G2 image signal and the R2 image signal from the aligned R1 image signal and the R2 image signal.
  • the correction unit 80e corrects the G2 image signal and the R2 image signal to be equal to the image signal obtained under the reference inter-frame intensity ratio. Thereby, the G2a image signal and the R2a image signal are obtained.
  • the B1a image signal, the G2a image signal, and the R2a image signal obtained by the above-described series of processes are used to calculate the oxygen saturation.
  • the search condition setting unit 80a performs, as a search condition, position setting of a reference point, position setting of a search point, and setting of a search range.
  • reference points P1 to P9 are provided at predetermined positions of nine areas A1 to A9 (3 ⁇ 3) in the B1 image signal.
  • the search points D1 to D9 are provided at the same pixel positions as the reference points P1 to P9 in nine areas A1 to A9 (3 ⁇ 3) in the G2 image signal, as shown in FIG. 10B.
  • These search points D1 to D9 are translated (searched) in the X direction or the Y direction within a predetermined search range within nine areas A1 to A9 in the G2 image signal.
  • FIG. 12A when there is a dark area (“area A5” in FIG. 12A) in which the dark part BP where the pixel value is equal to or less than the fixed value is present in areas A1 to A9.
  • a reference point P5 and a search point D5 are set in a part other than the dark part BP in the dark area. This is because when the reference point P5 and the search point D5 are set in the dark part BP, the target point T is detected immediately after the search, so that the alignment can not be accurately performed.
  • FIG. 12B for example, as shown in FIG.
  • a protrusion 86 appears in front of the distal end portion 24 of the endoscope 12 in the lumen as a case where the partial area becomes dark.
  • the brightness of each area is calculated
  • the first alignment unit 80 b includes a high frequency filtering unit (high frequency component extraction unit) HF that performs high frequency frequency filtering processing on the B1 image signal and the G2 image signal.
  • a high frequency filtering unit high frequency component extraction unit
  • Information of high frequency components such as landmarks (for example, blood vessel structure) serving as landmarks at the time of alignment is sharply extracted from the B1 image signal and G2 image signal in high frequency frequency filtering processing, so the target by the search points D1 to D9
  • the point T can be detected with high accuracy.
  • B1 image signal and G2 image signal have many blue wavelength components with high absorption coefficient of the absorber (hemoglobin) of mucous membrane, so there are many images of structures that can be land marks such as blood vessel structure. include. Therefore, for the B1 image signal and the G2 image signal, the detection of the target point T by the search point D is easy, so the movement amount of the search point D, that is, the positional shift amount can be accurately obtained. Therefore, for positional alignment between the R1 image signal and the R2 image signal, not the positional displacement amount of the R1 image signal and the R2 image signal but the positional displacement amount between the B1 image signal and the G2 image signal is used.
  • the measurement signal ratio calculation unit 81 sets the measurement signal ratio B1 / G2 between the B1a image signal and the G2a image signal and the measurement signal ratio R2 / G2 between the G2a image signals G2 and R2a image signal for each pixel.
  • “B1a image signal, G2a image signal, R2a image signal” used for calculation of the measurement signal ratios B1 / G2 and R2 / G2 are corrected by the signal correction processing in the signal correction unit 80, and therefore The oxygen saturation can be accurately calculated by the measurement signal ratios B1 / G2 and R2 / G2.
  • the correlation storage unit 82 stores the correlation between the measurement signal ratios B1 / G2 and R2 / G2 and the oxygen saturation.
  • This correlation is stored as a two-dimensional table in which isolines of oxygen saturation are defined in the two-dimensional space shown in FIG.
  • the position and shape of this contour line are obtained by physical simulation of light scattering, and are defined to change according to blood volume. For example, when there is a change in blood volume, intervals between contour lines become wide or narrow.
  • the measurement signal ratios B1 / G2 and R2 / G2 are stored in log scale.
  • a graph 90 shows the absorption coefficient of oxygenated hemoglobin and a graph 91 shows the absorption coefficient of reduced hemoglobin.
  • a wavelength with a large difference in absorption coefficient such as the central wavelength 473 nm of the first blue laser light
  • a B1a image signal including a signal corresponding to 473 nm light is highly dependent not only on oxygen saturation but also on blood volume.
  • the measurement signal ratio B1 / obtained from the R2a image signal corresponding to the light that changes mainly depending on the blood volume, and the G2a image signal serving as the reference signal of the B1a image signal and the R2a image signal By using G2 and R2 / G2, oxygen saturation can be accurately determined without depending on blood volume.
  • the oxygen saturation calculation unit 83 refers to the correlation stored in the correlation storage unit 82, and the oxygen saturation corresponding to the measurement signal ratios B1 / G2 and R2 / G2 determined by the measurement signal ratio calculation unit 81. Find the degree. The oxygen saturation is calculated for each pixel.
  • the oxygen saturation calculation unit 83 calculates the oxygen saturation as follows. For example, when the measurement signal ratio at a predetermined pixel is B1 * / G2 * and R2 * / G2 * , referring to the correlation as shown in FIG. 17, the measurement signal ratio B1 * / G2 * , The oxygen saturation corresponding to R2 * / G2 * is "60%". Therefore, the oxygen saturation is calculated as “60%”.
  • the measurement signal ratios B1 / G2 and R2 / G2 are calculated based on the B1 image signal and the G2a image signal and the R2a image signal corrected by the signal correction unit 80.
  • the ratios B1 / G2 and R2 / G2 hardly increase or decrease very little. That is, the measurement signal ratios B1 / G2 and R2 / G2 are higher than the lower limit line 93 of 0% of oxygen saturation or lower than the upper limit line 94 of 100% of oxygen saturation in correlation. There is almost nothing.
  • the oxygen saturation is 0%
  • the measurement signal ratios B1 / G2 and R2 / G2 are positioned above the lower limit line 93 in correlation
  • the oxygen saturation is 0%
  • the measurement signal ratios B1 / G2 and R2 / G2 are When positioned below the upper limit line 94, the oxygen saturation is set to 100%. If the corresponding point is out of the range between the lower limit line 93 and the upper limit line 94, the reliability of the oxygen saturation in the pixel may be lowered and not displayed.
  • the image generation unit 84 generates an oxygen saturation image in which the oxygen saturation is imaged, using the oxygen saturation calculated by the oxygen saturation calculation unit 83, and the B2 image signal, the G2 image signal, and the R2 image signal. .
  • the image generation unit 84 applies a gain according to the oxygen saturation to the B2 image signal, the G2 image signal, and the R2 image signal. For example, when the oxygen saturation is 60% or more, the same gain "1" is applied to all of the B2 image signal, the G2 image signal, and the R2 image signal. On the other hand, when the oxygen saturation is less than 60%, a gain less than "1" is applied to the B2 image signal, while "1" is applied to the G2 image signal and the R2 image signal. More gain is applied.
  • the B2 image signal, the G2 image signal, and the R2 image signal after the gain processing are allocated to the BGR image data.
  • the normal observation mode screening is performed from the distant view state.
  • a normal light image is displayed on the monitor 18.
  • the mode switching SW 22b is operated to switch to the special observation mode.
  • this special observation mode it is diagnosed whether or not the lesion-prone site is in hypoxia.
  • the first and second white lights are alternately emitted.
  • the image sensor 48 picks up an image of the sample illuminated by the first white light, whereby the image sensor 48 outputs the B1 image signal, the G1 image signal, and the R1 image signal, and the sample illuminated by the second white light
  • the image sensor 48 outputs a B2 image signal, a G2 image signal, and an R2 image signal. These two frames of image signals are used to create one frame of oxygen saturation image.
  • the reference points P1 to P9 and the search points D1 to D9 are set, and the search range of the search points D1 to D9 is set. Then, in each of the areas A1 to A9, the search points D1 to D9 are searched within the set search range. Then, the amount of movement when the search points D1 to D9 detect the target point T is taken as the amount of positional deviation between frames.
  • the alignment between the B1 image signal and the G2 image signal is performed based on the positional deviation amount between the frames.
  • the generated oxygen saturation image is displayed on the monitor 18 as a special light image. Based on the oxygen saturation image displayed on the monitor 18, the doctor confirms whether or not the lesion site is hypoxic. The display of the oxygen saturation is continuously displayed until the normal observation mode is switched. Then, when the diagnosis is finished, the insertion portion 21 of the endoscope 12 is extracted from the inside of the sample.
  • the phosphor 44 is provided at the distal end portion 24 of the endoscope 12.
  • the phosphor 44 is provided between the first blue laser light source (473 LD) 34 and the second blue laser light source (445 LD) 36 and the light guide 41.
  • the first blue laser light source 34 or the second blue laser light source 36 irradiates the phosphor 44 with the first blue laser light or the second blue laser light.
  • the first white light or the second white light is emitted.
  • the first or second white light is irradiated into the sample through the light guide 41.
  • the endoscope system 100 is similar to the endoscope system 10.
  • the first and second blue laser beams are incident on the same phosphor 44.
  • the first blue laser beam and the second blue laser beam may be respectively separated into the first phosphor and the second phosphor.
  • the light may be incident on the phosphor.
  • the fluorescence emitted from the first phosphor the light of the first red component incident on the R pixel of the image sensor 48 and the fluorescence emitted from the second phosphor enter the R pixel of the image sensor 48 It is necessary to make the same waveform for the second red component light.
  • an LED light source unit 202 and an LED light source controller A light source control unit 204 is provided in the light source device 14 of the endoscope system 200.
  • the fluorescent body 44 is not provided in the illumination optical system 24 a of the endoscope 200. Other than that, it is the same as that of endoscope system 10 of a 1st embodiment.
  • the LED light source unit 202 has four LEDs as light sources that emit light limited to a specific wavelength range.
  • the LED light source unit 202 includes an LED (B) that emits blue band light B (hereinafter referred to simply as blue light) in the blue region of 400 to 500 nm, and a blue narrow band light limited to 473 nm ⁇ 10 nm.
  • LED (R) which light-emits only red light.
  • the LED light source unit 202 may be provided with a plurality of LEDs that emit narrow band light with slightly different wavelength ranges so that each LED emits light in a broad wavelength range.
  • the “first signal light” corresponds to the “blue narrowband light Nb”, and the “first reference light” corresponds to the “red light R”. Therefore, the “first light source” of the present invention includes the LED (473) and the LED (R).
  • the “second signal light” corresponds to the "green light G”
  • the “second reference light” corresponds to the “red light R”. Therefore, the “second light source” of the present invention includes the LED (G) and the LED (R).
  • the LED light source control unit 204 controls each of the LEDs of the LED light source unit 202 individually. Further, the LED light source control unit 204 drives the LEDs (B), (G) and (R) in the normal observation mode. On the other hand, in the case of the special observation mode, in a state in which the LEDs (G) and (R) are always lit, the LED (473) and the LED (B) are controlled to be alternately lit. .
  • the imaging control unit 49 performs the following imaging control for each observation mode.
  • the color image sensor 48 captures an image of the inside of the subject simultaneously illuminated with blue light B, green light G and red light R every period of one frame, ie, blue light
  • a step of accumulating charges obtained by photoelectric conversion of B, green light G and red light R, and a step of reading out the accumulated charges as a B image signal, a G image signal, and an R image signal are performed.
  • Such an operation is repeatedly performed while the normal observation mode is set. Then, based on the image signals for one frame, a normal light image is generated by the same method as the first embodiment.
  • the reference signal ratio C indicating the ratio between the R1 image signal obtained at the first frame red light emission and the R2 image signal obtained at the second frame red light emission interlocks with the actual inter-frame intensity ratio. Increase or decrease. Therefore, also in the second embodiment, the reference signal ratio C accurately represents the actual inter-frame intensity ratio.
  • a broadband light source 302 instead of the first and second blue laser light sources 34 and 36, and the light source control unit 40, a broadband light source 302, a rotation filter 304, and a filter switching unit 305 is provided. Other than that, it is the same as that of endoscope system 10 of a 1st embodiment.
  • the broadband light source 302 is a xenon lamp, a white LED, or the like, and emits white light in a wavelength range ranging from blue to red.
  • the rotation filter 304 rotates around the rotation axis 304a, and includes a normal observation mode filter 308 provided inside and a special observation mode filter 309 provided outside (see FIG. 23). .
  • the filter switching unit 305 moves the rotary filter 304 in the radial direction, and inserts the normal observation mode filter 308 of the rotary filter 304 into the optical path of the white light when the mode switching switch 22 b is set to the normal observation mode.
  • the special observation mode filter 309 of the rotary filter 304 is inserted into the light path of the white light.
  • the rotating shaft 304a is supported by two support rods 304b.
  • the normal observation mode filter 308 is provided with an opening 308 a that transmits white light as it is. Therefore, in the normal observation mode, white light is irradiated into the sample.
  • a band pass filter (BPF) 309a for transmitting band-limited light (473, GR) of a predetermined band of white light along the circumferential direction, and an opening for transmitting the white light as it is 309b is provided. Therefore, in the special observation mode, the band-limited light (473, GR) and the white light are alternately irradiated into the sample by rotating the rotary filter 304.
  • the rotation filter 304 and a drive unit (not shown) that controls the rotation speed of the rotation filter 304 constitute the “light source control unit” of the present invention.
  • the band pass filter 309a has transparency at 473 nm ⁇ 10 nm and 500 to 700 nm (green region to red region), and blocks the other wavelengths. Therefore, the band-limited light (473, GR) has wavelengths of 473 nm ⁇ 10 nm and 500 to 700 nm.
  • the “first signal light” corresponds to “the light which enters the B pixel of the image sensor 48 in the band-limited light”
  • the “first reference light” corresponds to the “image sensor 48 in the band-limited light”.
  • the “first light source” of the present invention includes the broadband light source 302 and the band pass filter 309a.
  • the “second signal light” corresponds to “the light which is incident on the G pixel of the image sensor 48 in the white light”
  • the “second reference light” corresponds to the “R” of the image sensor 48 in the white light.
  • the “second light source” of the present invention will have a broadband light source 302.
  • the imaging control unit 49 performs the following imaging control for each observation mode. As shown in FIG. 25A, in the normal observation mode, a step of accumulating charges obtained by photoelectric conversion of white light every period of one frame, and the accumulated charges in B image signal, G image signal, R image signal The step of reading out is performed. Such an operation is repeatedly performed while the normal observation mode is set. Then, based on the image signals for one frame, a normal light image is generated by the same method as the first embodiment.
  • the red light component received by the R pixel of the image sensor in the band-limited light of the first frame and the red light component received by the R pixel of the white light of the second frame are emitted from the same broadband light source 302 Therefore, the respective waveforms are the same, and their intensity ratios are the same regardless of the wavelength. Therefore, the reference signal ratio C indicating the ratio between the R1 image signal obtained at the time of band-limited light emission of the first frame and the R2 image signal obtained at the time of white light emission of the second frame interlocks with the actual inter-frame intensity ratio. To increase or decrease. Therefore, also in the third embodiment, the reference signal ratio C represents the inter-frame intensity ratio.
  • the endoscope system 300 provided with the broadband light source 302, the rotation filter 304, and the filter switching unit 305 has been described, but as shown in FIG. 26, the endoscope system of the fourth embodiment
  • the rotary filter 404, the semiconductor light source LD (473) 406, the semiconductor light source control unit 408, and the light merging unit 410 may be provided in 400. Other than that, it is the same as that of endoscope system 300 of a 3rd embodiment.
  • the rotation filter 404 rotates around the rotation axis 404a, and includes a normal observation mode filter 412 provided inside and a special observation mode filter 413 provided outside. ing.
  • the normal observation mode filter 412 is provided with an opening 412 a that transmits white light as it is. Therefore, in the normal observation mode, white light is irradiated into the sample.
  • the rotating shaft 404a is supported by two support rods 404b.
  • the filter for special observation mode 413 includes a band pass filter (BPF) 413a for transmitting band-limited light (GR) of a predetermined band of white light and an opening 413b for transmitting white light as it is along the circumferential direction. It is provided. Therefore, in the special observation mode, the band-limited light (GR) and the white light are alternately irradiated into the sample by rotating the rotary filter 404. As shown in FIG. 28, the band pass filter 413a is transparent in the wavelength range of 500 to 700 nm, and blocks the other wavelengths. Thus, the band limited light (GR) has a wavelength of 500 to 700 nm.
  • BPF band pass filter
  • the semiconductor light source LD (473) 406 emits blue narrow band light Nb of 473 nm ⁇ 10 nm.
  • the semiconductor light source control unit 408 acquires a detection signal from an image sensor (not shown) that detects the rotation of the rotation filter 404, and according to the acquired detection signal, the driving timing and synchronization timing of the semiconductor light source LD (473) 406, Control such as lighting and extinguishing.
  • the semiconductor light source control unit 408 does not emit the blue narrow band light Nb within the irradiation period in which the white light is irradiated into the sample, and within the irradiation period in which the band limited light (GR) is irradiated into the sample. Emits blue narrow band light Nb.
  • the rotation filter 404, a drive unit (not shown) for controlling the rotation speed of the rotation filter 404, and the semiconductor light source control unit 408 constitute the “light source control unit” of the present invention. .
  • the light merging portion 410 is formed of a dichroic mirror, transmits the light from the rotation filter 404 to be incident on the LG 41, reflects the light from the blue semiconductor light source LD (473) 406, and causes the light to be incident on the LG 41.
  • the “first signal light” corresponds to the “blue narrowband light Nb”, and the “first reference light” corresponds to the “light that enters the R pixel of the image sensor 48 in the band-limited light”.
  • the “first light source” of the present invention includes the broadband light source 302, the semiconductor light source LD (473) 406, and the band pass filter (BPF) 413a.
  • the “second signal light” corresponds to “the light which is incident on the G pixel of the image sensor 48 in the white light”
  • the “second reference light” corresponds to the “R” of the image sensor 48 in the white light. Corresponds to the light incident on the pixel.
  • the “second light source” of the present invention will have a broadband light source 302.
  • a step of accumulating charges obtained by photoelectric conversion of white light every period of one frame, and the accumulated charges in B image signal, G image signal, R image signal The step of reading out is performed. Such an operation is repeatedly performed while the normal observation mode is set. Then, based on the image signals for one frame, a normal light image is generated by the same method as the first embodiment.
  • the red light component received by the R pixel of the image sensor in the band-limited light of the first frame and the red light component received by the R pixel of the white light of the second frame are emitted from the same broadband light source 302 Therefore, the respective waveforms are the same, and their intensity ratios are the same regardless of the wavelength. Therefore, the reference signal ratio C indicating the ratio between the R1 image signal obtained at the time of band-limited light emission of the first frame and the R2 image signal obtained at the time of white light emission of the second frame interlocks with the actual inter-frame intensity ratio. To increase or decrease. Therefore, also in the fourth embodiment, the reference signal ratio C accurately represents the inter-frame intensity ratio.
  • the oxygen saturation is generated from the two measurement signal ratios B1 / G2 and R2 / G2 in the above embodiment, the oxygen saturation may be calculated only from the measurement signal ratio B1 / G2.
  • the correlation storage unit storing the correlation between the measurement signal ratio B1 / G2 and the oxygen saturation is used to calculate the oxygen saturation.
  • the imaging of the oxygen saturation degree is performed.
  • the imaging of the blood volume may be performed.
  • the blood volume has a correlation with the measurement signal ratio R2 / G2 obtained by the measurement signal ratio calculation unit. Therefore, by assigning different colors according to the measurement signal ratio R2 / G2, it is possible to create a blood volume image in which the blood volume is imaged.
  • the oxygen saturation which is the ratio of oxygenated hemoglobin in the blood volume (sum of oxygenated hemoglobin and reduced hemoglobin)
  • blood volume ⁇ oxygen saturation Other biological function information such as an oxygenated hemoglobin index obtained from (%) or a reduced hemoglobin index obtained from “blood volume ⁇ (100 ⁇ oxygen saturation) (%)” may be calculated.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

 画像中に明るさが異なる領域が存在しても、血中ヘモグロビンの酸素飽和度を精度良く算出する内視鏡システム及びその作動方法並びにプロセッサ装置を提供する。 第1青色レーザ光と第1蛍光を含む第1白色光と、第2青色レーザ光と第2蛍光を含む第2白色光は、交互に検体内に照射される。検体をイメージセンサで撮像して得られる画像信号のうち、B1画像信号、G2画像信号、R1画像信号、R2画像信号を酸素飽和度の算出に使用する。B1画像信号とG2画像信号から、検体の位置ずれ量を算出する。この検体の位置ずれ量に基づいて、R1画像信号及びR2画像信号間の位置合わせを行う。位置合わせ済みのR1画像信号及びR2画像信号から、参照用信号比(R2/R1)を求める。この参照用信号比に基づいて、G2画像信号又はR2画像信号を補正する。B1画像信号と補正後のG2画像信号又はR2画像信号に基づいて、酸素飽和度を算出する。

Description

内視鏡システム及びその作動方法並びにプロセッサ装置
 本発明は、検体内の撮像により得られる画像信号から血中ヘモグロビンの酸素飽和度に関する生体機能情報を求める内視鏡システム及びその作動方法並びにプロセッサ装置に関する。
 医療分野においては、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムを用いて、診断することが一般的になっている(特開2012-125402号公報、特開2013-13656号公報、特開2001-218217号公報、特開2011-234844号公報、特開2009-135907号公報、特開2010-227253号公報)。また、近年においては、生体機能情報の中でも血中ヘモグロビンの酸素飽和度を用いた病変部の診断が行われつつある。血中ヘモグロビンの酸素飽和度を取得する方法としては、酸化ヘモグロビンと還元ヘモグロビンの吸光係数が異なる第1信号光と、この第1信号光と異なる波長域の第2信号光を交互に粘膜内の血管に照射して、それら第1及び第2信号光の反射光を内視鏡先端部のイメージセンサで検出する。
 イメージセンサで検出した第1信号光の反射光に対応する第1信号用画像信号と第2信号光の反射光に対応する第2信号用画像信号の比率を示す測定用信号比は、内視鏡の自動露光制御(AE)が理想的に作動している状況下においては、血管内の酸素飽和度に変化が無ければ、一定値を維持する。その一方で、酸素飽和度に変化が生ずれば、それに伴って測定用信号比も変化する。したがって、測定用信号比から、酸素飽和度を算出することができる。
 しかしながら、内視鏡先端部と検体との距離が急激に変化した場合など自動露光制御が不安定になった場合には、第1信号光と第2信号光の反射光の強度比(フレーム間強度比)が予め定めたフレーム間強度比(基準フレーム間強度比)から外れてしまうことがある。この場合には、酸素飽和度に変化が無い場合であっても、フレーム間強度比の変化とともに、測定用信号比も変化する。これは、酸素飽和度の算出精度を低下させる要因の一つとなる。
 そこで、特開2012-125402号公報では、自動露光制御の不安定化でフレーム間強度比が基準フレーム間強度比から外れた場合であっても、それによって測定用信号比が変動しないように、フレーム間強度比の変化に応じて、第1信号用画像信号又は第2信号用画像信号を補正している。
 特開2012-125402号公報では、フレーム間強度比の変化を把握するために、第1信号光と同時に第1参照光(蛍光体から発せられる蛍光のうちイメージセンサのR画素で検出される赤色成分)を発光するとともに、第2信号光と同時に第2参照光(蛍光体から発せられる蛍光のうちイメージセンサのR画素で検出される赤色成分)を発光している。そして、第1参照光に対応する第1参照用画像信号と第2参照光に対応する第2参照用画像信号との比率を示す参照用信号比を参照して、画素毎に、第1信号用画像信号又は第2信号用画像信号の補正を行っている。
 参照用信号比は、第1参照用画像信号の平均値と第2参照用画像信号の平均値から算出される。そのため、画面内の一部の領域が他の領域よりも暗くなった場合など、明るさが大きく異なる領域が画像中に存在する場合には、参照用信号比を用いても、正確に補正することができない場合がある。このような状況は、内視鏡先端部が湾曲して旋回動作する場合(画面内の一部の領域が検体に接近し、その他の領域が遠ざかるような場合)や、内視鏡先端部の前方に突然隆起物が出現した場合などに発生する。したがって、画像中に明るさが異なる領域が存在しても、フレーム間強度比の変動に応じて、信号用画像信号を正確に補正することによって、酸素飽和度を精度良く算出することが求められている。
 本発明は、画像中に明るさが異なる領域が存在しても、血中ヘモグロビンの酸素飽和度を精度良く算出することができる内視鏡システム及びその作動方法並びにプロセッサ装置を提供することを目的とする。
 上記目的を達成するために、本発明の内視鏡システムは、第1光源と、第2光源と、光源制御部と、撮像部と、第1位置合わせ部と、第2位置合わせ部と、参照情報算出部と、補正部と、生体機能情報算出部とを備える。第1光源は、第1信号光、及び第1参照光を含む第1照明光を発する。第2光源は、第1信号光と波長域が異なる第2信号光、及び第2参照光を含む第2照明光を発する。光源制御部は、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の照射タイミングを制御する。撮像部は、第1照明光による検体への照明中には、第1照明光の反射光を第1信号光と第1参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力し、且つ第1参照光に対応する第1参照用画像信号を出力する。また、撮像部は、第2照明光による検体への照明中には、第2照明光の反射光を第2信号光と第2参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力し、且つ第2参照光に対応する第2参照用画像信号を出力する。第1位置合わせ部は、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出し、且つ信号用画像信号間の位置合わせを行う。第2位置合わせ部は、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う。参照情報算出部は、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、画素毎に、第1及び第2信号光の強度に関する参照情報を算出する。補正部は、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する。生体機能情報算出部は、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出する。
 第1信号用画像信号と第2信号用画像信号に対して、高周波成分を抽出する高周波フィルタリングを施す高周波成分抽出部を備え、第1位置合わせ部は、高周波フィルタリング後の第1信号用画像信号と第2信号用画像信号に基づいて、位置ずれ量の算出及び位置合わせを行うことが好ましい。位置合わせ済みの第1参照用画像信号と第2参照用画像信号に対して、低周波成分を抽出する低周波フィルタリングを施す低周波成分抽出部を備え、第2位置合わせ部は、低周波フィルタリング後の第1参照用画像信号と第2参照用画像信号間の位置合わせを行うことが好ましい。
 第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定し、且つ他方の画像信号内に、基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部を備え、第1位置合わせ部は、探索ポイントを所定の探索範囲で移動させることにより、基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、位置ずれ量は、目標ポイントを検出したときの探索ポイントの移動量であることが好ましい。
 複数のエリアのうち暗部が存在する暗エリアについては、前記暗エリアのうち前記暗部以外の部分に基準ポイント及び探索ポイントを設定することが好ましい。検体との距離が一定値以上の場合の探索範囲を、距離が一定値を下回る場合の探索範囲よりも広くすることが好ましい。検体を拡大する検体拡大部を備え、検体拡大部の非使用時における探索範囲を、検体拡大部の使用時における探索範囲よりも広くすることが好ましい。
 撮像部は、第1信号光を受光して第1信号用画像信号を出力する複数の第1画素と、第2信号光を受光して第2信号用画像信号を出力する複数の第2画素と、第1又は第2参照光を受光して第1参照用画像信号又は第2参照用画像信号を出力する複数の第3画素とが設けられたカラーのイメージセンサを有することが好ましい。
 第1及び第2信号光は第1及び第2参照光よりも短波長の波長域を有することが好ましい。第1参照光と第2参照光は波形が同じで、第1参照光と前記第2参照光の強度比がいずれの波長においても同じであることが好ましい。
 生体機能情報は、補正後の第1信号用画像信号及び第2信号用画像信号間の測定用信号比に基づいて算出される酸素飽和度であり、参照情報は、第1参照用画像信号と第2参照用画像信号間の比率を示す参照用信号比であり、参照用信号比は、第1照明光の反射光の強度と第2照明光の反射光の強度との比率を示すフレーム間強度比に合わせて変化することが好ましい。
 本発明では、プロセッサ装置は内視鏡システムに接続されている。内視鏡システムは、第1光源と、第2光源と、光源制御部と、撮像部とを備えており、プロセッサ装置は、第1位置合わせ部と、第2位置合わせ部と、参照情報算出部と、補正部と、生体機能情報算出部とを備える。第1光源は、第1信号光、及び第1参照光を含む第1照明光を発する。第2光源は、第1信号光と波長域が異なる第2信号光、及び第2参照光を含む第2照明光を発する。光源制御部は、第1照明光と第2照明光が交互に検体に照射されるように、第1照明光と第2照明光の発生タイミングを制御する。撮像部は、第1照明光による検体への照明中には、第1照明光の反射光を第1信号光と第1参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力し、且つ第1参照光に対応する第1参照用画像信号を出力するまた、撮像部は、第2照明光による検体への照明中には、第2照明光の反射光を第2信号光と第2参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力し、且つ第2参照光に対応する第2参照用画像信号を出力する。
 本発明の内視鏡システムの作動方法は、制御ステップと、撮像ステップと、第1位置合わせステップと、第2位置合わせステップと、参照情報算出ステップと、補正ステップと、生体機能情報算出ステップとを有する。制御ステップでは、光源制御部が、第1信号光及び第1参照光を含む第1照明光と、第1信号光と波長域が異なる第2信号光及び第2参照光を含む第2照明光を、異なるタイミングで発生するように、第1照明光と第2照明光の発生タイミングを制御する。撮像ステップでは、撮像部が、第1照明光による検体への照明中には、第1照明光の反射光を第1信号光と第1参照光に波長分離して撮像することにより、第1信号光に対応する第1信号用画像信号を出力し、且つ第1参照光に対応する第1参照用画像信号を出力する。また、撮像ステップでは、第2照明光による検体への照明中には、第2照明光の反射光を第2信号光と第2参照光に波長分離して撮像することにより、第2信号光に対応する第2信号用画像信号を出力し、且つ第2参照光に対応する第2参照用画像信号を出力する。第1位置合わせステップでは、第1位置合わせ部が、第1信号用画像信号と第2信号用画像信号との位置ずれ量を算出し、且つ信号用画像信号間の位置合わせを行う。第2位置合わせステップでは、第2位置合わせ部が、位置ずれ量に基づいて、第1参照用画像信号と第2参照用画像信号の位置合わせを行う。参照情報算出ステップでは、参照情報算出部が、位置合わせ済みの第1参照用画像信号と第2参照用画像信号に基づいて、画素毎に、第1及び第2信号光の強度に関する参照情報を算出する。補正ステップでは、補正部が、参照情報に基づいて、第1信号用画像信号又は第2信号用画像信号を補正する。生体機能情報算出ステップでは、生体機能情報算出部が、補正後の第1信号用画像信号又は第2信号用画像信号に基づいて、生体機能情報を算出する。
 本発明によれば、画像中に明るさが異なる領域が存在しても、第1及び第2信号光の強度比の変動に応じて、第1又は第2信号用画像信号を正確に補正することによって、酸素飽和度を精度良く算出することができる。
内視鏡システムの外観図である。 第1実施形態の内視鏡システムのブロック図である。 通常観察モード時に発光する第2白色光の発光スペクトルを示すグラフである。 特殊観察モード時に発光する第1及び第2白色光の発光スペクトルを示すグラフである。 第1及び第2白色光の発光スペクトルを比較するための説明図である。 BGRカラーフィルタの分光透過率を示すグラフである。 第1実施形態における通常観察モード時の撮像制御を示す説明図である。 第1実施形態における特殊観察モード時の撮像制御を示す説明図である。 酸素飽和度画像生成部のブロック図である。 信号補正部での処理フローを示す説明図である。 基準ポイントを示す説明図である。 探索ポイントと目標ポイントを示す説明図である。 各エリアの明るさがほぼ同じ場合の基準ポイント及び探索ポイントの位置設定方法を示す説明図である。 内視鏡の先端部前方に隆起物が無い場合の管腔内の断面図である。 暗部が存在するエリアがある場合の基準ポイント及び探索ポイントの位置設定方法を示す説明図である。 内視鏡の先端部前方に隆起物が有る場合の管腔内の断面図である。 探索範囲Xの設定方法を示す説明図である。 探索範囲Yの設定方法を示す説明図である。 測定用信号比B1/G2、R2/G2と酸素飽和度との相関関係を表すグラフである。 酸化ヘモグロビンと還元ヘモグロビンの吸光係数を示すグラフである。 図15の相関関係を参照して酸素飽和度を算出する方法を示す説明図である。 本発明の一連の流れを表したフローチャートである。 蛍光体が光源装置内に設けられた内視鏡システムのブロック図である。 第2実施形態の内視鏡システムのブロック図である。 第2実施形態における通常観察モード時の撮像制御を示す説明図である。 第2実施形態における特殊観察モード時の撮像制御を示す説明図である。 第3実施形態の内視鏡システムのブロック図である。 第3実施形態の回転フィルタの平面図である。 第3実施形態のBPFの分光透過率を示すグラフである。 第3実施形態における通常観察モード時の撮像制御を示す説明図である。 第3実施形態における特殊観察モード時の撮像制御を示す説明図である。 第4実施形態の内視鏡システムのブロック図である。 第4実施形態の回転フィルタの平面図である。 第4実施形態のBPFの分光透過率を示すグラフである。 第4実施形態における通常観察モード時の撮像制御を示す説明図である。 第4実施形態における特殊観察モード時の撮像制御を示す説明図である。
[第1実施形態]
 図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール20とを有する。内視鏡12は光源装置14と光学的に接続されるとともに、プロセッサ装置16と電気的に接続される。内視鏡12は、検体内に挿入される挿入部21と、挿入部の基端部分に設けられた操作部22と、挿入部21の先端側に設けられる湾曲部23及び先端部24を有している。操作部22のアングルノブ22aを操作することにより、湾曲部23は湾曲動作する。この湾曲動作に伴って、先端部24が所望の方向に向けられる。
 また、操作部22には、アングルノブ22aの他、モード切替SW22bと、ズーム操作部22cが設けられている。モード切替SW22bは、通常観察モードと、特殊観察モードの2種類のモード間の切り替え操作に用いられる。通常観察モードは、検体内をフルカラー画像化した通常光画像をモニタ18に表示するモードである。特殊観察モードは、検体内の血中ヘモグロビンの酸素飽和度を画像化した酸素飽和度画像をモニタ18に表示するモードである。ズーム操作部22cは、内視鏡12内のズーミングレンズ(検体拡大部)47(図2参照)を駆動させて、検体を拡大させるズーム操作に用いられる。
 プロセッサ装置16は、モニタ18及びコンソール20と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール20は、機能設定等の入力操作を受け付けるUI(ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
 図2に示すように、光源装置14は、中心波長473nmの第1青色レーザ光を発する第1青色レーザ光源(473LD)34と、中心波長445nmの第2青色レーザ光を発する第2青色レーザ光源(445LD)34とを発光源として備えている。これら各光源34、36の半導体発光素子からの発光は、光源制御部40により個別に制御されており、第1青色レーザ光源34の出射光と、第2青色レーザ光源36の出射光の光量比は変更自在になっている。光源制御部40は、通常観察モードの場合には、第2青色レーザ光源36を駆動させて、第2青色レーザ光を発光している。
 これに対して、特殊観察モードの場合には、1フレーム間隔で、第1青色レーザ光源34と第2青色レーザ光源36を交互に点灯させる。これにより、第1青色レーザ光と第2青色レーザ光が交互に発光する。なお、第1、第2青色レーザ光の半値幅は±10nm程度にすることが好ましい。また、第1青色レーザ光源34及び第2青色レーザ光源36は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
 各光源34、36から出射されるレーザ光は、集光レンズ、光ファイバ、合波器などの光学部材(いずれも図示せず)を介して、ライトガイド(LG)41に入射する。ライトガイド41は、光源装置14と内視鏡12を接続するユニバーサルコード(図示せず)内に内蔵されている。ライトガイド41は、各光源34,36からのレーザ光を、内視鏡12の先端部24まで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
 内視鏡12の先端部24は照明光学系24aと撮像光学系24bを有している。照明光学系24aには、蛍光体44と、照明レンズ45が設けられている。蛍光体44には、ライトガイド41からのレーザ光が入射する。この蛍光体44においては、第1又は第2青色レーザ光が照射されることで、蛍光体44から蛍光が発せられる。また、一部の第1又は第2青色レーザ光は、そのまま蛍光体44を透過する。蛍光体44を出射した光は、照明レンズ45を介して、検体内に照射される。
 ここで、通常観察モードにおいては、第2青色レーザ光が蛍光体44に入射するため、図3に示すような第2白色光が検体内に照射される。この第2白色光は、第2青色レーザ光と、この第2青色レーザ光により蛍光体44から励起発光する緑色~赤色の第2蛍光とから構成される。したがって、第2白色光は、波長範囲が可視光全域に及んでいる。
 一方、特殊観察モードにおいては、第1青色レーザ光と第2青色レーザ光が蛍光体44交互に入射することにより、図4に示すように、第1白色光と第2白色光が交互に発光する。この交互に発光する第1及び第2白色光は、検体内に照射される。第1白色光は、第1青色レーザ光と、この第1青色レーザ光により蛍光体44から励起発光する緑色~赤色の第1蛍光とから構成される。したがって、信号光は、波長範囲が可視光全域に及んでいる。第2白色光は、通常観察モード時に発光する第2白色光と同様である。図5に示すように、第1蛍光と第2蛍光とは、波形が同じである。また、第1蛍光の強度(I1(λ))と第2蛍光の強度(I2(λ))の比を示すフレーム間強度比(I2(λ)/I1(λ))は、いずれの波長λにおいてもほぼ同じである(例えば、I2(λ1)/I1(λ1)=I2(λ2)/I1(λ2))。
 ここで、フレーム間強度比(I2(λ)/I1(λ))は、酸素飽和度の算出精度に影響を与えるものであるため、光源制御部40により、予め設定された基準フレーム間強度比を維持するように高精度に制御されている。しかしながら、光源制御部40は、第1及び第2白色光の発光後にイメージセンサ48で取得する画像信号に基づいて制御するため、内視鏡12の先端部24と検体との距離が急激に変化する場合などにおいては、光源制御部40での制御は不安定になることがある。本実施形態では、このように、光源制御部40での制御が不安定になった場合であっても、プロセッサ装置16でその不安定性を解消する画像処理が行われている。
 なお、本発明では、「第1信号光」は「第1青色レーザ光」に対応しており、「第1参照光」は「第1蛍光のうちイメージセンサ48のR画素で受光する赤色成分の光」に対応している。したがって、本発明の「第1光源」は、第1青色レーザ光源34と蛍光体44を有することになる。また、本発明では、「第2信号光」は「第2蛍光のうちイメージセンサ48のG画素で受光する緑色成分の光」に対応しており、「第2参照光」は「第2蛍光のうちイメージセンサ48のR画素で受光する赤色成分の光」に対応している。したがって、本発明の「第2光源」は、第2青色レーザ光源36と蛍光体44を有することになる。
 なお、蛍光体44は、第1及び第2青色レーザ光の一部を吸収して、緑色~赤色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl1017)等の蛍光体)を含んでいることが好ましい。本構成例のように、半導体発光素子を蛍光体44の励起光源として用いれば、高い発光効率で高強度の第1及び第2白色光が得られ、それら白色光の強度を容易に調整できる上に、色温度、色度の変化を小さく抑えることができる。
 図2に示すように、内視鏡12の撮像光学系24bは、対物レンズ46、ズーミングレンズ47、イメージセンサ48を有している。検体からの反射光は、対物レンズ46及びズーミングレンズ47を介して、イメージセンサ48に入射する。これにより、イメージセンサ48に検体の反射像が結像される。ズーミングレンズ47は、ズーム操作部22cを操作することで、テレ端とワイド端との間を移動する。ズーミングレンズ47がテレ端側に移動すると検体の反射像が拡大する一方で、ワイド端側に移動することで、検体の反射像が縮小する。
 イメージセンサ(撮像部)48はカラーのイメージセンサであり、検体の反射像を撮像して画像信号を出力する。なお、イメージセンサ48は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide Semiconductor)イメージセンサ等であることが好ましい。本発明で用いられるイメージセンサは、撮像面にRGBカラーフィルタが設けられたRGB画素を有するRGBイメージセンサであり、各chで光電変換をすることによってR、G、Bの3色の画像信号を出力する。
 図6に示すように、Bカラーフィルタは380~560nmの分光透過率を有しており、Gカラーフィルタは450~630nmの分光透過率を有しており、Rカラーフィルタは580~760nmの分光透過率を有している。したがって、通常観察モード時で第2白色光が検体内に照射されたときには、B画素には第2青色レーザ光と第2蛍光の緑色成分の一部が入射し、G画素には第2蛍光の緑色成分の一部が入射し、R画素には第2蛍光の赤色成分が入射する。ただし、第2青色レーザ光は第2蛍光よりも発光強度が極めて大きいので、B画素から出力するB画像信号の大部分は、第2青色レーザ光の反射光成分で占められている。
 一方、特殊観察モード時で第1白色光が検体内に照射されたときには、B画素には第1青色レーザ光と第1蛍光の緑色成分の一部が入射し、G画素には第1蛍光の緑色成分の一部が入射し、R画素には第1蛍光の赤色成分が入射する。ただし、第1青色レーザ光は第1蛍光よりも発光強度が極めて大きいので、B画像信号の大部分は、第1青色レーザ光の反射光成分で占められている。なお、特殊観察モード時で第2白色光が検体内に照射されたときのBGR画素での光入射成分は、通常観察モードの場合と同様である。
 なお、イメージセンサ48としては、撮像面にC(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色イメージセンサであっても良い。補色イメージセンサの場合には、CMYGの4色の画像信号から色変換によってRGBの3色の画像信号を得ることができる。この場合には、CMYGの4色の画像信号からRGBの3色の画像信号に色変換する色変換手段を、内視鏡12、光源装置14又はプロセッサ装置16のいずれかに備えている必要がある。
 撮像制御部49は、観察モードに応じたイメージセンサ48の撮像制御を行う。図7Aに示すように、通常観察モード時には、1フレームの期間毎に、第2白色光で照明された検体内をカラーのイメージセンサ48で撮像する。これにより、1フレーム毎に、イメージセンサ48からRGBの画像信号が出力する。図7Bに示すように、特殊観察モード時には、1フレーム目に、第1白色光で照明された検体内をカラーのイメージセンサ48で撮像し、その次の2フレーム目に、第2白色光で照明された検体をカラーのイメージセンサ48で撮像する。これにより、1フレーム目には、イメージセンサ48からR1画像信号、G1画像信号、B1画像信号が出力し、2フレーム目には、イメージセンサ48からR2画像信号、G2画像信号、B2画像信号が出力する。なお、イメージセンサ48の1フレーム分の期間は、検体からの反射光を光電変換して蓄積する蓄積期間と、その後に蓄積した電荷を読み出して画像信号を出力する読出期間とからなる。
 図2に示すように、イメージセンサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS)や自動利得制御(AGC)を行う。CDS・AGC回路50を経た画像信号は、ガンマ変換部51でガンマ変換が施される。これにより、モニタ18などの出力デバイスに適した階調を有する画像信号が得られる。このガンマ変換後の画像信号は、A/D変換器(A/Dコンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
 プロセッサ装置16は、受信部54と、画像処理切替部60と、通常光画像処理部62と、特殊光画像処理部64と、画像表示信号生成部66とを備えている。受信部54は内視鏡12からのデジタル画像信号を受信する。この受信部54は、DSP(Digital Signal Processor)56とノイズ除去部58を備えている。DSP56は、デジタル画像信号に対して色補正処理を行う。ノイズ除去部58は、DSP56で色補正処理等が施されたデジタル画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、デジタル画像信号からノイズを除去する。ノイズが除去されたデジタル画像信号は、画像処理切替部60に送信される。
 画像処理切替部60は、モード切替SW22bにより通常観察モードにセットされている場合には、デジタル画像信号を通常光画像処理部62に送信し、特殊観察モードに設定されている場合には、デジタル画像信号を特殊光画像処理部64に送信する。なお、本発明においては、区別のため、通常光画像処理部62及び特殊光画像処理部64による画像処理前のデジタル画像信号を画像信号といい、画像処理後のデジタル画像信号を画像データと呼ぶことにする。
 通常光画像処理部62は、色変換部68と、色彩強調部70と、構造強調部72とを有する。色変換部68は、入力された1フレーム分のB、G、R画像信号を、それぞれR画像データ、G画像データ、B画像データに割り付ける。これらRGBの画像データに対しては、更に、3×3のマトリックス処理、階調変換処理、3次元LUT処理などの色変換処理を行い、色変換処理済RGB画像データに変換する。
 色彩強調部70は、色変換済RGB画像データに対して、各種色彩強調処理を施す。構造強調部72は、色彩強調処理済RGB画像データに対して、空間周波数強調等の構造強調処理を行う。構造強調部72で構造強調処理が施されたRGB画像データは、通常光画像として通常光画像処理部62から画像表示信号生成部66に入力される。
 特殊光画像処理部64は、入力された2フレーム分のB1,R1画像信号及びG2、R2画像信号に基づいて、酸素飽和度画像を生成する酸素飽和度画像生成部76と、酸素飽和度画像に対して、空間周波数強調等の構造強調処理を行う構造強調部78とを有する。構造強調部78で構造強調処理が施されたRGB画像データは、特殊光画像として特殊光画像処理部64から画像表示信号生成部66に入力される。
 画像表示信号生成部66は、通常光画像処理部62又は特殊光画像処理部64から入力された通常光画像又は特殊光画像を、モニタ18で表示可能画像として表示するための表示画像信号に変換する。この変換後の表示画像信号に基づいて、モニタ18は、通常光画像又は特殊光画像を表示する。なお、特殊光画像としては、2フレーム分のRGB画像信号から、1フレームの酸素飽和度画像が表示される。
 図8に示すように、酸素飽和度画像生成部76は、信号補正部80と、測定用信号比算出部81と、相関関係記憶部82と、酸素飽和度算出部(生体機能情報算出部)83と、画像生成部84とを備えている。信号補正部80は探索条件設定部80aと、位置合わせ部80bと、参照用信号比算出部(参照情報算出部)80cと、補正部80dとを備えており、酸素飽和度の算出に用いるB1画像信号、G2画像信号、R2画像信号について、基準フレーム間強度比の下で得られる画像信号と同等になるように補正する。
 信号補正部80では、まず、探索条件設定部80aが、第1及び第2位置合わせ部80b,80cでの位置合わせ処理に用いる探索ポイントの各種条件(探索条件)を設定する。探索条件設定後は、図9に示すように、第1位置合わせ部80bが、B1画像信号とG2画像信号間の検体の位置ずれ量を算出するとともに、B1画像信号とG2画像信号間の検体像の位置合わせを行う。この第1位置合わせ部80bでは、B1画像信号を変形してG2画像信号に位置合わせするため、位置合わせ後のB1画像信号を「B1a画像信号」とする。
 そして、第2位置合わせ部80cが、第1位置合わせ部80bで算出した位置ずれ量に基づいて、R1画像信号とR2画像信号間の検体像の位置合わせを行う。そして、参照用信号比算出部80dが、位置合わせ済みのR1画像信号とR2画像信号から、G2画像信号、R2画像信号の補正に用いる参照用信号比を算出する。最後に、補正部80eが、参照用信号比に基づいて、G2画像信号、R2画像信号を、基準フレーム間強度比の下で得られる画像信号と同等となるように補正する。これにより、G2a画像信号及びR2a画像信号が得られる。以上の一連の処理により得られるB1a画像信号、G2a画像信号、R2a画像信号が、酸素飽和度の算出に用いられる。
 探索条件設定部80aは、探索条件として、基準ポイントの位置設定と、探索ポイントの位置設定と探索範囲の設定を行う。図10Aに示すように、基準ポイントP1~P9は、B1画像信号内の9つエリアA1~A9(3×3)の所定位置に設けられる。探索ポイントD1~D9は、図10Bに示すように、G2画像信号内の9つのエリアA1~A9(3×3)内で、基準ポイントP1~P9と同じ画素位置に設けられる。これら探索ポイントD1~D9は、G2画像信号内の9つのエリアA1~A9内で、所定の探索範囲でX方向又はY方向に平行移動(探索)する。この探索ポイントD1~D9の探索により、基準ポイントP1~P9と最も近い特徴量(例えば、画素値や画素値分布)を有する画素もしくは画素領域(目標ポイントT)を検出する。なお、基準ポイントP1~P9をG2画像信号内に設定し、探索ポイントD1~D9をB1画像信号内に設定してもよい。
 基準ポイントP1~P9及び探索ポイントD1~D9については、図11Aに示すように、各エリアA1~A9の明るさがほぼ同じである場合には、各エリアA1~A9の中央にセットする。このように各エリアA1~A9の明るさがほぼ同じである場合としては、例えば、図11Bに示すように、管腔内において、内視鏡12の先端部24の前方に、隆起物などが存在しない場合が考えられる。
 これに対して、図12Aに示すように、エリアA1~A9の中で、画素値が一定値以下となる暗部BPが存在する暗エリア(図12Aでは「エリアA5」)がある場合には、暗エリアのうち暗部BP以外の部分に、基準ポイントP5及び探索ポイントD5を設定する。これは、暗部BPに基準ポイントP5及び探索ポイントD5を設定した場合には、探索直後に目標ポイントTを検出することになるため、位置合わせを正確に行うことができないためである。このように一部のエリアが暗くなる場合としては、例えば、図12Bに示すように、管腔内において、内視鏡12の先端部24の前方に、隆起物86が現れる場合が考えられる。なお、各エリアの明るさは、各エリアの画素値の平均値から求める。また、血管構造などの位置合わせに必要なランドマークがほとんどないエリアについては、基準ポイント及び探索ポイントを設定しなくてもよい。
 探索範囲については、内視鏡12の先端部24や検体の動きがほとんどない動き無し状態の場合には、図13に示すように、探索ポイントD1~D9の移動範囲を狭くした第1の探索範囲Xに設定する。これは、動き無し状態の場合には、遠くまで探索しなくても、目標ポイントTの検出が可能だからである。これに対して、内視鏡12の先端部24が大きく湾曲するときや検体に大きな動きがあるときなど動き有り状態の場合には、図14に示すように、第1の探索範囲Xよりも探索ポイントD1~D9の範囲を広くした第2の探索範囲Yに設定する。これは、動き有り状態の場合には、遠くまで探索しないと、目標ポイントTの検出が難しいからである。
 なお、動き無し状態又は動き有り状態のいずれの状態にあるかの判別方法としては、以下の方法が考えられる。例えば、スクリーニング時のように、ズーミングレンズ47を作動させない場合には、内視鏡12の先端部24を動かす頻度が大きいため、検体に動きがあると考えられる。したがって、ズーミングレンズ47の非作動時には、動き有り状態と判別する。これに対して、拡大観察時のように、ズーミングレンズ47を作動させる場合には、内視鏡12の先端部24はほぼ静止状態で動く頻度は少ないと考えられるため、検体に動きは少ないと考えられる。したがって、ズーミングレンズ47の作動時には、動き無し状態と判別する。また、モード切替SW22bにより、動き無し状態と動き有り状態の切り替えを行えるようにしてもよい。
 また、拡大観察時のように、内視鏡12の先端部24と検体との検体間距離が一定値を下回る場合には、探索範囲が狭い第1の探索範囲Xで探索を行う一方で、検体間距離が一定値以上の場合には、探索範囲が広い第2の探索範囲Yで探索を行うことが好ましい。なお、検体間距離は、イメージセンサ48の露光量に基づいて定めることが好ましい。即ち、露光量が小さい場合は、検体間距離は遠く、反対に露光量が大きい場合は、検体間距離は近いものとする。
 第1位置合わせ部80bは、B1画像信号とG2画像信号に対して、それぞれ高周波の周波数フィルタリング処理を施す高周波フィルタリング部(高周波成分抽出部)HFを備えている。高周波の周波数フィルタリング処理のB1画像信号とG2画像信号は、位置合わせ時に目印となるランドマーク(例えば、血管構造)などの高周波成分の情報がシャープに抽出されるため、探索ポイントD1~D9による目標ポイントTの検出を精度良く行うことができる。
 そして、第1位置合わせ部80bは、設定された探索条件に従って、B1画像信号内に9つの基準ポイントP1~P9を設定するとともに、G2画像信号内に9つの探索ポイントD1~D9を設定する。そして、各探索ポイントD1~D9を所定の探索範囲内で探索させる。そして、各エリア毎に、探索ポイントD1~D9が目標ポイントTを検出したときの探索ポイントD1~D9の移動量を算出する。これら各エリアにおける探索ポイントD1~D9の移動量が、B1画像信号及びG2画像信号の各エリアにおける検体像の位置ずれ量となる。なお、第1位置合わせ部80bでは、B1画像信号及びG2画像信号を所定の画像信号で規格化し、規格化した信号をピラミッド画像にしてから、位置ずれ量の算出を行ってもよい。
 そして、各エリア毎の位置ずれ量に基づき、B1画像信号の各画素の画素値を補間して検体像を変形する。この変形処理により、B1画像信号の検体像の位置をG2画像信号の検体像の位置に合わせ込む。これにより、B1画像信号のG2画像信号間の位置合わせが完了する。ここで、位置合わせ後のB1画像信号をB1a画像信号とする。なお、所定エリアの探索ポイントの移動量が、他のエリアの探索ポイントの移動量よりも大きく外れている場合には、その所定エリアの探索ポイントの移動量は、他のエリアの探索ポイントの移動量に基づいて、補正することが好ましい。また、G2画像信号の各画素の画素値を補間して検体像を変形することにより、G2画像信号の検体像をB1画像信号の検体像の位置を合わせ込んでもよい。
 第2位置合わせ部80cは、R1画像信号とR2画像信号に対して、それぞれ低周波の周波数フィルタリング処理を施す低周波フィルタリング部(低周波成分抽出部)LFを備えている。低周波の周波数フィルタリング後のR1画像信号とR2画像信号は、高周波成分が除去されているため、明るさ情報が多く含まれる画像信号となっている。R1画像信号とR2画像信号の各エリア毎に、第1位置合わせ部80bで算出された各エリア毎の位置ずれ量に基づいて、各エリアの画素の画素値を補間して検体像を変形する。これにより、R1画像信号とR2画像信号間の位置合わせが完了する。
 ここで、R1画像信号とR2画像信号間の位置合わせに、B1画像信号とG2画像信号間の位置ずれ量を用いるのは、以下の理由からである。R1画像信号とR2画像信号は、粘膜の吸収体(ヘモグロビン)の吸光係数が低い赤色波長成分を多く有しているため、光量に関する情報は多く含まれているものの、位置合わせのランドマークとなり得る構造物の像は多く含まれていない。したがって、R1画像信号とR2画像信号については、探索ポイントDが目標ポイントTを検出することが困難であるため、探索ポイントDの移動量、即ち、位置ずれ量を正確に算出できない場合が多い。
 これに対して、B1画像信号とG2画像信号は、粘膜の吸収体(ヘモグロビン)の吸光係数が高い青色波長成分を多く有しているため、血管構造などランドマークとなり得る構造物の像が多く含まれている。したがって、B1画像信号とG2画像信号については、探索ポイントDによる目標ポイントTの検出が容易であるため、探索ポイントDの移動量、即ち、位置ずれ量を正確に求めることができる。そこで、R1画像信号とR2画像信号間の位置合わせには、R1画像信号とR2画像信号の位置ずれ量ではなく、B1画像信号とG2画像信号間の位置ずれ量を用いている。
 参照用信号比算出部80dは、位置合わせ済みのR1画像信号及びR2画像信号間の比率(R2/R1)を示す参照用信号比Cを、画素毎に算出する。この参照用信号比Cは、以下の(1)~(3)の3つの理由により、実際のフレーム間強度比(I2(λ)/I1(λ))に連動して増減する。
(1):第1蛍光と第2蛍光は、波形が同一であり、また第1蛍光と第2蛍光のフレーム間強度比(I2(λ)/I1(λ))は、いずれの波長においても同一である(図5参照)。
(2):イメージセンサ48のR画素は、第1及び第2蛍光のうち長波長側の裾の部分のみ感度がある(図6参照)
(3):(1)、(2)から、R1画像信号とR2画像信号は、いずれも被写体となる生体組織についてほとんど同じ情報を持っている。
 以上から、参照用信号比Cは、実際のフレーム間強度比をほぼ正確に表している。ここで、参照用信号比Cの算出に用いたR1画像信号とR2画像信号は精度良く位置合わせがされているため、仮に、画像中に明るさが異なる領域が存在したとしても、各画素における参照用信号比Cは、実際のフレーム間強度比を正確に示している。なお、光源制御部40による光量制御が理想的に動作している状況下での参照用信号比については、基準参照用信号比「Ca」として予めメモリ(図示しない)に記憶されている。
 補正部80eは、参照用信号比算出部80dで算出した参照用信号比Cと基準参照用信号比Caを用いて、G2画像信号とR2画像信号を補正する。これらG2画像信号とR2画像信号は、以下に式に基づいて補正することで、G2a画像信号とR2a画像信号となる。補正は、G2画像信号とR2画像信号の画素毎に行われる。
R2a=R2/C×Ca
G2a=G2/C×Ca
この式において、「R2」、「G2」は、補正前の「R2画像信号」、「G2画像信号」を示しており、「R2a」、「G2a」は、補正後の「G2a画像信号」、「R2a画像信号」を示している。これらG2a画像信号とR2a画像信号は、基準フレーム間強度比の下で得られる画像信号と同等になるように補正されたものになっている。即ち、光源制御部40での光源制御(AE)が理想的に作動している場合は、参照用信号比Cは基準参照用信号比Caと一致するため、補正前と補正後でG2画像信号とR2画像信号の値はほぼ同じとなっている。
 これに対して、AEが不安定化した場合には、実際のフレーム間強度比が基準フレーム間強度比からズレてしまうことがある。例えば、実際のフレーム間強度比が基準フレーム間強度比よりも大きくなった場合(即ち、参照用信号比C>基準参照用信号比Caの場合)には、この増加分を打ち消すように、G2画像信号とR2画像信号の画素値を小さくする。反対に、実際のフレーム間強度比が基準フレーム間強度比よりも小さくなった場合(即ち、参照用信号比C<基準参照用信号比Caの場合)には、この減少分を打ち消すように、G2画像信号とR2画像信号の画素値を大きくする。これにより、AEが不安定化して、実際のフレーム間強度比が基準フレーム間強度比から変動したしても、この変動分を打ち消すように画像信号を補正することで、理想的にAEが作動したときと同様の画像信号を得ることができる。
 また、G2画像信号とR2画像信号の補正には、各画素のフレーム間強度比を正確に表した参照用信号比Cを用いているため、仮に、画像中に明るさが異なる領域が存在したとしても、各領域において適切な明るさ補正が行われる。即ち、画像中の明るい領域については、G2画像信号とR2画像信号の画素値を小さくすることにより、明るさを低減させる補正が行われ、画像中の暗い領域については、G2画像信号とR2画像信号の画素値を大きくすることにより、明るさを増加させる補正が行われる。
 測定用信号比算出部81は、B1a画像信号及びG2a画像信号間の測定用信号比B1/G2と、G2a画像信号G2及びR2a画像信号間の測定用信号比R2/G2とを、画素毎に求める。ここで、測定用信号比B1/G2、R2/G2の算出に用いる「B1a画像信号、G2a画像信号、R2a画像信号」は、信号補正部80での信号補正処理により補正されているため、これら測定用信号比B1/G2、R2/G2により、酸素飽和度を正確に算出することができる。
 相関関係記憶部82は、測定用信号比B1/G2及びR2/G2と酸素飽和度との相関関係を記憶している。この相関関係は、図15に示す二次元空間上に酸素飽和度の等値線を定義した2次元テーブルで記憶されている。この等値線の位置、形は光散乱の物理的なシミュレーションで得られ、血液量に応じて変わるように定義されている。例えば、血液量の変化があると、各等値線間の間隔が広くなったり、狭くなったりする。なお、測定用信号比B1/G2,R2/G2はlogスケールで記憶されている。
 なお、上記相関関係は、図16に示すような酸化ヘモグロビンや還元ヘモグロビンの吸光特性や光散乱特性と密接に関連性し合っている。この図16において、グラフ90は酸化ヘモグロビンの吸光係数を、グラフ91は還元ヘモグロビンの吸光係数を示している。例えば、第1青色レーザ光の中心波長473nmのように吸光係数の差が大きい波長では、酸素飽和度の情報を取り易い。しかしながら、473nmの光に対応する信号を含むB1a画像信号は、酸素飽和度だけでなく血液量にも依存度が高い。そこで、B1a画像信号に加え、主として血液量に依存して変化する光に対応するR2a画像信号と、B1a画像信号とR2a画像信号のリファレンス信号となるG2a画像信号から得られる測定用信号比B1/G2及びR2/G2を用いることで、血液量に依存することなく、酸素飽和度を正確に求めることができる。
 酸素飽和度算出部83は、相関関係記憶部82に記憶された相関関係を参照して、測定用信号比算出部81で求めた測定用信号比B1/G2、R2/G2に対応する酸素飽和度を求める。酸素飽和度の算出は画素毎に求める。酸素飽和度算出部83では、以下のようにして酸素飽和度を算出する。例えば、所定画素における測定用信号比がB1/G2、R2/G2である場合には、図17に示すように、相関関係を参照すると、測定用信号比B1/G2、R2/G2に対応する酸素飽和度は「60%」となっている。したがって、酸素飽和度は「60%」として算出される。
 なお、測定用信号比B1/G2、R2/G2は、B1画像信号と、信号補正部80で補正されたG2a画像信号及びR2a画像信号とに基づいて算出されたものであるため、測定用信号比B1/G2、R2/G2が極めて大きくなったり、極めて小さくなったりすることはほとんどない。即ち、測定用信号比B1/G2、R2/G2は、相関関係上において、酸素飽和度0%の下限ライン93を上回ったり、反対に、酸素飽和度100%の上限ライン94よりも下回ったりすることはほとんどない。
 ただし、仮に、測定用信号比B1/G2、R2/G2が相関関係上で下限ライン93よりも上方に位置するときには酸素飽和度を0%とし、測定用信号比B1/G2、R2/G2が上限ライン94よりも下方に位置するときには酸素飽和度を100%とする。なお、対応点が下限ライン93と上限ライン94との間から外れている場合には、その画素における酸素飽和度の信頼度を下げて表示しないようにしてもよい。
 画像生成部84は、酸素飽和度算出部83で算出した酸素飽和度と、B2画像信号、G2画像信号、R2画像信号とを用いて、酸素飽和度を画像化した酸素飽和度画像を生成する。この画像生成部84では、B2画像信号、G2画像信号、R2画像信号に対して、酸素飽和度に応じたゲインが施される。例えば、酸素飽和度が60%以上の場合には、B2画像信号、G2画像信号、R2画像信号のいずれも、同じゲイン「1」が施される。これに対して、酸素飽和度が60%未満の場合は、B2画像信号に対して「1」未満のゲインが施される一方で、G2画像信号、R2画像信号に対しては「1」を超えるゲインが施される。このゲイン処理後のB2画像信号、G2画像信号、R2画像信号がBGR画像データに割り付けられる。
 これらBGR画像データに基づいてモニタ18に表示される酸素飽和度画像は、高酸素の領域(酸素飽和度が60~100%の領域)は、ゲインがいずれも「1」でB2画像信号、G2画像信号、R2画像信号の画素値が変動しないため、通常光画像と同様の色で表示される。これに対して、酸素飽和度が一定値を下回る低酸素の領域(酸素飽和度が0~60%の領域)では、酸素飽和度に応じてゲインが「1」未満もしくは「1」を超えるため、通常光画像と異なる色、即ち疑似カラーで表示される。なお、画像生成部では、低酸素の領域のみ疑似カラーで表示したが、低酸素領域だけでなく高酸素の領域(60~100%)も疑似カラーで表示してもよい。
 次に、本実施形態における一連の流れを図18のフローチャートに沿って説明する。まず、通常観察モードにおいて、遠景状態からスクリーニングを行う。通常観察モードでは、通常光画像がモニタ18に表示される。このスクリーニング時に、ブラウニッシュエリアや発赤など病変の可能性がある部位(病変可能性部位)を検出したときには、モード切替SW22bを操作して、特殊観察モードに切り替える。この特殊観察モードにおいて、病変可能性部位が低酸素状態になっているか否かの診断を行う。
 特殊観察モードでは、第1及び第2白色光が交互に発光される。そして、第1白色光で照明された検体像をイメージセンサ48で撮像することにより、イメージセンサ48からB1画像信号、G1画像信号、R1画像信号が出力され、第2白色光で照明された検体像をイメージセンサ48で撮像することにより、イメージセンサ48からB2画像信号、G2画像信号、R2画像信号が出力される。これら2フレーム分の画像信号が、1フレームの酸素飽和度画像の作成に用いられる。
 次に、位置合わせ2フレーム分の画像信号を取得したときの露光量、ズーミングレンズの作動状況、検体の動き量などに基づいて、B2画像信号及びG2画像信号内の各エリアA1~A9毎に、基準ポイントP1~P9と探索ポイントD1~D9を設定するとともに、探索ポイントD1~D9の探索範囲を設定する。そして、各エリアA1~A9において、探索ポイントD1~D9を、設定された探索範囲内で探索する。そして、探索ポイントD1~D9が目標ポイントTを検出したときの移動量を、フレーム間の位置ずれ量とする。このフレーム間の位置ずれ量に基づいて、B1画像信号とG2画像信号間の位置合わせを行う。
 次に、B1画像信号とG2画像信号間の位置ズレ量に基づいて、R1画像信号とR2画像信号間の位置合わせを行う。そして、位置合わせ済みのR1画像信号とR2画像信号に基づいて、参照用信号比Cを算出する。そして、参照用信号比Cと基準参照用信号比Caとを用いて、G2画像信号とR2画像信号を補正する。これにより、理想的にAEが作動したときと同様の画像信号であるG2a画像信号及びR2a画像信号が得られる。そして、位置合わせ済みのB1a画像信号とG2a画像信号及びR2a画像信号に基づいて、酸素飽和度を算出する。この算出した酸素飽和度とB2画像信号、G2画像信号、R2画像信号に基づいて、酸素飽和度画像が生成される。
 生成された酸素飽和度画像は、特殊光画像として、モニタ18に表示される。このモニタ18に表示された酸素飽和度画像に基づいて、ドクターは、病変可能性部位が低酸素状態になっているかどうかを確認する。酸素飽和度の表示は、通常観察モードに切り替えられるまで、継続して表示される。そして、診断を終了する場合には、内視鏡12の挿入部21を検体内から抜き出す。
 なお、上記第1実施形態では、内視鏡12の先端部24に蛍光体44を設けたが、これに代えて、図19の内視鏡システム100に示すように、光源装置14の内部に蛍光体44を設けてもよい。この場合には、第1青色レーザ光源(473LD)34及び第2青色レーザ光源(445LD)36と、ライトガイド41との間に、蛍光体44を設ける。第1青色レーザ光源34又は第2青色レーザ光源36は、第1青色レーザ光又は第2青色レーザ光を蛍光体44に向けて照射する。これにより、第1白色光又は第2白色光が発せられる。この第1又は第2白色光は、ライトガイド41を介して、検体内に照射される。それ以外については、内視鏡システム100は、内視鏡システム10と同様である。
 なお、上記第1実施形態では、第1及び第2青色レーザ光を同一の蛍光体44に入射したが、第1青色レーザ光と第2青色レーザ光を、それぞれ別々の第1蛍光体、第2蛍光体に入射させてもよい。この場合には、第1蛍光体から発せられる蛍光のうちイメージセンサ48のR画素に入射する第1赤色成分の光と、第2蛍光体から発せられる蛍光のうちイメージセンサ48のR画素に入射する第2赤色成分の光について、同一の波形にする必要がある。また、第1赤色成分の光と第2赤色成分の光の強度比を、波長によらず一定にする必要がある。これは、参照用信号比Cを、実際のフレーム間強度比の増減に連動させるためである。
[第2実施形態]
 図20に示すように、内視鏡システム200の光源装置14には、第1及び第2青色レーザ光源34,36、光源制御部40の代わりに、LED光源ユニット202と、LED光源制御部(光源制御部)204が設けられている。また、内視鏡200の照明光学系24aには、蛍光体44が設けられていない。それ以外については、第1実施形態の内視鏡システム10と同様である。
 LED光源ユニット202は、特定の波長域に制限された光を発光する光源として、4つのLEDを有する。具体的には、LED光源ユニット202は、400~500nmの青色領域の青色帯域光B(以下、単に青色光という)を発光するLED(B)と、473nm±10nmに制限された青色狭帯域光Nbを発光するLED(473)と、480~620nmの緑色領域の緑色帯域光G(以下、単に緑色光という)を発光するLED(G)と、600~720nmの赤色領域の赤色帯域光R(以下、単に赤色光という)を発光するLED(R)とを有している。なお、LED光源ユニット202は、各LEDがブロードな波長域の光を発光するように、波長域が少しずつ異なった狭帯域光を発光するLEDを複数設けてもよい。
 なお、本発明では、「第1信号光」は「青色狭帯域光Nb」に対応し、「第1参照光」は「赤色光R」に対応している。したがって、本発明の「第1光源」は、LED(473)と、LED(R)を有することになる。また、本発明では、「第2信号光」が「緑色光G」に対応し、「第2参照光」は「赤色光R」に対応している。したがって、本発明の「第2光源」は、LED(G)と、LED(R)を有することになる。
 LED光源制御部204は、LED光源ユニット202の各LEDを個別に制御している。また、LED光源制御部204は、通常観察モードの場合には、LED(B)、(G)、(R)を駆動する。これに対して、特殊観察モードの場合には、LED(G)、(R)を常時点灯させた状態で、LED(473)とLED(B)とが交互に点灯するように制御している。
 また、撮像制御部49では、観察モード毎に、以下のような撮像制御を行っている。図21Aに示すように、通常観察モード時には、1フレームの期間毎に、青色光B、緑色光G及び赤色光Rが同時に照明された検体内をカラーのイメージセンサ48で撮像、すなわち、青色光B、緑色光G及び赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
 一方、図21Bに示すように、特殊観察モード時には、1フレーム目に、青色狭帯域光Nb、緑色光G、赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、青色光B、緑色光G及び赤色光Rを光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。
 ここで、1フレーム目の赤色光Rと2フレーム目の赤色光Rは、同一のLED(R)から発光しているため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の赤色光発光時に得られるR1画像信号と2フレーム目の赤色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第2実施形態においても、参照用信号比Cは、実際のフレーム間強度比を正確に表していることになる。
 上記第2実施形態では、特殊観察モードにおいて、1フレーム目の赤色光R、2フレーム目の赤色光Rは、それぞれ同一のLED(R)から発光したが、別々のLED(R)から発光してもよい。ただし、この場合には、1フレーム目に第1LED(R)から発光する第1赤色光と、2フレーム目に第2LED(R)から発光する第2赤色光とは、それぞれ同じスペクトルにするとともに、各波長における強度比を同じにする必要がある。これは、参照用信号比Cを、実際のフレーム間強度比の増減に連動させるためである。
[第3実施形態]
 図22に示すように、内視鏡システム300の光源装置14には、第1及び第2青色レーザ光源34,36、光源制御部40の代わりに、広帯域光源302、回転フィルタ304、フィルタ切替部305が設けられている。それ以外については、第1実施形態の内視鏡システム10と同様である。
 広帯域光源302はキセノンランプ、白色LEDなどであり、波長域が青色から赤色に及ぶ白色光を発する。回転フィルタ304は回転軸304aを中心として回転するものであり、内側に設けられた通常観察モード用フィルタ308と、外側に設けられた特殊観察モード用フィルタ309とを備えている(図23参照)。フィルタ切替部305は、回転フィルタ304を径方向に移動させるものであり、モード切替SW22bにより通常観察モードにセットされたときに、回転フィルタ304の通常観察モード用フィルタ308を白色光の光路に挿入し、特殊観察モードにセットされたときに、回転フィルタ304の特殊観察モード用フィルタ309を白色光の光路に挿入する。なお、回転軸304aは2本の支持棒304bによって支持されている。
 図23に示すように、通常観察モード用フィルタ308には、白色光をそのまま透過させる開口部308aが設けられている。したがって、通常観察モード時には、白色光が検体内に照射される。特殊観察モード用フィルタ309には、周方向に沿って、白色光のうち所定帯域の帯域制限光(473,GR)を透過させるバンドパスフィルタ(BPF)309aと、白色光をそのまま透過させる開口部309bが設けられている。したがって、特殊観察モード時には、回転フィルタ304が回転することで、帯域制限光(473,GR)、白色光が交互に検体内に照射される。なお、第3実施形態では、回転フィルタ304とこの回転フィルタ304の回転速度を制御する駆動部(図示しない)が、本発明の「光源制御部」を構成する。
 バンドパスフィルタ309aは、図24に示すように、473nm±10nmと、500~700nm(緑色領域~赤色領域)に透過性を有し、それ以外の波長は遮断する。したがって、帯域制限光(473,GR)は、473nm±10nmと500~700nmの波長を有している。
 なお、本発明では、「第1信号光」は「帯域制限光のうちイメージセンサ48のB画素に入射する光」に対応し、「第1参照光」は「帯域制限光のうちイメージセンサ48のR画素に入射する光」に対応する。したがって、本発明の「第1光源」は、広帯域光源302とバンドパスフィルタ309aとを有することになる。また、本発明では、「第2信号光」は「白色光のうちイメージセンサ48のG画素に入射する光」に対応し、「第2参照光」は「白色光のうちイメージセンサ48のR画素に入射する光」に対応する。したがって、本発明の「第2光源」は、広帯域光源302を有することになる。
 また、撮像制御部49では、各観察モード毎に、以下のような撮像制御を行っている。図25Aに示すように、通常観察モード時には、1フレームの期間毎に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
 一方、図25Bに示すように、特殊観察モード時には、1フレーム目に、帯域制限光(473,GR)を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。
 ここで、1フレーム目の帯域制限光のうちイメージセンサのR画素で受光する赤色成分と、2フレーム目の白色光のうちR画素で受光する赤色成分は、同一の広帯域光源302から発光したものであるため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の帯域制限光発光時に得られるR1画像信号と2フレーム目の白色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第3実施形態においても、参照用信号比Cは、フレーム間強度比を表していることになる。
[第4実施形態]
 上記第3実施形態では、広帯域光源302、回転フィルタ304、フィルタ切替部305を設けた内視鏡システム300の例で説明したが、図26に示すように、第4実施形態の内視鏡システム400に、回転フィルタ404、半導体光源LD(473)406と、半導体光源制御部408と、光合流部410とを設けてもよい。それ以外については、第3実施形態の内視鏡システム300と同様である。
 図27に示すように、回転フィルタ404は回転軸404aを中心として回転するものであり、内側に設けられた通常観察モード用フィルタ412と、外側に設けられた特殊観察モード用フィルタ413とを備えている。通常観察モード用フィルタ412には、白色光をそのまま透過させる開口部412aが設けられている。したがって、通常観察モード時には、白色光が検体内に照射される。なお、回転軸404aは2本の支持棒404bによって支持されている。
 特殊観察モード用フィルタ413には、周方向に沿って、白色光のうち所定帯域の帯域制限光(GR)を透過させるバンドパスフィルタ(BPF)413aと、白色光をそのまま透過させる開口部413bが設けられている。したがって、特殊観察モード時には、回転フィルタ404が回転することで、帯域制限光(GR)、白色光が交互に検体内に照射される。バンドパスフィルタ413aは、図28に示すように、500~700nmの波長域に透過性を有し、それ以外の波長は遮断する。したがって、帯域制限光(GR)は、500~700nmの波長を有する。
 半導体光源LD(473)406は、473nm±10nmの青色狭帯域光Nbを発光する。半導体光源制御部408は、回転フィルタ404の回転を検出するイメージセンサ(図示省略)から検出信号を取得し、取得した検出信号に応じて、半導体光源LD(473)406の駆動タイミング、同期タイミング、点灯、消灯などの制御を行う。これにより、半導体光源制御部408は、白色光が検体内に照射される照射期間内には青色狭帯域光Nbを発光せず、帯域制限光(GR)が検体内に照射される照射期間内に青色狭帯域光Nbを発光する。なお、第4実施形態では、回転フィルタ404と、この回転フィルタ404の回転速度を制御する駆動部(図示しない)と、半導体光源制御部408とが、本発明の「光源制御部」を構成する。
 光合流部410は、ダイクロイックミラーからなり、回転フィルタ404からの光を透過してLG41に入射させるとともに、青色半導体光源LD(473)406からの光を反射して、LG41に入射させる。
 なお、本発明では、「第1信号光」は「青色狭帯域光Nb」に対応し、「第1参照光」は「帯域制限光のうちイメージセンサ48のR画素に入射する光」に対応する。したがって、本発明の「第1光源」は、広帯域光源302と、半導体光源LD(473)406と、バンドパスフィルタ(BPF)413aとを有することになる。また、本発明では、「第2信号光」は「白色光のうちイメージセンサ48のG画素に入射する光」に対応し、「第2参照光」は「白色光のうちイメージセンサ48のR画素に入射する光」に対応する。したがって、本発明の「第2光源」は、広帯域光源302を有することになる。
 図29Aに示すように、通常観察モード時には、1フレームの期間毎に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB画像信号、G画像信号、R画像信号として読み出すステップが行われる。こうした動作は通常観察モードに設定されている間、繰り返し行われる。そして、それら1フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、通常光画像が生成される。
 一方、図29Bに示すように、特殊観察モード時には、1フレーム目に、青色狭帯域光Nb、帯域制限光(GR)を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB1画像信号、G1画像信号、R1画像信号として読み出すステップが行われ、その次の2フレーム目に、白色光を光電変換して得られる電荷を蓄積するステップと、蓄積した電荷をB2画像信号、G2画像信号、R2画像信号として読み出すステップが行われる。こうした動作は特殊観察モードに設定されている間、繰り返し行われる。そして、それら2フレーム分の画像信号に基づいて、上記第1実施形態と同様の方法で、酸素飽和度画像が生成される。
 ここで、1フレーム目の帯域制限光のうちイメージセンサのR画素で受光する赤色成分と、2フレーム目の白色光のうちR画素で受光する赤色成分は、同一の広帯域光源302から発光したものであるため、それぞれの波形は同一であり、また、それらの強度比は波長によらず同一である。したがって、1フレーム目の帯域制限光発光時に得られるR1画像信号と2フレーム目の白色光発光時に得られるR2画像信号との比率を示す参照用信号比Cは、実際のフレーム間強度比に連動して増減する。したがって、第4実施形態においても、参照用信号比Cは、フレーム間強度比を正確表していることになる。
 なお、上記実施形態では、2つの測定用信号比B1/G2、R2/G2から酸素飽和度を産出したが、測定用信号比B1/G2のみから酸素飽和度を算出してもよい。この場合には、酸素飽和度の算出に、測定用信号比B1/G2と酸素飽和度の相関関係を記憶した相関関係記憶部が用いられる。
 なお、上記実施形態では、酸素飽和度の画像化した酸素飽和度画像の作成を行ったが、これに加えて、血液量を画像化した血液量画像の作成を行ってもよい。血液量は、測定用信号比算出部で求めた測定用信号比R2/G2と相関関係がある。そのため、測定用信号比R2/G2に応じて異なる色を割り当てることで、血液量を画像化した血液量画像を作成することができる。
 なお、上記実施形態では、血液量(酸化ヘモグロビンと還元ヘモグロビンの和)のうち酸化ヘモグロビンの占める割合である酸素飽和度を算出したが、これに代えて又は加えて、「血液量×酸素飽和度(%)」から求まる酸化ヘモグロビンインデックスや、「血液量×(100-酸素飽和度)(%)」から求まる還元ヘモグロビンインデックスなど他の生体機能情報を算出してもよい。

Claims (13)

  1.  第1信号光、及び第1参照光を含む第1照明光を発する第1光源と、
     前記第1信号光と波長域が異なる第2信号光、及び第2参照光を含む第2照明光を発する第2光源と、
     前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の照射タイミングを制御する光源制御部と、
     前記第1照明光による前記検体への照明中には、前記第1照明光の反射光を前記第1信号光と前記第1参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力し、且つ前記第1参照光に対応する第1参照用画像信号を出力し、前記第2照明光による前記検体への照明中には、前記第2照明光の反射光を前記第2信号光と前記第2参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力し、且つ前記第2参照光に対応する第2参照用画像信号を出力する撮像部と、
     前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出し、且つ信号用画像信号間の位置合わせを行う第1位置合わせ部と、
     前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
     位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
     前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
     補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、
     を備えることを特徴とする内視鏡システム。
  2.  前記第1信号用画像信号と前記第2信号用画像信号に対して、高周波成分を抽出する高周波フィルタリングを施す高周波成分抽出部を備え、
     前記第1位置合わせ部は、前記高周波フィルタリングの後の前記第1信号用画像信号と前記第2信号用画像信号に基づいて、前記位置ずれ量の算出及び前記位置合わせを行うことを特徴とする請求項1記載の内視鏡システム。
  3.  前記位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に対して、低周波成分を抽出する低周波フィルタリングを施す低周波成分抽出部を備え、
     前記第2位置合わせ部は、前記低周波フィルタリングの後の前記第1参照用画像信号と前記第2参照用画像信号との位置合わせを行うことを特徴とする請求項1または2記載の内視鏡システム。
  4.  前記第1信号用画像信号及び第2信号用画像信号のうち、一方の画像信号の複数のエリアにそれぞれ基準ポイントを設定し、且つ他方の画像信号内に、前記基準ポイントに対応する位置に探索ポイントを設定する探索条件設定部を備え、
     前記第1位置合わせ部は、前記探索ポイントを所定の探索範囲で移動させることにより、前記基準ポイントと最も近い特徴量を有する目標ポイントを検出する検出処理を行い、
     前記位置ずれ量は、前記目標ポイントを検出したときの前記探索ポイントの移動量であることを特徴とする請求項1記載の内視鏡システム。
  5.  前記複数のエリアのうち暗部が存在する暗エリアについては、前記暗エリアのうち前記暗部以外の部分に前記基準ポイント及び探索ポイントを設定することを特徴とする請求項4記載の内視鏡システム。
  6.  前記検体との距離が一定値以上の場合の探索範囲を、前記距離が一定値を下回る場合の探索範囲よりも広くすることを特徴とする請求項4又は5記載の内視鏡システム。
  7.  前記検体を拡大する検体拡大部を備え、
     前記検体拡大部の非使用時における探索範囲を、前記検体拡大部の使用時における探索範囲よりも広くすることを特徴とする請求項4又は5記載の内視鏡システム。
  8.  前記撮像部は、前記第1信号光を受光して前記第1信号用画像信号を出力する複数の第1画素と、前記第2信号光を受光して前記第2信号用画像信号を出力する複数の第2画素と、前記第1又は第2参照光を受光して前記第1参照用画像信号又は前記第2参照用画像信号を出力する複数の第3画素とが設けられたカラーのイメージセンサであることを特徴とする請求項1記載の内視鏡システム。
  9.  前記第1及び第2信号光は、前記第1及び第2参照光よりも短波長の波長域を有することを特徴とする請求項1記載の内視鏡システム。
  10.  前記第1参照光と前記第2参照光は波形が同じで、前記第1参照光と前記第2参照光の強度比がいずれの波長においても同じであることを特徴とする請求項1記載の内視鏡システム。
  11.  前記生体機能情報は、補正後の前記第1信号用画像信号及び前記第2信号用画像信号間の測定用信号比に基づいて算出される酸素飽和度であり、
     前記参照情報は、前記第1参照用画像信号と前記第2参照用画像信号間の比率を示す参照用信号比であり、
     前記参照用信号比は、前記第1照明光の反射光の強度と前記第2照明光の反射光の強度との比率を示すフレーム間強度比に合わせて変化すること特徴とする請求項1記載の内視鏡システム。
  12.  第1信号光、及び第1参照光を含む第1照明光を発する第1光源と、前記第1信号光と波長域が異なる第2信号光、及び第2参照光を含む第2照明光を発する第2光源と、前記第1照明光と前記第2照明光が交互に検体に照射されるように、前記第1照明光と前記第2照明光の発生タイミングを制御する光源制御部と、前記第1照明光による前記検体への照明中には、前記第1照明光の反射光を前記第1信号光と前記第1参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力し、且つ前記第1参照光に対応する第1参照用画像信号を出力し、前記第2照明光による前記検体への照明中には、前記第2照明光の反射光を前記第2信号光と前記第2参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力し、且つ前記第2参照光に対応する第2参照用画像信号を出力する撮像部とを備える内視鏡システムのプロセッサ装置において、
     前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出し、且つ信号用画像信号間の位置合わせを行う第1位置合わせ部と、
     前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせ部と、
     位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出部と、
     前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正部と、
     補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出部と、
     を備えることを特徴とする内視鏡システムのプロセッサ装置。
  13.  光源制御部が、第1信号光及び第1参照光を含む第1照明光と、前記第1信号光と波長域が異なる第2信号光及び第2参照光を含む第2照明光を、異なるタイミングで発生するように、前記第1照明光と前記第2照明光の発生タイミングを制御する制御ステップと、
     撮像部が、前記第1照明光による前記検体への照明中には、前記第1照明光の反射光を前記第1信号光と前記第1参照光に波長分離して撮像することにより、前記第1信号光に対応する第1信号用画像信号を出力し、且つ前記第1参照光に対応する第1参照用画像信号を出力し、前記第2照明光による前記検体への照明中には、前記第2照明光の反射光を前記第2信号光と前記第2参照光に波長分離して撮像することにより、前記第2信号光に対応する第2信号用画像信号を出力し、且つ前記第2参照光に対応する第2参照用画像信号を出力する撮像ステップと、
     第1位置合わせ部が、前記第1信号用画像信号と前記第2信号用画像信号との位置ずれ量を算出し、且つ信号用画像信号間の位置合わせを行う第1位置合わせステップと、
     第2位置合わせ部が、前記位置ずれ量に基づいて、前記第1参照用画像信号と前記第2参照用画像信号の位置合わせを行う第2位置合わせステップと、
     参照情報算出部が、位置合わせ済みの前記第1参照用画像信号と前記第2参照用画像信号に基づいて、画素毎に、前記第1及び第2信号光の強度に関する参照情報を算出する参照情報算出ステップと、
     補正部が、前記参照情報に基づいて、前記第1信号用画像信号又は前記第2信号用画像信号を補正する補正ステップと、
     生体機能情報算出部が、補正後の前記第1信号用画像信号又は前記第2信号用画像信号に基づいて、生体機能情報を算出する生体機能情報算出ステップと、
     を有することを特徴とする内視鏡システムの作動方法。
PCT/JP2014/056268 2013-03-26 2014-03-11 内視鏡システム及びその作動方法並びにプロセッサ装置 Ceased WO2014156604A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-064663 2013-03-26
JP2013064663A JP5997643B2 (ja) 2013-03-26 2013-03-26 内視鏡システム及びプロセッサ装置並びに作動方法

Publications (1)

Publication Number Publication Date
WO2014156604A1 true WO2014156604A1 (ja) 2014-10-02

Family

ID=51623587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056268 Ceased WO2014156604A1 (ja) 2013-03-26 2014-03-11 内視鏡システム及びその作動方法並びにプロセッサ装置

Country Status (2)

Country Link
JP (1) JP5997643B2 (ja)
WO (1) WO2014156604A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016202380A (ja) * 2015-04-17 2016-12-08 Hoya株式会社 画像処理装置および内視鏡装置
EP3446619A4 (en) * 2016-04-21 2019-05-29 FUJIFILM Corporation ENDOSCOPY SYSTEM, PROCESSOR DEVICE AND ENDOSCOPY SYSTEM OPERATION

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616071B2 (ja) * 2014-12-22 2019-12-04 富士フイルム株式会社 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP6744713B2 (ja) 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法
JP6744712B2 (ja) * 2015-12-17 2020-08-19 富士フイルム株式会社 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149674A1 (ja) * 2007-06-05 2008-12-11 Olympus Corporation 画像処理装置、画像処理プログラムおよび画像処理方法
JP2009011563A (ja) * 2007-07-04 2009-01-22 Olympus Corp 画像処理装置および画像処理プログラム
JP2011200517A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム
JP2011217886A (ja) * 2010-04-07 2011-11-04 Olympus Corp 蛍光観察装置
JP2012125402A (ja) * 2010-12-15 2012-07-05 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置及び機能情報取得方法
JP2012205619A (ja) * 2011-03-29 2012-10-25 Olympus Medical Systems Corp 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2013013656A (ja) * 2011-07-06 2013-01-24 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008149674A1 (ja) * 2007-06-05 2008-12-11 Olympus Corporation 画像処理装置、画像処理プログラムおよび画像処理方法
JP2009011563A (ja) * 2007-07-04 2009-01-22 Olympus Corp 画像処理装置および画像処理プログラム
JP2011200517A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 電子内視鏡システム
JP2011217886A (ja) * 2010-04-07 2011-11-04 Olympus Corp 蛍光観察装置
JP2012125402A (ja) * 2010-12-15 2012-07-05 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置及び機能情報取得方法
JP2012205619A (ja) * 2011-03-29 2012-10-25 Olympus Medical Systems Corp 画像処理装置、制御装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2013013656A (ja) * 2011-07-06 2013-01-24 Fujifilm Corp 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像表示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016202380A (ja) * 2015-04-17 2016-12-08 Hoya株式会社 画像処理装置および内視鏡装置
EP3446619A4 (en) * 2016-04-21 2019-05-29 FUJIFILM Corporation ENDOSCOPY SYSTEM, PROCESSOR DEVICE AND ENDOSCOPY SYSTEM OPERATION
US11044416B2 (en) 2016-04-21 2021-06-22 Fujifilm Corporation Endoscope system, processor device, and endoscope system operation method

Also Published As

Publication number Publication date
JP2014188083A (ja) 2014-10-06
JP5997643B2 (ja) 2016-09-28

Similar Documents

Publication Publication Date Title
JP5303012B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置及び内視鏡システムの作動方法
JP5654511B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5992936B2 (ja) 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
EP2366327B1 (en) An electronic endoscope system and a method of acquiring blood vessel information
JP5977772B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP5887367B2 (ja) プロセッサ装置、内視鏡システム、及び内視鏡システムの作動方法
US10335014B2 (en) Endoscope system, processor device, and method for operating endoscope system
JP6092792B2 (ja) 内視鏡システム用プロセッサ装置、内視鏡システム、内視鏡システム用プロセッサ装置の作動方法、内視鏡システムの作動方法
JP5670264B2 (ja) 内視鏡システム、及び内視鏡システムの作動方法
JP5808031B2 (ja) 内視鏡システム
JP5932748B2 (ja) 内視鏡システム
JP6008812B2 (ja) 内視鏡システム及びその作動方法
JP5997643B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP5930474B2 (ja) 内視鏡システム及びその作動方法
JP5881658B2 (ja) 内視鏡システム及び光源装置
JP6245710B2 (ja) 内視鏡システム及びその作動方法
JP5829568B2 (ja) 内視鏡システム、画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
WO2015025595A1 (ja) 内視鏡システム及び作動方法
JP2018051364A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP5990141B2 (ja) 内視鏡システム及びプロセッサ装置並びに作動方法
JP6272956B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP6175538B2 (ja) 内視鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14773975

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14773975

Country of ref document: EP

Kind code of ref document: A1