WO2019039354A1 - 光源装置及び内視鏡システム - Google Patents
光源装置及び内視鏡システム Download PDFInfo
- Publication number
- WO2019039354A1 WO2019039354A1 PCT/JP2018/030291 JP2018030291W WO2019039354A1 WO 2019039354 A1 WO2019039354 A1 WO 2019039354A1 JP 2018030291 W JP2018030291 W JP 2018030291W WO 2019039354 A1 WO2019039354 A1 WO 2019039354A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- color
- illumination light
- unit
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- CBQAACXHLISDSO-UHFFFAOYSA-N CCC1=CCC=C1 Chemical compound CCC1=CCC=C1 CBQAACXHLISDSO-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3137—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for examination of the interior of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4887—Locating particular structures in or on the body
- A61B5/489—Blood vessels
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0653—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Definitions
- the present invention relates to a light source device and an endoscope system which emit light by switching a plurality of types of illumination light.
- an endoscope system provided with a light source device, an endoscope, and a processor device is widely used.
- the observation target is irradiated with illumination light from the endoscope, and the observation target under illumination by the illumination light is imaged based on an RGB image signal obtained by imaging with the imaging device of the endoscope. Display the image of on the monitor.
- the spectrum of illumination light to be used is also switched according to the observation target.
- two types of violet laser light and blue laser light are irradiated to the phosphor to generate illumination light, and when observing superficial blood vessels distributed at a relatively shallow position of the mucous membrane, The observation target is illuminated with illumination light in which the emission ratio of the violet laser light is higher than that of the blue laser light to increase the ratio of the violet laser light.
- observation is performed using illumination light in which the ratio of emission of blue laser light is higher than that of violet laser light to increase the ratio of green and red fluorescence. It illuminates the subject.
- An object of the present invention is to provide a light source device and an endoscope system capable of switching a plurality of illumination lights without a user's instruction.
- the light source device of the present invention has a light source unit and a light source control unit.
- the light source unit has a first red band, a first illumination light for highlighting a first blood vessel, a second red band, and a second for highlighting a second blood vessel different from the first blood vessel. 2 Emit illumination light.
- the light source control unit causes the first illumination light and the second illumination light to emit light in light emission periods of at least two frames or more, and automatically switches the first illumination light and the second illumination light.
- the first illumination light preferably has a peak of 400 nm or more and 440 nm or less.
- the second illumination light preferably has an intensity ratio of at least one of 540 nm, 600 nm, and 630 nm greater than that of the first illumination light.
- the light source unit emits third illumination light different from the first illumination light and the second illumination light, and the light source control unit emits the third illumination light at the timing of switching between the first illumination light and the second illumination light.
- the light source control unit preferably includes a light emission period setting unit that sets a light emission period of the first illumination light and a light emission period of the second illumination light.
- the first illumination light has a first green band and a first blue band in addition to the first red band
- the second illumination light has a second green band in addition to the second red band. And preferably have a second blue band.
- An endoscope system of the present invention comprises the light source device of the present invention described above, an image acquisition unit, and a display unit.
- the image acquisition unit acquires a first image obtained by imaging the observation target illuminated by the first illumination light and a second image acquired by imaging the observation target illuminated by the second illumination light.
- the display unit displays the first image and the second image in color or monochrome.
- An endoscope system of the present invention includes the light source device of the present invention described above, an image acquisition unit, and a specific color adjustment unit.
- the image acquisition unit acquires a first image obtained by imaging the observation target illuminated by the first illumination light and a second image acquired by imaging the observation target illuminated by the second illumination light.
- the specific color adjustment unit adjusts the color of the first image and the second image.
- the specific color adjustment unit matches the color of the mucous membrane included in the first image or the color of the mucous membrane included in the second image with the color of the target.
- the specific color adjustment unit matches the color of the mucous membrane included in the first image or the color of the mucous membrane included in the second image with the color of the target corresponding to the part. Is preferred.
- An endoscope system of the present invention includes the light source device of the present invention described above, an image acquisition unit, a specific color adjustment unit, and a color tone instruction reception unit.
- the image acquisition unit acquires a first image obtained by imaging the observation target illuminated by the first illumination light and a second image acquired by imaging the observation target illuminated by the second illumination light.
- the specific color adjustment unit adjusts the color of the first image and the second image.
- the color adjustment instruction receiving unit receives, from the user, a color adjustment instruction regarding adjustment of the color of the mucous membrane, the color of the first blood vessel, or the color of the second blood vessel.
- the specific color adjustment unit adjusts the color of the mucous membrane, the color of the first blood vessel, or the color of the second blood vessel according to the color adjustment instruction.
- An endoscope system of the present invention includes the light source device of the present invention described above, an image acquisition unit, and a specific color adjustment unit.
- the image acquisition unit acquires a first image obtained by imaging the observation target illuminated by the first illumination light and a second image acquired by imaging the observation target illuminated by the second illumination light.
- the specific color adjustment unit adjusts the color of the first image and the second image.
- the specific color adjustment unit matches the color of the mucous membrane included in the first image with the color of the mucous membrane included in the second image.
- An endoscope system of the present invention includes the light source device of the present invention described above, an image acquisition unit, and a color expansion processing unit.
- the image acquisition unit acquires a first image obtained by imaging the observation target illuminated by the first illumination light and a second image acquired by imaging the observation target illuminated by the second illumination light.
- the color expansion processing unit performs, on the first image and the second image, a color expansion process to increase the difference between a plurality of ranges included in the observation target. It is preferable to have a part setting unit for setting a part under observation, and to adjust the result of the color expansion processing with adjustment parameters defined for each part.
- An endoscope system of the present invention includes the light source device of the present invention described above, an image acquiring unit, a frequency emphasizing unit, and an image combining unit.
- the image acquisition unit acquires a first image obtained by imaging the observation target illuminated by the first illumination light and a second image acquired by imaging the observation target illuminated by the second illumination light.
- the frequency emphasizing unit obtains, from the first image and the second image, a frequency emphasized image in which a frequency component corresponding to a specific range included in the observation target is emphasized.
- the image combining unit combines the first image or the second image with the frequency enhanced image to obtain the first image or the second image subjected to the structure enhancement processing in which the specific range is enhanced in structure. It is preferable to have a part setting unit for setting a part under observation, and to adjust pixel values of the structure-emphasized first image or second image according to adjustment parameters determined for each part.
- switching of a plurality of illumination lights can be performed without a user's instruction.
- FIG. 6 is an explanatory view showing switching display of a first special image and a second special image of color. It is explanatory drawing which shows the 3rd special image displayed at the time of switching of a 1st special image and a 2nd special image.
- FIG. 8 is an explanatory view showing switching display of a first special image and a second special image of monochrome.
- FIG. 7 is a block diagram showing a first special image processing unit and a second special image processing unit using a B / G ratio and a G / R ratio.
- FIG. 7 is an explanatory view showing first to fifth ranges distributed in a signal ratio space. It is an explanatory view showing a radius change range Rm. It is a graph which shows the relationship between radius r and radius Rx (r) after saturation emphasis processing. It is an explanatory view showing angle change range Rn. It is a graph which shows the relationship between angle (theta) and angle Fx ((theta)) after a hue emphasis process.
- FIG. 14 is an explanatory view showing a distribution of first to fifth ranges before and after the saturation enhancement processing and the hue enhancement processing in the signal ratio space.
- 10 is an explanatory view showing a distribution of first to fifth ranges before and after saturation enhancement processing and hue enhancement processing in ab space; It is a block diagram which shows the function of the structure emphasis part using B / G ratio and G / R ratio.
- 6 is a table showing the relationship between B / G ratio, G / R ratio, and synthesis ratio g1 (B / G ratio, G / R ratio) to g4g1 (B / G ratio, G / R ratio).
- It is a flowchart which shows the flow of multi observation mode.
- It is a block diagram which shows the function of a 1st special image process part and 2nd special image process part which uses color difference signal Cr and Cb.
- FIG. 6 is an explanatory view showing first to fifth ranges distributed in a CrCb space.
- FIG. 10 is an explanatory view showing a distribution of first to fifth ranges before and after the saturation enhancement processing and the hue enhancement processing in the CrCb space. It is a block diagram which shows the function of the structure emphasizing part which uses color difference signal Cr and Cb.
- FIG. 5 is a block diagram showing functions of a first special image processing unit and a second special image processing unit using hue H and saturation S.
- FIG. 7 is an explanatory view showing first to fifth ranges distributed in a HS space.
- FIG. 14 is an explanatory view showing a distribution of first to fifth ranges before and after the saturation enhancement processing and the hue enhancement processing in the HS space.
- the endoscope system 10 includes an endoscope 12, a light source device 14, a processor device 16, a monitor 18, and a console 19.
- the endoscope 12 is optically connected to the light source device 14 and electrically connected to the processor device 16.
- the endoscope 12 includes an insertion portion 12a to be inserted into a subject, an operation portion 12b provided at a proximal end portion of the insertion portion 12a, a bending portion 12c provided at the distal end side of the insertion portion 12a, and a distal end portion 12d. have.
- the angle knob 12e of the operation portion 12b By operating the angle knob 12e of the operation portion 12b, the bending portion 12c performs a bending operation.
- the tip 12d is directed in a desired direction along with this bending operation.
- the console 19 includes a mouse as well as the illustrated keyboard.
- the operation unit 12b is provided with a mode switching switch 13a.
- the mode switching SW 13a is used to switch between the normal observation mode, the first special observation mode, the second special observation mode, and the multi observation mode.
- the normal observation mode is a mode in which a normal image is displayed on the monitor 18.
- the first special observation mode is a mode in which a first special image in which a superficial blood vessel (first blood vessel) is emphasized is displayed on the monitor 18.
- the second special observation mode is a mode in which a second special image in which a deep blood vessel (second blood vessel) is emphasized is displayed on the monitor 18.
- the multi-observation mode is a mode in which the first special image and the second special image are automatically switched and displayed on the monitor 18.
- a foot switch may be used as the mode switching unit for switching the mode, in addition to the mode switching switch 13a.
- the processor unit 16 is electrically connected to the monitor 18 and the console 19.
- the monitor 18 outputs and displays image information and the like.
- the console 19 functions as a UI (User Interface: user interface) that receives an input operation such as function setting.
- UI User Interface: user interface
- an external recording unit (not shown) that records image information and the like may be connected to the processor device 16.
- the light source device 14 includes a light source unit 20, a light source control unit 21, and an optical path coupling unit 23.
- the light source unit 20 includes a V-LED (Violet Light Emitting Diode) 20a, a B-LED (Blue Light Emitting Diode) 20b, a G-LED (Green Light Emitting Diode) 20c, and an R-LED (Red Light Emitting Diode) 20d. doing.
- the light source control unit 21 controls the drive of the LEDs 20a to 20d.
- the optical path coupling unit 23 couples the optical paths of the four color lights emitted from the four color LEDs 20a to 20d.
- the light coupled by the optical path coupling unit 23 is irradiated into the subject via the light guide 41 and the illumination lens 45 inserted into the insertion unit 12 a.
- LD Laser Diode
- the V-LED 20a generates violet light V having a center wavelength of 405 ⁇ 10 nm and a wavelength range of 380 to 420 nm.
- the B-LED 20b generates blue light B having a central wavelength of 460 ⁇ 10 nm and a wavelength range of 420 to 500 nm.
- the G-LED 20c generates green light G having a wavelength range of 480 to 600 nm.
- the R-LED 20d generates red light R having a central wavelength of 620 to 630 nm and a wavelength range of 600 to 650 nm.
- the light source control unit 21 performs control to light the V-LED 20a, the B-LED 20b, the G-LED 20c, and the R-LED 20d in any observation mode.
- the light source control unit 21 emits normal light in which the light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R becomes Vc: Bc: Gc: Rc in the normal observation mode. Control each of the LEDs 20a to 20d.
- the light source control unit 21 is a first illumination light in which the light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R is Vs1: Bs1: Gs1: Rs1 in the first special observation mode. Control each of the LEDs 20a to 20d.
- the first illumination light preferably has a peak at 400 nm or more and 440 nm or less in order to emphasize superficial blood vessels. Therefore, as shown in FIG. 4, the first illumination light has a light intensity ratio such that the light intensity of the violet light V is larger than the light intensities of the other blue light B, green light G, and red light R.
- Vs1: Bs1: Gs1: Rs1 is set (Vs1> Bs1, Gs1, Rs1).
- the first illumination light has a first red band such as red light R, the color of the mucous membrane can be accurately reproduced. Furthermore, since the first illumination light includes the first blue band and the first green band such as purple light V, blue light B, and green light G, in addition to the superficial blood vessels as described above, Various structures such as glandular structures and irregularities can also be emphasized.
- the light source control unit 21 is a second illumination light in which the light intensity ratio among the violet light V, the blue light B, the green light G, and the red light R is Vs2: Bs2: Gs2: Rs2 in the second special observation mode. Control each of the LEDs 20a to 20d.
- the second illumination light preferably has an intensity ratio of at least one of 540 nm, 600 nm, and 630 nm greater than that of the first illumination light in order to emphasize deep blood vessels.
- the second illumination light has a green light G or red light R compared to the blue light B, green light G, and red light R in the first illumination light.
- the light intensity ratio Vs2: Bs2: Gs2: Rs2 is set to increase.
- the second illumination light has a second red band such as red light R, the color of the mucous membrane can be accurately reproduced.
- the second illumination light has the second blue band and the second green band such as purple light V, blue light B, and green light G, in addition to the above deep blood vessels, Various structures such as irregularities can also be emphasized.
- the light source control unit 21 When the light source control unit 21 is set to the multi observation mode, the light source control unit 21 emits the first illumination light and the second illumination light in emission periods of two or more frames, and the first illumination light and the second illumination light. Control is performed to automatically switch the illumination light and emit light. For example, if the light emission period of the first illumination light is 2 frames and the light emission period of the second illumination light is 3 frames, as shown in FIG. The second illumination light is emitted for three consecutive frames.
- the light emission period of the first illumination light and the light emission period of the second illumination light are set to a period of at least two frames or more.
- frame is a unit for controlling the imaging sensor 48 for imaging an observation target, for example, "one frame” is an exposure period and an image for exposing the imaging sensor 48 with light from the observation target. It refers to a period including at least a reading period for reading out a signal.
- the light emission period is determined corresponding to the “frame” which is a unit of imaging.
- the light emission period of the first illumination light and the light emission period of the second illumination light can be appropriately changed by the light emission period setting unit 24 connected to the light source control unit 21.
- the light emission period setting unit 24 displays a light emission period setting menu shown in FIG. 7 on the monitor 18.
- the emission period of the first illumination light can be changed, for example, between 2 and 10 frames. Each light emission period is assigned on the slide bar 26a.
- the console 19 When changing the light emission period of the first illumination light, the console 19 is operated to align the slider 27a with the position indicating the light emission period to be changed on the slide bar 26a, whereby the light emission period of the first illumination light is Be changed. Also for the light emission period of the second illumination light, operate the console 19 to position the slider 27b at the position indicating the light emission period to be changed on the slide bar 26b (for example, the light emission period of 2 frames to 10 frames is allocated) By combining, the light emission period of the second illumination light is changed.
- the light source control unit 21 When the light source control unit 21 is set to the multi-observation mode, the light source control unit 21 changes the timing from the first illumination light to the second illumination light, or at the timing to switch the second illumination light to the first illumination light.
- a third illumination light different from the first illumination light and the second illumination light may be emitted.
- the third illumination light preferably emits at least one frame or more.
- the light intensity ratio Vs3: Bs3: Gs3: Rs3 of the third illumination light is the light intensity ratio Vs1: Bs1: Gs1: Rs1 of the first illumination light and the light intensity ratio Vs2: Bs2: Gs2: Rs2 of the second illumination light.
- the light guide 41 is built in the endoscope 12 and the universal cord (a cord for connecting the endoscope 12 with the light source device 14 and the processor device 16), and The combined light propagates to the tip 12 d of the endoscope 12.
- a multimode fiber can be used.
- An illumination optical system 30 a and an imaging optical system 30 b are provided at the distal end 12 d of the endoscope 12.
- the illumination optical system 30 a has an illumination lens 45, and the light from the light guide 41 is irradiated to the observation target via the illumination lens 45.
- the imaging optical system 30 b has an objective lens 46 and an imaging sensor 48. Reflected light from the observation target is incident on the imaging sensor 48 through the objective lens 46. Thereby, a reflection image of the observation target is formed on the imaging sensor 48.
- the imaging sensor 48 is a color imaging sensor, captures a reflection image of the subject, and outputs an image signal.
- the imaging sensor 48 is preferably a CCD (Charge Coupled Device) imaging sensor, a CMOS (Complementary Metal-Oxide Semiconductor) imaging sensor, or the like.
- the imaging sensor 48 used in the present invention is a color imaging sensor for obtaining RGB image signals of three colors of R (red), G (green) and B (blue), that is, R pixels provided with an R filter. It is a so-called RGB imaging sensor provided with G pixels provided with G filters and B pixels provided with B filters.
- the imaging sensor 48 is a so-called complementary color imaging sensor provided with complementary color filters of C (cyan), M (magenta), Y (yellow) and G (green) instead of RGB color imaging sensors. It is good.
- CMYG four-color image signals are output, it is necessary to convert the CMYG four-color image signals to RGB three-color image signals by complementary-primary color conversion.
- the imaging sensor 48 may be a monochrome imaging sensor provided with no color filter. In this case, it is necessary for the light source control unit 21 to turn on the blue light B, the green light G, and the red light R in a time division manner, and to add the synchronization processing in the processing of the imaging signal.
- the image signal output from the imaging sensor 48 is transmitted to the CDS / AGC circuit 50.
- the CDS-AGC circuit 50 performs correlated double sampling (CDS (Correlated Double Sampling)) and automatic gain control (AGC (Auto Gain Control)) on an image signal which is an analog signal.
- CDS Correlated Double Sampling
- AGC Automatic gain control
- the image signal passed through the CDS-AGC circuit 50 is converted into a digital image signal by an A / D converter (A / D (Analog / Digital) converter) 52.
- a / D converted digital image signal is input to the processor unit 16.
- the processor unit 16 corresponds to a medical image processing apparatus that processes a medical image such as an image obtained by the endoscope 12.
- the processor unit 16 includes an image acquiring unit 53, a DSP (Digital Signal Processor) 56, a noise removing unit 58, a signal switching unit 60, a normal image processing unit 62, a first special image processing unit 63, A second special image processing unit 64, a third special image processing unit 65, and a video signal generation unit 66 are provided.
- the digital color image signal from the endoscope 12 is input to the image acquisition unit 53.
- the color image signal is composed of an R image signal output from an R pixel of the imaging sensor 48, a G image signal output from a G pixel of the imaging sensor 48, and a B image signal output from a B pixel of the imaging sensor 48. It is an RGB image signal comprised.
- the DSP 56 performs various signal processing such as defect correction processing, offset processing, gain correction processing, linear matrix processing, gamma conversion processing, or demosaicing processing on the received image signal.
- defect correction process the signal of the defective pixel of the imaging sensor 48 is corrected.
- offset process the dark current component is removed from the RGB image signal subjected to the defect correction process, and an accurate zero level is set.
- gain correction process the signal level is adjusted by multiplying the RGB image signal after the offset process by a specific gain.
- the RGB image signal after the gain correction processing is subjected to linear matrix processing to improve color reproducibility. After that, brightness and saturation are adjusted by gamma conversion processing.
- the RGB image signal after linear matrix processing is subjected to demosaicing processing (also referred to as isotropic processing and synchronization processing), and a signal of a color lacking in each pixel is generated by interpolation.
- demosaicing processing also referred to as isotropic processing and synchronization processing
- all pixels have signals of RGB colors.
- the noise removing unit 58 removes noise from the RGB image signal by performing a noise removing process (for example, a moving average method, a median filter method, or the like) on the RGB image signal subjected to gamma correction or the like by the DSP 56.
- a noise removing process for example, a moving average method, a median filter method, or the like
- the RGB image signal from which the noise has been removed is transmitted to the signal switching unit 60.
- the signal switching unit 60 transmits the RGB image signal to the normal image processing unit 62 when the normal observation mode is set by the mode switching SW 13 a.
- the RGB image signal is transmitted to the first special image processing unit 63.
- the second special observation mode is set, the RGB image signal is transmitted to the second special image processing unit 64.
- the multi-observation mode is set, the RGB image signal obtained by the illumination and imaging of the first illumination light is transmitted to the first special image processing unit 63, and the illumination and imaging of the second illumination light are performed.
- the obtained RGB image signal is transmitted to the second special image processing unit 64, and the RGB image signal obtained by the illumination and imaging of the third illumination light is transmitted to the third special image processing unit 65.
- the normal image processing unit 62 performs image processing for a normal image on the RGB image signal obtained in the normal observation mode.
- the image processing for the normal image includes, for example, structure enhancement processing for the normal image.
- the RGB image signal subjected to the image processing for the normal image is input from the normal image processing unit 62 to the video signal generation unit 66 as a normal image.
- the first special image processing unit 63 performs saturation enhancement processing, hue enhancement processing, and structure enhancement processing based on the illumination of the first illumination light and the first RGB image signal (first image) obtained at the time of imaging.
- the first special image is generated.
- the process performed by the first special image processing unit 63 includes a process for emphasizing a superficial blood vessel. In the first special image, in addition to the enhancement of the superficial blood vessels, the color difference between a plurality of ranges included in the observation target is expanded. In the first special image, structures in a plurality of ranges included in the observation target are emphasized. Details of the first special image processing unit 63 will be described later.
- the first special image generated by the first special image processing unit 63 is input to the video signal generation unit 66.
- the second special image processing unit 64 performs saturation enhancement processing, hue enhancement processing, and structure enhancement processing based on the illumination of the second illumination light and the second RGB image signal (second image) obtained at the time of imaging. Generate a second special image.
- the second special image processing unit 64 has a processing unit similar to the first special image processing unit 63, but the content of the processing is different from that of the first special image processing unit 63.
- the process performed by the second special image processing unit 64 includes a process for emphasizing a deep blood vessel, instead of the process for emphasizing a superficial blood vessel.
- the color difference between a plurality of ranges included in the observation target is expanded.
- structures in a plurality of ranges included in the observation target are emphasized. Details of the second special image processing unit 64 will be described later.
- the second special image generated by the second special image processing unit 64 is input to the video signal generation unit 66.
- the third special image processing unit 65 performs saturation enhancement processing, hue enhancement processing, and structure enhancement processing based on the illumination of the third illumination light and the third RGB image signal (third image) obtained at the time of imaging. Generate a third special image.
- the third special image processing unit 65 has the same processing unit as the first special image processing unit 63, but the processing content is different from that of the first special image processing unit 63.
- the process performed by the third special image processing unit 65 includes a process for emphasizing the blood vessel in the middle layer between the surface layer and the deep layer, instead of the process for emphasizing the surface blood vessel.
- the color difference between the plurality of ranges included in the observation target is expanded.
- structures in a plurality of ranges included in the observation target are emphasized. Details of the third special image processing unit 65 will be described later.
- the third special image generated by the third special image processing unit 65 is input to the video signal generation unit 66.
- the video signal generation unit 66 is configured to receive the normal image, the first special image, the first special image, and the first image input from the normal image processing unit 62, the first special image processing unit 63, the second special image processing unit 64, or the third special image processing unit 65. 2 Convert the special image or the third special image into a video signal to be displayed as an image that can be displayed on the monitor 18. Based on this video signal, the monitor 18 displays a normal image, a first special image, a second special image, or a third special image.
- the first special image when the first special image is displayed on the monitor 18, the surface blood vessels of the first color are emphasized and displayed on the first special image, as shown in FIG.
- the second special image is displayed on the monitor 18, the deep blood vessel of the second color is emphasized and displayed on the second special image, as shown in FIG.
- the first and second colors are different.
- the color first special image and the second special image are switched according to the light emission period of the first illumination light and the light emission period of the second illumination light. It is displayed on the monitor 18. That is, when the light emission period of the first illumination light is 2 frames and the light emission period of the second illumination light is 3 frames, the first special image is displayed continuously for 2 frames, and the second special image is 3 The frame is displayed continuously.
- first special image and second special image can be automatically switched and displayed without the user operating the mode switching SW 13a.
- first special image in which the superficial blood vessels are suppressed and the deep blood vessels are emphasized
- second special image in which the superficial blood vessels are suppressed and by switching them
- the first special image and the second special image are images obtained based on the illumination light including the red band, respectively, it is possible to reproduce the mucous membrane with a white color tone close to that of the normal light. Therefore, the first special image and the second special image displayed in the multi-observation mode hardly give a sense of discomfort to the user because the color tone of the normal image and the mucous membrane is almost the same. As a result, the user can learn for the multiple observation mode in a relatively short period of time. Further, by switching and displaying the first special image and the second special image, it is possible to grasp how the blood vessel has risen from the deep blood vessel to the superficial blood vessel.
- a third special image obtained by illumination and imaging of the third illumination light is displayed on the monitor 18.
- this third special image in addition to both superficial blood vessels and deep blood vessels, blood vessels in the middle layer between the superficial and deep layers are displayed.
- the display of the third special image makes the color change gentler, so that the user can feel less discomfort.
- the first special image and the second special image are displayed in color, but instead, as shown in FIG. 13, the first special image and the second special image are monochrome. It may be displayed.
- the change in color of portions other than blood vessels such as superficial blood vessels and deep blood vessels hardly occurs. This enables the user to focus on and observe blood vessels of different depths such as superficial blood vessels and deep blood vessels without feeling discomfort when switching between the first special image and the second special image.
- the first special image processing unit 63 includes an inverse gamma conversion unit 70, a specific color adjustment unit 71, a Log conversion unit 72, a signal ratio calculation unit 73, a polar coordinate conversion unit 75, Degree emphasis processing unit 76, hue emphasis processing unit 77, orthogonal coordinate conversion unit 78, RGB conversion unit 79, brightness adjustment unit 81, structure emphasis unit 82, inverse Log conversion unit 83, gamma conversion unit And 84 are provided.
- a site setting unit 86 is provided which sets the site currently under observation.
- the site setting unit 86 may set the site currently being observed (for example, esophagus, stomach, large intestine) by the console 19, or automatically recognizes a site from the image obtained during the current observation. May be
- the inverse gamma conversion unit 70 performs inverse gamma conversion on the first RGB image signal obtained at the time of illumination and imaging of the first illumination light. Since the first RGB image signal after the inverse gamma conversion is a linear reflectance first RGB signal with respect to the reflectance from the sample, signals related to various biological information of the sample among the first RGB image signal are occupied The proportion will increase.
- the reflectance linear first R image signal is an R1x image signal
- the reflectance linear first G image signal is a G1x image signal
- the reflectance linear first B image signal is a B1x image signal.
- the specific color adjustment unit 71 automatically adjusts the color of the mucous membrane included in the observation target based on the region set by the region setting unit 86, the R1x image signal, the G1x image signal, and the B1x image signal. Apply mucosal color balance processing.
- the first mucosal color balance processing is automatically adjusted by, for example, the following D1) to D3) so that the average color of the entire screen becomes a specific color balance.
- R1ave represents the average pixel value of R1x image signal (the sum of pixel values of the entire screen (effective pixel) / the number of effective pixels).
- G1ave represents the average pixel value of the G1x image signal (the sum of pixel values of the entire screen (effective pixels) / the number of effective pixels).
- B1ave represents the average pixel value of the B1x image signal (the sum of the pixel values of the entire screen (effective pixels) / the number of effective pixels).
- a coefficient is represented
- the esophagus correction coefficients ⁇ _0, ⁇ _0, and ⁇ _0 are used in the calculation of the equations D1) to D3).
- the color of the mucous membrane can be matched to the target color corresponding to the esophagus.
- the correction coefficients ⁇ _1, ⁇ _1, and ⁇ _1 for the stomach are used in the calculations of the expressions D1) to D3).
- the color of the mucous membrane can be adapted to the target color corresponding to the stomach.
- ⁇ _2, ⁇ _2, and ⁇ _2 which are correction coefficients for the large intestine, are used in the calculations of the above formulas D1) to D3).
- the color of the mucous membrane can be adapted to the color of the target corresponding to the large intestine.
- the specific color adjustment unit 71 may manually adjust the mucous membrane color instead of automatically performing the first mucous membrane color balance process.
- a mucosal color adjustment menu for adjusting the mucosal color is displayed on the monitor 18, and an instruction (color adjustment instruction) for adjusting the mucosal color to the target color from the console 19 (color adjustment instruction receiving unit) Accept).
- the specific color adjustment unit 71 adjusts the pixel values of the R1x image signal, the G1x image signal, and the B1x image signal so that the mucous membrane color matches the target color.
- the correspondence between the operation amount by the console 19 and the adjustment amount of the pixel value of the R1x image signal, the G1x image signal, and the B1x image signal for adjusting the mucous membrane color to the target color is set in advance.
- the specific color adjustment unit 71 may manually adjust the superficial blood vessel or the deep blood vessel.
- a blood vessel color adjustment menu for adjusting the superficial blood vessel or deep blood vessel is displayed on the monitor 18, and the superficial blood vessel or deep blood vessel is adjusted to the target color from the console 19 (color adjustment instruction receiving unit).
- the correspondence between the operation amount by the console 19 and the adjustment amount of the pixel value of the R1x image signal, the G1x image signal, and the B1x image signal for adjusting the superficial blood vessel or the deep blood vessel to the target color is set in advance. There is.
- the specific color adjustment unit 71 performs the second mucous membrane performed by the specific color adjustment unit 90 of the second special image processing unit 64 in order to match the mucous membrane color of the first special image and the mucous membrane color of the second special image.
- the first mucous membrane color balance process may be performed using the result of the color balance process.
- R2ave, G2ave, and B2ave obtained by the second mucous membrane color balance treatment are used instead of R1ave, G1ave, and B1ave.
- the mucosal color of the first special image and the mucosal color of the second special image can be matched.
- the mucous membrane color of the first special image and the mucous membrane color of the second special image match means that the mucous membrane color of the first special image and the mucous membrane color of the second special image completely match.
- the color difference between the mucous membrane color of the first special image and the mucous membrane color of the second special image is within a certain range.
- R1ave, G1ave, and B1ave obtained by the specific color adjustment unit 71 are specified. It is transmitted to the color adjustment unit 90.
- the Log conversion unit 72 performs Log conversion on each of the R1x image signal, the G1x image signal, and the B1x image signal that has passed through the specific color adjustment unit 71. As a result, a Log-transformed Rx image signal (logR1x), a Log-transformed G1x image signal (logG1x), and a Log-transformed B1x image signal (logB1x) are obtained.
- the G / R ratio is the same as the B / G ratio, in which “ ⁇ log” and “1x” are omitted from ⁇ log (G / R).
- the B / G ratio and the G / R ratio are determined for each pixel from the pixel values of the pixels at the same position in the R1x image signal, the G1x image signal, and the B1x image signal. Also, the B / G ratio and the G / R ratio are determined for each pixel.
- the B / G ratio is correlated with the blood vessel depth (the distance from the mucosal surface to the position where a specific blood vessel is located), when the blood vessel depth is different, the B / G ratio also fluctuates accordingly.
- the G / R ratio is correlated with the blood volume (hemoglobin index), when there is a change in blood volume, the G / R ratio also fluctuates accordingly.
- the polar coordinate conversion unit 75 converts the B / G ratio and the G / R ratio obtained by the signal ratio calculation unit 73 into a radius vector r and an angle ⁇ . In the polar coordinate conversion unit 75, conversion to the radius r and the angle ⁇ is performed for all the pixels.
- the saturation enhancement processing unit 76 performs saturation enhancement processing to increase the saturation difference between a plurality of ranges included in the observation target by expanding or compressing the radius r. Details of the saturation emphasis processing unit 76 will be described later.
- the hue emphasis processing unit 77 performs hue emphasis processing to increase the hue difference between a plurality of ranges by expanding or compressing the angle ⁇ . The details of the hue emphasizing processing unit 77 will also be described later.
- the saturation enhancement processing unit 76 and the hue enhancement processing unit 77 function as a color expansion processing unit that increases the color difference between the plurality of ranges.
- the orthogonal coordinate conversion unit 78 converts the radius r and the angle ⁇ after the saturation enhancement processing and the hue enhancement processing into orthogonal coordinates. By this, it is converted to the angle expanded / compressed B / G ratio and G / R ratio.
- the RGB conversion unit 79 uses the image signal of at least one of the R1x image signal, the G1x image signal, and the B1x image signal to perform the B / G ratio and the G / R ratio after the saturation enhancement processing and the hue enhancement processing. Are converted into R1y image signal, G1y image signal, and B1y image signal.
- the RGB conversion unit 79 converts the B / G ratio into the B1y image signal by performing an operation based on the Gx image signal and the B / G ratio among the R1x image signal, the G1x image signal, and the B1x image signal. . Further, the RGB conversion unit 79 converts the G / R ratio into an R1y image signal by performing an operation based on the G1x image signal and the G / R ratio among the first RGB image signals. In addition, the RGB conversion unit 79 outputs the G1x image signal as a G1y image signal without performing special conversion.
- the brightness adjustment unit 81 uses the R1x image signal, the G1x image signal, the B1x image signal, the R1y image signal, the G1y image signal, and the B1y image signal to generate the R1y image signal, the G1y image signal, and the B1y image signal. Adjust the pixel value.
- the brightness adjustment unit 81 adjusts the pixel values of the R1y image signal, the G1y image signal, and the B1y image signal for the following reasons.
- the R1y image signal, the G1y image signal, and the B1y image signal obtained by the saturation enhancement processing unit 76 and the hue enhancement processing unit 77 by expanding and compressing the color region are the R1x image signal, the G1x image signal, and the B1x image.
- the brightness adjustment unit 81 adjusts the pixel values of the R1y image signal, the G1y image signal, and the B1y image signal to adjust the brightness adjusted R1y image signal, the G1y image signal, and the B1y image signal as the R1x image signal. , G1x image signal, and B1x image signal to have the same brightness.
- the brightness adjustment unit 81 calculates a first brightness information Yin based on the R1x image signal, the G1x image signal, and the B1x image signal, a first brightness information calculation unit 81a, an R1y image signal, a G1y image signal, and a B1y. And a second brightness information calculation unit 81b for obtaining the second brightness information Yout based on the image signal.
- the first brightness information calculation unit 81a calculates the first brightness information Yin according to an arithmetic expression of “pixel value of kr ⁇ R1x image signal + kg ⁇ G1x image signal pixel value + kb ⁇ B1x image signal pixel value”. .
- the second brightness information calculation unit 81b calculates the second brightness information Yout according to the same arithmetic expression as that described above.
- the brightness adjustment unit 81 performs an operation based on the following expressions E1) to E3) to obtain the R1y image signal, the G1y image signal, and the B1y image signal. Adjust the pixel value of the image signal.
- the structure emphasizing unit 82 performs structure emphasizing processing on the R1y image signal, the G1y image signal, and the B1y image signal that have passed through the brightness adjusting unit 81. Details of the structure emphasizing unit 82 will be described later.
- the inverse Log conversion unit 83 performs inverse log conversion on the R1y image signal, the G1y image signal, and the B1y image signal that have passed through the structure emphasizing unit 82. As a result, an R1y image signal having a true pixel value, a G1y image signal, and a B1y image signal are obtained.
- the gamma conversion unit 84 performs gamma conversion on the image signal that has passed through the inverse Log conversion unit 83.
- an R1y image signal, a G1y image signal, and a B1y image signal having gradations suitable for an output device such as the monitor 18 can be obtained.
- the R1y image signal, the G1y image signal, and the B1y image signal that have passed through the gamma conversion unit 84 are sent to the video signal generation unit 66.
- the first range including normal mucous membranes, the second range including atrophy mucous membranes, and the second The third range including deep blood vessels (hereinafter referred to simply as deep vessels), the fourth range including BA (Brownish Area), and the fifth color range including redness are enlarged.
- the first quadrant of the signal ratio space (feature space) formed by the B / G ratio and the G / R ratio the first range of normal mucous membrane is distributed approximately at the center.
- the second range of the atrophied mucosa is located on the slightly clockwise side (the negative direction side described later) with respect to the reference line SL passing the first range of the normal mucosa, and at the origin than the first range of the normal mucosa. It is distributed at a close position.
- the third range of deep blood vessels is distributed on the clockwise direction side (the negative direction side described later) with respect to the reference line SL.
- the fourth range of BA is distributed on the slightly counterclockwise direction side (plus direction side described later) with respect to the reference line SL.
- the fifth range of reddening is distributed on the clockwise direction side (the negative direction side described later) with respect to the reference line SL.
- the fourth range of BA and the fifth range of redness are distributed at a position farther from the origin than the first range of normal mucous membrane.
- a normal mucous membrane is included in a normal part of an observation target, and atrophied mucous membrane, deep blood vessels, BA, and redness are included in an abnormal part of the observation target.
- the reference line SL corresponds to the hue reference line SLh described later.
- the saturation enhancement processing unit 76 changes the radius r indicated by the coordinates within the radius change range Rm in the signal ratio space, while the coordinates outside the radius change range Rx are changed.
- the radius r is not changed.
- the radius r is in the range from “r1” to “r2” (r1 ⁇ r2).
- the saturation reference line SLs is set on the radius vector rc between the radius vector r1 and the radius vector r2.
- the range rcr1 (r1 ⁇ r ⁇ rc) in which the radius r is smaller than the radius rc indicated by the saturation reference line SLs is a low saturation range. It is assumed.
- a range rcr2 (rc ⁇ r ⁇ r2) in which the radius r is larger than the radius rc indicated by the saturation reference line SLs is taken as the high saturation range.
- the saturation emphasizing process performed by the saturation emphasizing processing unit 76 outputs the radius of motion Rx (r) to the input of the radius of motion r of the coordinates included in the radius of radius change range Rm.
- the relationship between input and output by this saturation enhancement processing is represented by a solid line.
- the saturation enhancement process makes the output Rx (r) smaller than the input r in the low saturation range rcr1, and makes the output Rx (r) larger than the input r in the high saturation range rcr2.
- the slope Kx in Rx (rc) is set to “1” or more. This makes it possible to lower the saturation of the observation target included in the low saturation range while increasing the saturation of the observation target included in the high saturation range.
- Such saturation enhancement can increase the saturation difference between a plurality of ranges.
- the saturation enhancement processing which is one of the color expansion processing, according to the adjustment parameter defined for each region.
- the saturation is adjusted by the adjustment parameter determined for each part.
- the adjustment parameter P0 for the esophagus is multiplied by Rx (r) to adjust the saturation.
- the stomach is set in the site setting unit 86
- the stomach adjustment parameter P1 is multiplied by Rx (r) to adjust the saturation.
- the adjustment parameter P2 for the large intestine is multiplied by Rx (r) to adjust the saturation.
- the hue emphasis processing unit 77 changes the angle ⁇ indicated by the coordinates within the angle change range Rn in the signal ratio space, while changing the angle ⁇ for coordinates outside the angle change range Rn. Do not do.
- the angle change range Rn includes a range of the angle ⁇ 1 in the counterclockwise direction (plus direction) from the hue reference line SLh and a range of the angle ⁇ 2 in the clockwise direction (minus direction) from the hue reference line SLh.
- the angle ⁇ of the coordinates included in the angle change range Rn is redefined as an angle ⁇ with respect to the hue reference line SLh. Since the hue also changes when the angle ⁇ changes, the range of the angle ⁇ 1 in the angle change range Rn is set as the plus hue range ⁇ 1 and the range of the angle ⁇ 2 is set as the minus hue range ⁇ 2.
- the angle Fx ( ⁇ ) is output with respect to the input of the angle ⁇ of the coordinates included in the angle change range Rn.
- the relationship between input and output by the first hue emphasis processing is represented by a solid line.
- the hue emphasizing processing makes the output Fx ( ⁇ ) smaller than the input ⁇ in the minus side hue range ⁇ 2, while making the output Fx ( ⁇ ) larger than the input ⁇ in the plus side hue range ⁇ 1. . This makes it possible to increase the difference in hue between the observation target included in the minus hue range and the observation target included in the plus hue range. Such hue emphasis can increase the hue difference between a plurality of ranges.
- the hue enhancement processing which is one of the color expansion processing
- the hue is adjusted by the adjustment parameter according to the part.
- the adjustment parameter Q0 for the esophagus is multiplied by Fx ( ⁇ ) to adjust the hue.
- the adjustment parameter Q1 for the stomach is multiplied by Fx (r) to adjust the hue.
- the adjustment parameter Q2 for the large intestine is multiplied by Fx ( ⁇ ) to adjust the hue.
- the second range (solid line) of the atrophied mucosa after the saturation enhancement processing and the hue enhancement processing is the saturation enhancement processing.
- the difference with the 1st range of a normal mucous membrane is larger than the 2nd range (dotted line) of the atrophy mucous membrane before hue emphasis processing.
- the deep blood vessel (solid line) after saturation enhancement processing and hue enhancement processing, the fourth range of BA (solid line), and the fifth range of reddening (solid line) are before the saturation enhancement processing and hue enhancement processing.
- the difference from the first range of normal mucosa is larger than the deep blood vessel (dotted line), the fourth range of BA (dotted line), and the fifth range of reddening (dotted line).
- R1x image signal, G1x image signal, and B1x obtained by Lab converts the image signal in the Lab converting section a *, b * (elements in color CIE Lab space is a color information a *, represents the b * Also in the case of the feature space (ab space) formed from the following, the first range of normal mucosa, the second range of atrophy mucosa, the third range of deep blood vessels, the fourth range of BA, as shown in FIG. The range and the fifth range of redness are distributed similarly to the signal ratio space. Then, in the same manner as described above, saturation enhancement processing for expanding or compressing the radius r is performed, and hue enhancement processing for expanding or compressing the angle ⁇ is performed.
- the second range (solid line) of the atrophied mucous membrane after saturation emphasis processing and hue emphasis processing the third range of deep blood vessels (solid line), the fourth of BA
- the range (solid line) and the fifth range of reddening (solid line) are the second range (dotted line) of the atrophied mucosa before saturation enhancement processing and hue enhancement processing, the third range of deep blood vessels (dotted line), and the fourth of BA
- the difference with the first range of normal mucosa is larger than the range (dotted line) and the fifth range of reddening (dotted line).
- the structure emphasizing unit 82 performs structure emphasizing of a specific range included in the observation target as the structure emphasizing process.
- Specific ranges for structural emphasis include the second range of atrophic mucosa, the third range of deep blood vessels, the fourth range of BA, or the fifth range of redness.
- the structure emphasizing unit 82 includes a frequency emphasizing unit 92, a combining ratio setting unit 93, and an image combining unit 94.
- the frequency emphasizing unit 92 obtains a plurality of frequency-weighted images by performing a plurality of frequency filtering (BPF (Band Pass Filtering)) on each of the R1y image signal, the G1y image signal, and the B1y image signal.
- BPF Band Pass Filtering
- frequency filtering for the atrophy mucosal region extracting a low frequency first frequency component including many atrophy mucosal regions, for deep blood vessel region extracting a middle frequency second frequency component including many deep blood vessel regions
- Frequency filtering for extracting the low frequency third frequency component including many BA regions and red light frequency filtering for extracting the low frequency fourth frequency components including many reddish regions.
- the first frequency component-weighted image BPF1 (RGB) is obtained by performing frequency filtering for the atrophic mucosal region.
- BPF1 RGB indicates that each of the R1y image signal, the G1y image signal, and the B1y image signal is an image signal subjected to frequency filtering for the atrophy mucosa region.
- the second frequency component enhanced image BPF2 RGB is obtained by performing frequency filtering for the deep blood vessel region.
- BPF2 (RGB) indicates that each of the R1y image signal, the G1y image signal, and the B1y image signal is an image signal subjected to frequency filtering for a deep blood vessel region.
- the third frequency component-weighted image BPF3 (RGB) is obtained by performing frequency filtering for the BA region.
- BPF3 indicates that each of the R1y image signal, the G1y image signal, and the B1y image signal is an image signal subjected to frequency filtering for the BA region.
- the fourth frequency component-weighted image BPF4 (RGB) is obtained by performing frequency filtering for the red area.
- BPF4 indicates that each of the R1y image signal, the G1y image signal, and the B1y image signal is an image signal subjected to frequency filtering for the red light region.
- the combining ratio setting unit 93 applies to the R1y image signal, the G1y image signal, and the B1y image signal based on the B / G ratio and the G / R ratio (see FIG. 14) before the saturation enhancement processing and the hue enhancement processing.
- Composite ratio g1 (B / G ratio, G / R ratio) indicating the ratio of combining the first to fourth frequency component weighted images BPF1 to 4 (RGB), g2 (B / G ratio, G / R ratio), g3 (B / G ratio, G / R ratio) and g4 (B / G ratio, G / R ratio) are set for each pixel.
- B / G ratio and pixels with G / R ratio falling within the second range are set to g1 x and B Set the composite ratio g1 (B / G ratio, G / R ratio) to g1y for pixels in which the / G ratio and G / R ratio fall within other ranges (third range, fourth range, fifth range)
- g1x is set large in order to add the first frequency component image to a pixel whose B / G ratio and G / R ratio are in the second range.
- g1x is "100%”.
- g1y is set to be extremely small so as to add or hardly add the first frequency component image.
- g1y is "0%".
- composition ratio g2 (B / G ratio, G / R ratio), set B / G ratio, G / R ratio in the third range to g2 x, B / G ratio, G / R ratio
- the pixel whose ratio is in the other range (second range, fourth range, fifth range) is set to g2y.
- g2x is set large in order to add the second frequency component image to a pixel whose B / G ratio and G / R ratio are in the third range.
- g2x is "100%”.
- g2y is set to be extremely small so as to add or hardly add the second frequency component image.
- g2y is "0%".
- composition ratio g3 (B / G ratio, G / R ratio), set B / G ratio, G / R ratio in the fourth range to g3 x, B / G ratio, G / R ratio
- the pixel whose ratio is in the other range (second range, third range, fifth range) is set to g3y.
- g3x is set large in order to add the third frequency component image to a pixel whose B / G ratio and G / R ratio are in the fourth range.
- g3x is "100%”.
- g3y is set to be extremely small so as to add or hardly add the third frequency component image.
- g3y is "0%".
- B / G ratio, G / R ratio B / G ratio, G / R ratio in the fifth range is set to g4x, B / G ratio, G / R ratio
- the pixel whose ratio is in the other range is set to g4y.
- g4x is set large in order to add the fourth frequency component image to a pixel whose B / G ratio and G / R ratio are in the fifth range.
- g4x is "100%”.
- g4y is set to be extremely small so as to add or hardly add the fourth frequency component image.
- g4y is "0%".
- the image combining unit 94 sets the R1y image signal, the G1y image signal, and the B1y image signal, and the first to fourth frequency component enhancement according to the combining ratio set for each pixel by the combining ratio setting unit 93 based on the following equation F).
- the images BPF1 to 4 (RGB) are synthesized. As a result, an R1y image signal, a G1y image signal, and a B1y image signal that have been subjected to structure enhancement processing can be obtained.
- R1y image signal, G1y image signal, and B1y image signal R1y image signal, G1y image signal, and B1y image signal + BPF1 (RGB) ⁇ Gain1 (RGB) ⁇ g1 (B / G ratio) , G / R ratio) + BPF 2 (RGB) x Gain 2 (RGB) x g 2 (B / G ratio, G / R ratio) + BPF 3 (RGB) x Gain 3 (RGB) x g 3 (B / G ratio, G / R ratio) + BPF 4 (RGB) x Gain 4 (RGB) x g 4 (B / G ratio, G / R ratio)
- the gains 1 to 4 (RGB) of the formula F) are determined in advance by the edge characteristics of the first to fourth frequency component-weighted images. For example, in the deep blood vessels, in the second and third frequency component-weighted images containing a large amount of BA, the deep blood vessels and BA have down-edges whose image values are less than “0”. RGB) is preferably set to a negative value.
- the composition ratio setting unit 93 combines the composition ratio g1 (B / G ratio, G / R ratio) into g1x. Since the ratios g2, g3 and g4 (B / G ratio and G / R ratio) are set to g2y, g3y and g4y, for pixels whose B / G ratio and G / R ratio are in the second range. The first frequency emphasizing component is added, and little or no first frequency emphasizing component is added to the pixel having the B / G ratio and the G / R ratio in the third to fifth range. Since the second range contains many atrophic mucosal regions, the atrophic mucosa can be structurally emphasized by the addition of the first frequency emphasis component.
- the combination ratio g2 (B / G ratio, G / R ratio) is set to g2x in the combination ratio setting unit 93. Since g1, g3 and g4 (B / G ratio and G / R ratio) are set to g1y, g3y and g4y, the B / G ratio and G / R ratio for the pixels in the third range can not be changed. Two frequency emphasis components are added, and little or no second frequency emphasis component is added to pixels having B / G ratios and G / R ratios within the second, fourth, and fifth ranges. Since the third range includes many deep blood vessel regions, the deep blood vessel region can be structurally emphasized by the addition of the second frequency emphasis component.
- the composition ratio setting unit 93 sets the composition ratio g3 (B / G ratio, G / R ratio) to g3 x Since g1, g2, g4 (B / G ratio, G / R ratio) are set to g1y, g2y, g4y, the B / G ratio and the G / R ratio for the pixels in the fourth range are the fourth Three frequency enhancement components are added, and little or no third frequency enhancement component is added to pixels having B / G ratios and G / R ratios in the second, third, and fifth ranges. Since a large number of BA regions are included in the fourth range, the BA regions can be structurally emphasized by the addition of the third frequency emphasis component.
- the composition ratio setting unit 93 sets the composition ratio g4 (B / G ratio, G / R ratio) to g4x Since g1, g2, g3 (B / G ratio, G / R ratio) are set to g1y, g2y, g3y, the B / G ratio and the G / R ratio for the pixels in the fifth range are the fifth Four frequency emphasizing components are added, and little or no fourth frequency emphasizing component is added to pixels having B / G ratios and G / R ratios in the second to fourth ranges. Since the fifth range includes many red regions, the red region can be structurally emphasized by the addition of the fourth frequency emphasis component.
- the combining ratio is set for each pixel based on the B / G ratio and the G / R ratio, and the R1y image signal, the G1y image signal, and the B1y image signal are based on the combining ratio set for each pixel.
- the first or third frequency component-weighted image when the first or third frequency component-weighted image is added to all the pixels of the color difference-weighted image regardless of the B / G ratio or G / R ratio, the first or third frequency component image emphasizes low frequency components Because of the image, both the atrophic mucosa and the BA will be emphasized. Therefore, as in the present invention, the first frequency component-emphasized image is added only to the pixels in the second range of the B / G ratio and the G / R ratio in the color difference-emphasized image, without emphasizing the BA. , It becomes possible to emphasize only the atrophic mucosa.
- the adjustment parameter according to the part for the structure-emphasized R1y image signal, the G1y image signal, and the B1y image signal.
- a pixel value is obtained by multiplying the adjustment parameter S0 for esophagus by the R1y image signal, the G1y image signal, and the B1y image signal subjected to the structure emphasis processing.
- the second special image processing unit 64 has a processing unit similar to the first special image processing unit 63. However, in the second special image processing unit 64, the content of the processing is partially different from that of the first special image processing unit 63. For example, in the structure emphasizing unit 82 of the second special image processing unit 64, it is preferable to perform a process of emphasizing deep blood vessels.
- the reflectance linear second R image signal is set as an R2x image signal
- the reflectance linear second G image signal is set as a G2x image signal
- the reflectance linear second B image signal is assumed to be a B2x image signal.
- the third special image processing unit 65 is not shown in FIG. 14 (the same applies to FIGS. 25 and 29), but has a processing unit similar to that of the first special image processing unit 63, and Content of the second special image processing unit 63 is partially different from that of the first special image processing unit 63.
- the structure emphasizing unit 82 of the third special image processing unit 65 it is preferable to perform a process of emphasizing the blood vessels in the middle layer between the surface layer and the deep layer.
- the specific color adjustment unit 90 of the second special image processing unit 64 based on the region set by the region setting unit 86 and the R2x image signal, the G2x image signal, and the B2x image signal, Perform a second mucosal color balance process that automatically adjusts the color.
- the second mucosal color balance processing is the same as the first mucosal color balance processing, and is performed by, for example, the following G1) to G3). Thereby, the second mucous membrane color balanced processed R2x image signal, the G2x image signal, and the B2x image signal are obtained.
- R2ave represents the average pixel value of R2x image signal (the sum of pixel values of the entire screen (effective pixel) / the number of effective pixels).
- G2ave represents the average pixel value of the G2x image signal (the sum of the pixel values of the entire screen (effective pixels) / the number of effective pixels).
- B2ave represents the average pixel value of the B2x image signal (the sum of the pixel values of the entire screen (effective pixels) / the number of effective pixels).
- the specific color adjustment unit 90 manually adjusts the mucosal color, the color of superficial blood vessels, or the color of deep blood vessels, instead of automatically performing the second mucosal color balance processing. You may do it.
- the manual adjustment of the mucous membrane color is the same as in the case of the specific color adjustment unit 71.
- the specific color adjustment unit 90 performs the first mucous membrane performed by the specific color adjustment unit 71 of the first special image processing unit 63 in order to match the mucous membrane color of the first special image and the mucous membrane color of the second special image.
- the second mucous membrane color balance process may be performed using the result of the color balance process.
- the method of the second mucosal color balance processing using the result of the first mucosal color balance processing is the same as the method of the first mucosal color balance processing using the result of the second mucosal color balance processing.
- the mode switching switch 13a is operated to switch to the multi observation mode.
- the first illumination light is continuously emitted for the emission period of the first illumination light set in advance. For example, when the light emission period of the first illumination light is two frames, the first illumination light is emitted for two consecutive frames.
- the first special image obtained by imaging the observation target being illuminated by the first illumination light is continuously displayed on the monitor 18 for the emission period of the first illumination light.
- the light source control unit 21 automatically switches the first illumination light to the second illumination light.
- the second illumination light is continuously emitted for the emission period of the second illumination light set in advance. For example, in the case where the emission period of the second illumination light is three frames, the second illumination light is emitted for three consecutive frames.
- the second special image obtained by imaging the observation target being illuminated by the second illumination light is continuously displayed on the monitor 18 for the emission period of the first illumination light.
- another mode is used for automatically switching between the first illumination light and the second illumination light to emit light, and switching between the first special image and the second special image for display on the monitor 18. It is repeatedly performed until the multi-observation mode ends, such as switching to.
- the B / G ratio and the G / R ratio are obtained from the first RGB image signal in the signal ratio calculation unit 73, and the saturation is generated in the signal ratio space formed from the B / G ratio and the G / R ratio.
- emphasis processing and hue emphasis processing are performed, color information different from B / G ratio and G / R ratio is obtained, and even if saturation emphasis processing and hue emphasis processing are performed in the feature space formed from this color information Good.
- color difference signals Cr and Cb may be obtained as color information, and saturation enhancement processing and hue enhancement processing may be performed in a feature space formed from the color difference signals Cr and Cb.
- the first special image processing unit 100 and the second special image processing unit 101 shown in FIG. 25 are used.
- the first special image processing unit 100 and the second special image processing unit 101 differ from the first special image processing unit 63 and the second special image processing unit 64 in that the Log conversion unit 72, the signal ratio calculation unit 73, and the reverse Log conversion unit Not equipped with 83. Instead, the first special image processing unit 100 and the second special image processing unit 101 are provided with the luminance / color difference signal conversion unit 104.
- the other configurations are the same as the first special image processing unit 63 and the second special image processing unit 64 in the first special image processing unit 100 and the second special image processing unit 101.
- the luminance / color difference signal conversion unit 104 converts the R1x image signal, the G1x image signal, and the B1x image signal into a luminance signal Y and color difference signals Cr and Cb.
- a well-known conversion equation is used to convert the color difference signals Cr and Cb.
- the color difference signals Cr and Cb are sent to the polar coordinate converter 75.
- the luminance signal Y is sent to the RGB conversion unit 79 and the brightness adjustment unit 81.
- the RGB converter 79 converts the color difference signals Cr and Cb and the luminance signal Y passed through the orthogonal coordinate converter 78 into R1y image signal, G1y image signal, and B1y image signal.
- the brightness adjustment unit 81 uses the luminance signal Y as the first brightness information Yin, and uses the second brightness information obtained by the second brightness information calculation unit 81b as the second brightness information Yout to obtain an R1y image.
- the pixel values of the signal, the G1y image signal, and the B1y image signal are adjusted.
- the method of calculating the second brightness information Yout and the method of adjusting the pixel values of the R1y image signal, the G1y image signal, and the B1y image signal are the same as in the case of the first special image processing unit 63.
- the first range including the normal mucous membrane is distributed substantially at the center.
- the second range including the atrophied mucosa is located on the slightly clockwise side with respect to the reference line SL passing through the first range of the normal mucosa, and is distributed closer to the origin than the first range of the normal mucosa.
- the third range including the deep blood vessels is distributed on the clockwise direction side with respect to the reference line SL.
- the fourth range including BA is distributed slightly counterclockwise with respect to reference line SL.
- the fifth range including redness is distributed clockwise with respect to the reference line SL.
- the reference line SL corresponds to the aforementioned hue reference line SLh.
- the counterclockwise direction corresponds to the positive direction described above with respect to the reference line SL
- the clockwise direction corresponds to the negative direction described above with respect to the reference line SL.
- saturation enhancement processing for expanding or compressing the vector radius r and hue enhancement processing for expanding or compressing the angle ⁇ as in the signal ratio space Do.
- the second range (solid line) of the atrophied mucosa after saturation emphasis processing and hue emphasis processing is the second range (dotted line) of the atrophy mucosa before saturation emphasis processing and hue emphasis processing
- the difference with the first range of normal mucosa is larger than that.
- the deep blood vessel (solid line) after saturation enhancement processing and hue enhancement processing, the fourth range of BA (solid line), and the fifth range of reddening (solid line) are before the saturation enhancement processing and hue enhancement processing.
- the difference from the first range of normal mucosa is larger than the deep blood vessel (dotted line), the fourth range of BA (dotted line), and the fifth range of reddening (dotted line).
- processing of saturation enhancement processing or hue enhancement processing based on the color difference signals Cr and Cb by adjustment parameters determined for each region as in the signal ratio space. It is preferred to adjust the results.
- the structure enhancement processing in the case of using the color difference signals Cr and Cb is also performed by the same method as in the case of the signal ratio space.
- the color difference signals Cr and Cb are input to the combining ratio setting unit 93.
- the composition ratio setting unit 93 generates the first to fourth frequency component-emphasized images BPF1 to the R1y image signal, the G1y image signal, and the B1y image signal based on Cr and Cb before the saturation enhancement processing and the hue enhancement processing.
- a composition ratio g1 (Cr, Cb), g2 (Cr, Cb), g3 (Cr, Cb), g4 (Cr, Cb) indicating the composition ratio of 4 (RGB) is set for each pixel.
- the method of setting the synthesis ratio g1 (Cr, Cb), g2 (Cr, Cb), g3 (Cr, Cb), g4 (Cr, Cb) is the same as above, and Cr and Cb are in the second to fifth ranges. It is determined by which of the
- the composition ratio g1 (Cr, Cb), g2 (Cr, Cb), g3 (Cr, Cb), g4 (Cr, Cb) set for each pixel in the composition ratio setting unit 93 the R1y image signal, G1y image
- the signal and B1y image signal and the first to fourth frequency component-weighted images BPF1 to 4 (RGB) are synthesized.
- an R1y image signal, a G1y image signal, and a B1y image signal that have been subjected to structure enhancement processing can be obtained.
- CrCb it is preferable to adjust the pixel value with the adjustment parameter determined for each part for the structure-emphasized R1y image signal, the G1y image signal, and the B1y image signal.
- hue H (Hue) and saturation S (Saturation) may be obtained as color information, and saturation enhancement processing and hue enhancement processing may be performed in the HS space formed from the hue H and saturation S.
- hue H and the saturation S the first special image processing unit 120 and the second special image processing unit 121 shown in FIG. 29 are used.
- the first special image processing unit 120 and the second special image processing unit 121 are different from the Log conversion unit 72, the signal ratio calculation unit 73, and the polar coordinate conversion unit 75.
- the orthogonal coordinate conversion unit 78 and the inverse Log conversion unit 83 are not provided.
- first special image processing unit 120 and the second special image processing unit 121 include an HSV conversion unit 124.
- the other configurations are the same as the first special image processing unit 63 and the second special image processing unit 64 in the first special image processing unit 120 and the second special image processing unit 121.
- the HSV conversion unit 124 converts the R1x image signal, the G1x image signal, and the B1x image signal into the hue H, the saturation S, and the lightness V (Value).
- hue H, saturation S, and lightness V known conversion formulas are used.
- the hue H and the saturation S are sent to the saturation enhancement processing unit 76 and the hue enhancement processing unit 77.
- the lightness V is sent to the RGB converter 79.
- the RGB conversion unit 79 converts the hue H, saturation S and lightness V passed through the saturation enhancement processing unit 76 and the hue enhancement processing unit 77 into an R1y image signal, a G1y image signal, and a B1y image signal.
- the brightness adjustment unit 81 uses the first brightness information Yin determined by the first brightness information calculation unit and the second brightness information Yout determined by the second brightness information calculation unit 81b to generate an R1y image signal, The pixel values of the G1y image signal and the B1y image signal are adjusted.
- the method of calculating the first brightness information Yin, the second brightness information Yout, and the method of adjusting the pixel values of the R1y image signal, the G1y image signal, and the B1y image signal are the same as those of the first special image processing unit 63 described above. The same as the case.
- the first range including the normal mucous membrane is distributed on the reference line SL indicating the value of the specific hue.
- the second range including the atrophied mucosa is distributed at a lower saturation position than the reference line SL.
- the fourth range including the BA is a position of higher saturation than the first range of normal mucous membrane, and is distributed at a position in the first hue direction (right side) with respect to the reference line SL.
- the fifth range including reddening is a position of higher saturation than the first range of normal mucous membrane, and is distributed at a position in the second hue direction (left side) with respect to the reference line SL.
- the third range including deep blood vessels is distributed at a position of higher saturation than the first range of normal mucous membrane and lower than the fourth range of BA or the fifth range of reddening.
- the third range of deep blood vessels is distributed at a position in the second hue direction (left side) different from the first hue direction with respect to the reference line SL.
- the distance between the fifth range of redness and the reference line SL in the hue direction is smaller than the distance between the third range of deep blood vessels and the reference line SL.
- the saturation enhancement processing and the hue enhancement processing in the HS space in which the first to fifth ranges are distributed do not extend or compress the radius r and the angle ⁇ as in the signal ratio space and the CrCb space.
- the saturation enhancement processing unit 76 performs, as the saturation enhancement processing, a process of moving in parallel in the saturation direction so that the second range of the atrophy mucosa is low in saturation.
- the saturation enhancement processing the saturation enhancement processing unit 76 translates the third range of deep blood vessels, the fourth range of BA, and the fifth range of redness in parallel in the saturation direction so as to be high saturation. It is preferred to carry out the treatment.
- the third to fifth ranges may be moved in parallel so as to achieve low saturation.
- the hue enhancement processing unit 77 translates in the hue direction so as to separate from the first range of the normal mucous membrane with respect to the third range of deep blood vessels, the fourth range of BA, and the fifth range of redness.
- Do the process of The hue emphasizing unit 77 may perform, as the hue emphasizing process, a process of moving the second range of the atrophied mucous membrane in the hue direction.
- the second range (solid line) of the atrophied mucosa after the saturation enhancement processing and the hue enhancement processing is subjected to the saturation enhancement processing and the hue enhancement.
- the difference with the first range of normal mucosa is larger than the second range (dotted line) of the atrophied mucosa before treatment.
- the deep blood vessel (solid line) after saturation enhancement processing and hue enhancement processing, the fourth range of BA (solid line), and the fifth range of red light (solid line) are the first saturation enhancement process and the first hue.
- the difference with the first range of normal mucosa is larger than the deep blood vessel (dotted line) before enhancement processing, the fourth range of BA (dotted line), and the fifth range of reddening (dotted line).
- the saturation emphasis processing and the hue emphasis processing based on the hue H and the saturation S are performed It is preferable to adjust the processing result.
- structure enhancement processing is performed based on CrCb by the same method as in the case of the signal ratio space.
- the hue H and the saturation S are input to the combining ratio setting unit 93.
- the composition ratio setting unit 93 emphasizes the first to fourth frequency components with respect to the R1y image signal, the G1y image signal, and the B1y image signal based on the hue H and the saturation S before the saturation enhancement processing and the hue enhancement processing.
- a composition ratio g1 (H, S), g2 (H, S), g3 (H, S), g4 (H, S) indicating the ratio of combining the images BPF1 to 4 (RGB) is set for each pixel.
- the method of setting the composition ratios g1 (H, S), g2 (H, S), g3 (H, S), g4 (H, S) is the same as that described above for the hue H and the saturation S It is determined by which of the fifth range it is included.
- composition ratio g1 (H, S), g2 (H, S), g3 (H, S), g4 (H, S) set for each pixel by the composition ratio setting unit 93 R1y image signal, G1y image
- the signal and B1y image signal and the first to fourth frequency component-weighted images BPF1 to 4 (RGB) are synthesized.
- an R1y image signal, a G1y image signal, and a B1y image signal that have been subjected to structure enhancement processing can be obtained.
- the pixel value may be adjusted by the adjustment parameter determined for each part for the structure-emphasized R1y image signal, the G1y image signal, and the B1y image signal. preferable.
- Second Embodiment In the second embodiment, instead of the four-color LEDs 20a to 20d shown in the first embodiment, a laser light source and a phosphor are used to illuminate the observation target. The other respects are the same as in the first embodiment.
- a blue laser light source that emits blue laser light with a central wavelength of 445 ⁇ 10 nm instead of the four color LEDs 20a to 20d in the light source device 14 33
- a blue-violet laser light source (denoted as "405 LD” in FIG. 33) 206 is provided, which is denoted as "445 LD" 204, and blue-violet laser light having a central wavelength of 405. +-. 10 nm.
- the light emission from the semiconductor light emitting element of each of the light sources 204 and 206 is individually controlled by the light source control unit 208, and the light quantity ratio of the emitted light of the blue laser light source 204 and the emitted light of the blue violet laser light source 206 can be changed. It has become.
- the light source control unit 208 drives the blue laser light source 204 in the normal observation mode.
- both the blue laser light source 204 and the blue-violet laser light source 206 are driven, and the emission ratio of the blue-violet laser light is controlled to be larger than the emission ratio of the blue laser light .
- both the blue laser light source 204 and the blue-violet laser light source 206 are driven, and the emission ratio of the blue laser light is controlled to be larger than the emission ratio of the blue-violet laser light .
- both the blue laser light source 204 and the blue-violet laser light source 206 are driven, and in the light emission period of the first illumination light, the light emission ratio of the blue-violet laser light is set to the light emission ratio of the blue laser light
- the light emission ratio of the blue laser light is controlled to be larger than the light emission ratio of the blue-violet laser light in the light emission period of the second illumination light.
- the laser light emitted from each of the light sources 204 and 206 described above is incident on the light guide 41 via an optical member such as a condenser lens, an optical fiber, or a multiplexer (none of which is shown).
- the half width of the blue laser light or the blue-violet laser light is preferably about ⁇ 10 nm.
- a broad area type InGaN-based laser diode can be used, and an InGaNAs-based laser diode or a GaNAs-based laser diode can also be used.
- a light emitter such as a light emitting diode may be used as the light source.
- the illumination optical system 30a is provided with a phosphor 210 to which blue laser light or blue-violet laser light from the light guide 41 is incident.
- the fluorescent substance 210 emits fluorescence when the fluorescent substance 210 is irradiated with the blue laser light.
- part of the blue laser light passes through the phosphor 210 as it is.
- the blue-violet laser light transmits without exciting the phosphor 210.
- the light emitted from the phosphor 210 is irradiated into the sample through the illumination lens 45.
- the blue laser light mainly enters the phosphor 210, so the blue laser light and the fluorescence excited from the phosphor 210 by the blue laser light as shown in FIG. 34 are multiplexed. Normal light is emitted to the object to be observed.
- the blue-violet laser light and the blue laser light are incident on the phosphor 210, the blue-violet laser light, the blue laser light, and the blue laser light as shown in FIG.
- the first illumination light obtained by multiplexing the fluorescence emitted from the light source 210 is emitted into the sample.
- the light intensity of the blue-violet laser light is larger than the light intensity of the blue laser light.
- the phosphors can be formed by the blue-violet laser light, blue laser light, and blue laser light as shown in FIG.
- a second illumination light obtained by multiplexing the fluorescence emitted from the light source 210 is emitted into the sample.
- the light intensity of the blue laser light is larger than the light intensity of the blue-violet laser light.
- the first illumination light is continuously irradiated for the emission period of the first illumination light set in advance, and subsequently, the second illumination light is the emission period of the second illumination light set in advance. Irradiated continuously for a minute.
- the phosphor 210 absorbs a part of blue laser light and emits plural colors of green to yellow (for example, a phosphor such as YAG phosphor or BAM (BaMgAl 10 O 17 )) that emits light. It is preferable to use what is comprised including.
- a phosphor such as YAG phosphor or BAM (BaMgAl 10 O 17 )
- BAM BaMgAl 10 O 17
- the semiconductor light emitting device is used as an excitation light source of the phosphor 210 as in this configuration example, high intensity white light can be obtained with high luminous efficiency, and the intensity of white light can be easily adjusted. Changes in temperature and chromaticity can be kept small.
- the hardware-like structure of the processing unit (processing unit) included in the processor unit 16 such as the unit 121 is various processors as described below.
- CPU Central Processing Unit
- FPGA Field Programmable Gate Array
- a programmable logic device PLD
- PLD programmable Logic Device
- One processing unit may be configured of one of these various processors, or configured of a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA) It may be done.
- a plurality of processing units may be configured by one processor.
- one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers; There is a form in which this processor functions as a plurality of processing units.
- SoC system on chip
- IC integrated circuit
- circuitry in the form in which circuit elements such as semiconductor elements are combined.
- the present invention is applicable to various medical image processing apparatuses in addition to the processor apparatus incorporated in the endoscope system as in the first to third embodiments and the capsule endoscope system as in the fourth embodiment. It is possible to apply.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Astronomy & Astrophysics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Vascular Medicine (AREA)
- Endoscopes (AREA)
Abstract
複数の照明光の切替を、ユーザーの指示無く行うことができる光源装置及び内視鏡システムを提供する。 光源部(20)は、第1の赤色帯域を有し、第1血管を強調するための第1照明光と、第2の赤色帯域を有し、第1血管と異なる第2血管を強調するための第2照明光とを発光する。光源制御部(21)は、第1照明光と第2照明光とを、それぞれ少なくとも2フレーム以上の発光期間にて発光し、且つ、第1照明光と第2照明光とを自動的に切り替える制御を行う。
Description
本発明は、複数種類の照明光を切り替えて発光する光源装置及び内視鏡システムに関する。
近年の医療分野では、光源装置、内視鏡、プロセッサ装置を備える内視鏡システムが広く用いられている。内視鏡システムでは、内視鏡から観察対象に照明光を照射し、その照明光で照明中の観察対象を内視鏡の撮像素子で撮像して得られるRGB画像信号に基づいて、観察対象の画像をモニタ上に表示する。
また、近年では、観察対象に合わせて、使用する照明光のスペクトルを切り替えることも行われている。例えば、特許文献1では、2種類の紫色レーザ光と青色レーザ光を蛍光体に照射して照明光を生成しており、粘膜の比較的浅い位置に分布する表層血管を観察する場合には、紫色レーザ光の発光比率を青色レーザ光よりも高めて紫色レーザ光の比率を高めた照明光により、観察対象を照明している。これに対して、粘膜の深い位置に分布する深層血管を観察する場合には、青色レーザ光の発光比率を紫色レーザ光よりも高めて緑色及び赤色の蛍光の比率を大きくした照明光により、観察対象を照明している。
近年では、内視鏡分野においては、表層血管や深層血管など深さが異なる複数の血管に着目する診断が行われている。このような診断においては、深さが異なる複数の血管の画像を表示する必要がある。例えば、特許文献1の場合であれば、ユーザーが照明光切替スイッチを操作し、表層血管強調用の照明光と深層血管強調用の照明光との切替を行うことによって、表層血管を強調した画像と深層血管を強調した画像を表示している。しかしながら、上記のように、ユーザーによって照明光の切替を行う場合には、照明光の切替時に観察位置の位置ずれが発生し易いという問題がある。したがって、深さが異なる複数の血管の画像を表示するために、複数の照明光の切替を、ユーザーの指示無く行うことが求められていた。加えて、複数の照明光の切替を行うことによるユーザーへの違和感も合わせて、軽減することも求められていた。
本発明は、複数の照明光の切替を、ユーザーの指示無く行うことができる光源装置及び内視鏡システムを提供することを目的とする。
本発明の光源装置は、光源部と光源制御部とを有する。光源部は、第1の赤色帯域を有し、第1血管を強調するための第1照明光と、第2の赤色帯域を有し、第1血管と異なる第2血管を強調するための第2照明光とを発光する。光源制御部は、第1照明光と第2照明光とを、それぞれ少なくとも2フレーム以上の発光期間にて発光させ、且つ、第1照明光と第2照明光とを自動的に切り替える。
第1照明光は400nm以上440nm以下のピークを有することが好ましい。第2照明光は、第1照明光よりも、540nm、600nm、又は630nmのうち少なくともいずれかの強度比を大きくすることが好ましい。
光源部は、第1照明光及び第2照明光と異なる第3照明光を発光し、光源制御部は、第1照明光と第2照明光とを切り替えるタイミングにおいて、第3照明光を発光することが好ましい。光源制御部は、第1照明光の発光期間と第2照明光の発光期間を設定する発光期間設定部を有することが好ましい。第1照明光は、第1の赤色帯域に加えて、第1の緑色帯域及び第1の青色帯域を有し、第2照明光は、第2の赤色帯域に加えて、第2の緑色帯域及び第2の青色帯域を有することが好ましい。
本発明の内視鏡システムは、上記記載の本発明の光源装置と、画像取得部と、表示部とを備える。画像取得部は、第1照明光により照明された観察対象を撮像して得られる第1画像と、第2照明光により照明された観察対象を撮像して得られる第2画像とを取得する。表示部は、第1画像と第2画像をカラー又はモノクロにより表示する。
本発明の内視鏡システムは、上記記載の本発明の光源装置と、画像取得部と、特定色調整部とを有する。画像取得部は、第1照明光により照明された観察対象を撮像して得られる第1画像と、第2照明光により照明された観察対象を撮像して得られる第2画像とを取得する。特定色調整部は、第1画像と第2画像の色を調整する。また、特定色調整部は、第1画像に含まれる粘膜の色又は第2画像に含まれる粘膜の色を、目標の色に合わせる。観察中の部位を設定する部位設定部を有し、特定色調整部は、第1画像に含まれる粘膜の色又は第2画像に含まれる粘膜の色を、部位に対応する目標の色に合わせることが好ましい。
本発明の内視鏡システムは、上記記載の本発明の光源装置と、画像取得部と、特定色調整部と、色調指示受付部とを有する。画像取得部は、第1照明光により照明された観察対象を撮像して得られる第1画像と、第2照明光により照明された観察対象を撮像して得られる第2画像とを取得する。特定色調整部は、第1画像と第2画像の色を調整する。色調整指示受付部は、ユーザーから、粘膜の色、第1血管の色、又は第2血管の色の調整に関する色調整指示を受け付ける。特定色調整部は、色調整指示に従って、粘膜の色、第1血管の色、又は第2血管の色の調整を行う。
本発明の内視鏡システムは、上記記載の本発明の光源装置と、画像取得部と、特定色調整部とを有する。画像取得部は、第1照明光により照明された観察対象を撮像して得られる第1画像と、第2照明光により照明された観察対象を撮像して得られる第2画像とを取得する。特定色調整部は、第1画像と第2画像の色を調整する。また、特定色調整部は、第1画像に含まれる粘膜の色と、第2画像に含まれる粘膜の色とを一致させる。
本発明の内視鏡システムは、上記記載の本発明の光源装置と、画像取得部と、色拡張処理部とを有する。画像取得部は、第1照明光により照明された観察対象を撮像して得られる第1画像と、第2照明光により照明された観察対象を撮像して得られる第2画像とを取得する。色拡張処理部は、第1画像と第2画像に対して、観察対象に含まれる複数の範囲の間の差を大きくする色拡張処理を行う。観察中の部位を設定する部位設定部を有し、色拡張処理の結果を、部位毎に定められた調整パラメータによって、調整することが好ましい。
本発明の内視鏡システムは、上記記載の本発明の光源装置と、画像取得部と、周波数強調部と、画像合成部とを有する。画像取得部は、第1照明光により照明された観察対象を撮像して得られる第1画像と、第2照明光により照明された観察対象を撮像して得られる第2画像とを取得する。周波数強調部は、第1画像と第2画像から、観察対象に含まれる特定の範囲に対応する周波数成分を強調した周波数強調画像を得る。画像合成部は、第1画像又は第2画像を周波数強調画像に合成して、特定の範囲を構造強調した構造強調処理済みの第1画像又は第2画像を得る。観察中の部位を設定する部位設定部を有し、構造強調処理済みの第1画像又は第2画像の画素値を、部位毎に定められた調整パラメータによって、調整することが好ましい。
本発明によれば、複数の照明光の切替を、ユーザーの指示無く行うことができる。
[第1実施形態]
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、コンソール19は図示したキーボードの他、マウスなどが含まれる。
図1に示すように、第1実施形態の内視鏡システム10は、内視鏡12と、光源装置14と、プロセッサ装置16と、モニタ18と、コンソール19とを有する。内視鏡12は光源装置14と光学的に接続され、且つ、プロセッサ装置16と電気的に接続される。内視鏡12は、被検体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられる湾曲部12c及び先端部12dを有している。操作部12bのアングルノブ12eを操作することにより、湾曲部12cは湾曲動作する。この湾曲動作に伴って、先端部12dが所望の方向に向けられる。なお、コンソール19は図示したキーボードの他、マウスなどが含まれる。
また、操作部12bには、アングルノブ12eの他、モード切替SW13aが設けられている。モード切替SW13aは、通常観察モードと、第1特殊観察モードと、第2特殊観察モードと、マルチ観察モードとの切替操作に用いられる。通常観察モードは、通常画像をモニタ18上に表示するモードである。第1特殊観察モードは、表層血管(第1血管)を強調した第1特殊画像をモニタ18上に表示するモードである。第2特殊観察モードは、深層血管(第2血管)を強調した第2特殊画像をモニタ18上に表示するモードである。マルチ観察モードは、第1特殊画像と第2特殊画像とを自動的に切り替えてモニタ18に表示するモードである。なお、モードを切り替えるためのモード切替部としては、モード切替SW13aの他に、フットスイッチを用いてもよい。
プロセッサ装置16は、モニタ18及びコンソール19と電気的に接続される。モニタ18は、画像情報等を出力表示する。コンソール19は、機能設定等の入力操作を受け付けるUI(User Interface:ユーザーインターフェース)として機能する。なお、プロセッサ装置16には、画像情報等を記録する外付けの記録部(図示省略)を接続してもよい。
図2に示すように、光源装置14は、光源部20と、光源制御部21と、光路結合部23とを有している。光源部20は、V-LED(Violet Light Emitting Diode)20a、B-LED(Blue Light Emitting Diode)20b、G-LED(Green Light Emitting Diode)20c、R-LED(Red Light Emitting Diode)20dを有している。光源制御部21は、LED20a~20dの駆動を制御する。光路結合部23は、4色のLED20a~20dから発せられる4色の光の光路を結合する。光路結合部23で結合された光は、挿入部12a内に挿通されたライトガイド41及び照明レンズ45を介して、被検体内に照射される。なお、LEDの代わりに、LD(Laser Diode)を用いてもよい。
図3に示すように、V-LED20aは、中心波長405±10nm、波長範囲380~420nmの紫色光Vを発生する。B-LED20bは、中心波長460±10nm、波長範囲420~500nmの青色光Bを発生する。G-LED20cは、波長範囲が480~600nmに及ぶ緑色光Gを発生する。R-LED20dは、中心波長620~630nmで、波長範囲が600~650nmに及ぶ赤色光Rを発生する。
光源制御部21は、いずれの観察モードにおいても、V-LED20a、B-LED20b、G-LED20c、及びR-LED20dを点灯する制御を行う。また、光源制御部21は、通常観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVc:Bc:Gc:Rcとなる通常光を発光するように、各LED20a~20dを制御する。
また、光源制御部21は、第1特殊観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs1:Bs1:Gs1:Rs1となる第1照明光を発光するように、各LED20a~20dを制御する。第1照明光は、表層血管を強調するために、400nm以上440nm以下にピークを有することが好ましい。そのため、第1照明光は、図4に示すように、紫色光Vの光強度が、その他の青色光B、緑色光G、及び赤色光Rの光強度よりも大きくなるように、光強度比Vs1:Bs1:Gs1:Rs1が設定されている(Vs1>Bs1、Gs1、Rs1)。また、第1照明光には、赤色光Rのような第1の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、第1照明光には、紫色光V、青色光B、緑色光Gのように第1の青色帯域及び第1の緑色帯域を有しているため、上記のような表層血管の他、腺管構造や凹凸など各種構造も強調することができる。
また、光源制御部21は、第2特殊観察モード時には、紫色光V、青色光B、緑色光G、及び赤色光R間の光強度比がVs2:Bs2:Gs2:Rs2となる第2照明光を発光するように、各LED20a~20dを制御する。第2照明光は、深層血管を強調するために、第1照明光に対して、540nm、600nm、又は630nmのうち少なくともいずれかの強度比を大きくすることが好ましい。
そのため、第2照明光は、図5に示すように、第1照明光における青色光B、緑色光G、及び赤色光Rの光量と比較して、緑色光G、又は赤色光Rの光量が大きくなるように、光強度比Vs2:Bs2:Gs2:Rs2が設定されている。また、第2照明光には、赤色光Rのような第2の赤色帯域を有しているため、粘膜の色を正確に再現することができる。さらに、第2照明光には、紫色光V、青色光B、緑色光Gのように第2の青色帯域及び第2の緑色帯域を有しているため、上記のような深層血管の他、凹凸など各種構造も強調することができる。
光源制御部21は、マルチ観察モードに設定されている場合には、第1照明光と第2照明光とをそれぞれ2フレーム以上の発光期間にて発光し、且つ、第1照明光と第2照明光とを自動的に切り替えて発光する制御を行う。例えば、第1照明光の発光期間を2フレームとし、第2照明光の発光期間を3フレームとした場合には、図6に示すように、第1照明光が2フレーム続けて発光した後に、第2照明光が3フレーム続けて発光される。ここで、第1照明光の発光期間と第2照明光の発光期間は、少なくとも2フレーム以上の期間に設定されている。このように2フレーム以上の期間にするのは、光源装置14における照明光の切替は直ぐに行われるものの、プロセッサ装置16における画像処理の切替には少なくとも2フレーム以上を有するためである。加えて、照明光が切り替わることよって点滅が生ずる場合があるため、2フレーム以上の期間にすることによって、点滅による術者への負担を軽減する。なお、「フレーム」とは、観察対象を撮像する撮像センサ48を制御するための単位をいい、例えば、「1フレーム」とは、観察対象からの光で撮像センサ48を露光する露光期間と画像信号を読み出す読出期間とを少なくとも含む期間のことをいう。本実施形態においては、撮像の単位である「フレーム」に対応して発光期間が定められている。
第1照明光の発光期間と第2照明光の発光期間は、光源制御部21に接続された発光期間設定部24によって、適宜変更が可能である。コンソール19の操作により、発光期間の変更操作を受け付けると、発光期間設定部24は、図7に示す発光期間設定メニューをモニタ18上に表示する。第1照明光の発光期間は、例えば、2フレームから10フレームの間で変更可能である。各発光期間については、スライドバー26a上に割り当てられている。
第1照明光の発光期間を変更する場合には、コンソール19を操作して、スライドバー26a上の変更したい発光期間を示す位置にスライダ27aを合わせることで、第1の照明光の発光期間が変更される。第2照明光の発光期間についても、コンソール19を操作して、スライドバー26b(例えば、2フレームから10フレームの発光期間が割り当てられている)上の変更したい発光期間を示す位置にスライダ27bを合わせることで、第2の照明光の発光期間が変更される。
なお、光源制御部21は、マルチ観察モードに設定されている場合には、第1照明光から第2照明光に切り替える際、又は、第2照明光から第1照明光に切り替えるタイミングにおいて、第1照明光及び第2照明光と異なる第3照明光を発光するようにしてもよい。第3照明光は少なくとも1フレーム以上発光することが好ましい。
また、第3照明光の光強度比Vs3:Bs3:Gs3:Rs3は、第1照明光の光強度比Vs1:Bs1:Gs1:Rs1と第2照明光の光強度比Vs2:Bs2:Gs2:Rs2の間であることが好ましい。例えば、図8に示すように、第3照明光の光強度比は、第1照明光の光強度比と第2照明光の光強度比の平均であることが好ましい。即ち、Vs3=(Vs1+Vs2)/2、Bs3=(Bs1+Bs2)/2、Gs3=(Gs1+Gs2)/2、Rs3=(Rs1+Rs2)/2とする。以上のような第3照明光を、第1照明光と第2照明光とを切り替えるタイミングに発光することによって、照明光の切替時に生ずる色の変化などの違和感をユーザーに与えることがなくなる。
図2に示すように、ライトガイド41は、内視鏡12及びユニバーサルコード(内視鏡12と光源装置14及びプロセッサ装置16とを接続するコード)内に内蔵されており、光路結合部23で結合された光を内視鏡12の先端部12dまで伝搬する。なお、ライトガイド41としては、マルチモードファイバを使用することができる。一例として、コア径105μm、クラッド径125μm、外皮となる保護層を含めた径がφ0.3~0.5mmの細径なファイバケーブルを使用することができる。
内視鏡12の先端部12dには、照明光学系30aと撮像光学系30bが設けられている。照明光学系30aは照明レンズ45を有しており、この照明レンズ45を介して、ライトガイド41からの光が観察対象に照射される。撮像光学系30bは、対物レンズ46及び撮像センサ48を有している。観察対象からの反射光は、対物レンズ46を介して、撮像センサ48に入射する。これにより、撮像センサ48に観察対象の反射像が結像される。
撮像センサ48はカラーの撮像センサであり、被検体の反射像を撮像して画像信号を出力する。この撮像センサ48は、CCD(Charge Coupled Device)撮像センサやCMOS(Complementary Metal-Oxide Semiconductor)撮像センサ等であることが好ましい。本発明で用いられる撮像センサ48は、R(赤)、G(緑)及びB(青)の3色のRGB画像信号を得るためのカラーの撮像センサ、即ち、Rフィルタが設けられたR画素、Gフィルタが設けられたG画素、Bフィルタが設けられたB画素を備えた、いわゆるRGB撮像センサである。
なお、撮像センサ48としては、RGBのカラーの撮像センサの代わりに、C(シアン)、M(マゼンタ)、Y(イエロー)及びG(緑)の補色フィルタを備えた、いわゆる補色撮像センサであっても良い。補色撮像センサを用いる場合には、CMYGの4色の画像信号が出力されるため、補色-原色色変換によって、CMYGの4色の画像信号をRGBの3色の画像信号に変換する必要がある。また、撮像センサ48はカラーフィルタを設けていないモノクロ撮像センサであっても良い。この場合、光源制御部21は青色光B、緑色光G、及び赤色光Rを時分割で点灯させて、撮像信号の処理では同時化処理を加える必要がある。
撮像センサ48から出力される画像信号は、CDS・AGC回路50に送信される。CDS・AGC回路50は、アナログ信号である画像信号に相関二重サンプリング(CDS(Correlated Double Sampling))や自動利得制御(AGC(Auto Gain Control))を行う。CDS・AGC回路50を経た画像信号は、A/D変換器(A/D(Analog /Digital)コンバータ)52により、デジタル画像信号に変換される。A/D変換されたデジタル画像信号は、プロセッサ装置16に入力される。
プロセッサ装置16は、内視鏡12で得られた画像などの医用画像を処理する医用画像処理装置に対応している。このプロセッサ装置16は、画像取得部53と、DSP(Digital Signal Processor)56と、ノイズ除去部58と、信号切替部60と、通常画像処理部62と、第1特殊画像処理部63と、第2特殊画像処理部64と、第3特殊画像処理部65と、映像信号生成部66とを備えている。画像取得部53には、内視鏡12からのデジタルのカラー画像信号が入力される。カラー画像信号は、撮像センサ48のR画素から出力されるR画像信号と、撮像センサ48のG画素から出力されるG画像信号と、撮像センサ48のB画素から出力されるB画像信号とから構成されるRGB画像信号である。
DSP56は、受信した画像信号に対して、欠陥補正処理、オフセット処理、ゲイン補正処理、リニアマトリクス処理、ガンマ変換処理、又はデモザイク処理等の各種信号処理を施す。欠陥補正処理では、撮像センサ48の欠陥画素の信号が補正される。オフセット処理では、欠陥補正処理が施されたRGB画像信号から暗電流成分が除かれ、正確な零レベルが設定される。ゲイン補正処理では、オフセット処理後のRGB画像信号に特定のゲインを乗じることにより信号レベルが整えられる。ゲイン補正処理後のRGB画像信号には、色再現性を高めるためのリニアマトリクス処理が施される。その後、ガンマ変換処理によって明るさや彩度が整えられる。リニアマトリクス処理後のRGB画像信号には、デモザイク処理(等方化処理、同時化処理とも言う)が施され、各画素で不足した色の信号が補間によって生成される。このデモザイク処理によって、全画素がRGB各色の信号を有するようになる。
ノイズ除去部58は、DSP56でガンマ補正等が施されたRGB画像信号に対してノイズ除去処理(例えば移動平均法やメディアンフィルタ法等)を施すことによって、RGB画像信号からノイズを除去する。ノイズが除去されたRGB画像信号は、信号切替部60に送信される。
信号切替部60は、モード切替SW13aにより、通常観察モードにセットされている場合には、RGB画像信号を通常画像処理部62に送信する。また、第1特殊観察モードにセットされている場合には、RGB画像信号を第1特殊画像処理部63に送信する。また、第2特殊観察モードにセットされている場合には、RGB画像信号を第2特殊画像処理部64に送信する。また、マルチ観察モードにセットされている場合には、第1照明光の照明及び撮像で得られたRGB画像信号は第1特殊画像処理部63に送信され、第2照明光の照明及び撮像で得られたRGB画像信号は第2特殊画像処理部64に送信され、第3照明光の照明及び撮像で得られたRGB画像信号は第3特殊画像処理部65に送信される。
通常画像処理部62は、通常観察モード時に得られたRGB画像信号に対して、通常画像用の画像処理を施す。通常画像用の画像処理には、通常画像用の構造強調処理などが含まれる。通常画像用の画像処理が施されたRGB画像信号は、通常画像として、通常画像処理部62から映像信号生成部66に入力される。
第1特殊画像処理部63は、第1照明光の照明及び撮像時に得られた第1RGB画像信号(第1画像)に基づいて、彩度強調処理、色相強調処理、及び構造強調処理が行われた第1特殊画像を生成する。この第1特殊画像処理部63で行う処理には、表層血管を強調するための処理が含まれている。第1特殊画像では、表層血管が強調されていることに加えて、観察対象に含まれる複数の範囲間の色の差が拡張されている。また、第1特殊画像では、観察対象に含まれる複数の範囲における構造が強調されている。第1特殊画像処理部63の詳細については後述する。第1特殊画像処理部63で生成された第1特殊画像は、映像信号生成部66に入力される。
第2特殊画像処理部64は、第2照明光の照明及び撮像時に得られた第2RGB画像信号(第2画像)に基づいて、彩度強調処理、色相強調処理、及び構造強調処理が行われた第2特殊画像を生成する。第2特殊画像処理部64においては、第1特殊画像処理部63と同様の処理部を有しているが、処理の内容については、第1特殊画像処理部63と異なっている。例えば、第2特殊画像処理部64で行う処理には、表層血管を強調する処理の代わりに、深層血管を強調するための処理が含まれている。また、第2特殊画像では、深層血管が強調されていることに加えて、観察対象に含まれる複数の範囲間の色の差が拡張されている。また、第2特殊画像では、観察対象に含まれる複数の範囲における構造が強調されている。第2特殊画像処理部64の詳細については後述する。第2特殊画像処理部64で生成された第2特殊画像は、映像信号生成部66に入力される。
第3特殊画像処理部65は、第3照明光の照明及び撮像時に得られた第3RGB画像信号(第3画像)に基づいて、彩度強調処理、色相強調処理、及び構造強調処理が行われた第3特殊画像を生成する。第3特殊画像処理部65においては、第1特殊画像処理部63と同様の処理部を有しているが、処理の内容については、第1特殊画像処理部63と異なっている。例えば、第3特殊画像処理部65で行う処理には、表層血管を強調する処理の代わりに、表層と深層の間の中間層の血管を強調するための処理が含まれている。また、第3特殊画像では、観察対象に含まれる複数の範囲間の色の差が拡張されている。また、第3特殊画像では、観察対象に含まれる複数の範囲における構造が強調されている。第3特殊画像処理部65の詳細については後述する。第3特殊画像処理部65で生成された第3特殊画像は、映像信号生成部66に入力される。
映像信号生成部66は、通常画像処理部62、第1特殊画像処理部63、第2特殊画像処理部64、又は第3特殊画像処理部65から入力された通常画像、第1特殊画像、第2特殊画像、又は第3特殊画像を、モニタ18で表示可能な画像として表示するための映像信号に変換する。この映像信号に基づいて、モニタ18は、通常画像、第1特殊画像、第2特殊画像、又は第3特殊画像を表示する。
例えば、第1特殊画像がモニタ18に表示された場合には、図9に示すように、第1特殊画像上で第1色の表層血管が強調されて表示される。また、第2特殊画像がモニタ18に表示された場合には、図10に示すように、第2特殊画像上で第2色の深層血管が強調されて表示される。第1色と第2色は異なっていることが好ましい。また、マルチ観察モードの場合には、図11に示すように、第1照明光の発光期間と第2照明光の発光期間に合わせて、カラーの第1特殊画像と第2特殊画像が切り替えてモニタ18に表示される。即ち、第1照明光の発光期間が2フレームで、第2照明光の発光期間が3フレームである場合には、第1特殊画像が2フレーム続けて表示され、且つ、第2特殊画像が3フレーム続けて表示される。
以上のように、マルチ観察モードにおいては、ユーザーによるモード切替SW13aの操作を行うことなく、2種類の第1特殊画像と第2特殊画像を自動的に切り替えて表示することができる。また、表層血管を強調し、深層血管を抑制した第1特殊画像と、深層血管を強調し、表層血管を抑制した第2特殊画像を切り替えて表示することで、それら2種類の血管の強調と抑制を繰り返すことで、深さが異なる複数の血管に対する視認性の向上を図ることができる。
また、第1特殊画像と第2特殊画像は、それぞれ赤色帯域を含む照明光に基づいて得られた画像であるため、粘膜を白色の通常光に近い色調で再現することができる。したがって、マルチ観察モードで表示される第1特殊画像と第2特殊画像は、通常画像と粘膜の色調がほとんど変わらないため、ユーザーに違和感を与えることがない。その結果、マルチ観察モードに対するユーザーの学習を比較的短い期間で行うことができる。また、第1特殊画像と第2特殊画像を切り替えて表示することで、深層血管から表層血管までどのように血管が立ち上がっているかを把握することができる。
また、マルチ観察モードにおいて、第1照明光と第2照明光の切替を行う際に、第3照明光の照明を行った場合には、図12に示すように、第1特殊画像から第2特殊画像に切り替わる際に、第3照明光の照明及び撮像により得られる第3特殊画像がモニタ18に表示される。この第3特殊画像においては、表層血管と深層血管の両方に加えて、表層と深層の間の中間層の血管が表示される。このように第3特殊画像の表示を行うことで、深層血管から表層血管への血管の立ち上がりをより明確に把握することができるようになる。また、第3特殊画像の表示により、色の変化が緩やかになるため、ユーザーに与える違和感を軽減することができる。
また、マルチ観察モードにおいては、第1特殊画像と第2特殊画像をカラーで表示しているが、これに代えて、図13に示すように、第1特殊画像と第2特殊画像をモノクロで表示するようにしてもよい。このようにモノクロの第1特殊画像と第2特殊画像を切り替えて表示することで、表層血管や深層血管などの血管以外部分の色の変化がほとんど生じない。これにより、ユーザーは、第1特殊画像と第2特殊画像の切替時に、違和感を感じることなく、表層血管や深層血管など異なる深さの血管に着目して観察することができるようになる。
第1特殊画像処理部63は、図14に示すように、逆ガンマ変換部70と、特定色調整部71と、Log変換部72と、信号比算出部73と、極座標変換部75と、彩度強調処理部76と、色相強調処理部77と、直交座標変換部78と、RGB変換部79と、明るさ調整部81と、構造強調部82と、逆Log変換部83と、ガンマ変換部84とを備えている。また、第1特殊画像処理部63には、食道、胃、大腸など観察する部位によって特定色調整部71での調整レベル、又は彩度強調処理部76、色相強調処理部77、構造強調部82での強調レベルを変更するために、現在観察中の部位を設定する部位設定部86が設けられている。部位設定部86は、コンソール19によって、現在観察中の部位(例えば、食道、胃、大腸)を設定してもよく、また、現在観察中に得られた画像から自動認識して部位を設定してもよい。
逆ガンマ変換部70は、第1照明光の照明及び撮像時に得られた第1RGB画像信号に対して逆ガンマ変換を施す。この逆ガンマ変換後の第1RGB画像信号は、検体からの反射率に対してリニアな反射率リニア第1RGB信号であるため、第1RGB画像信号のうち、検体の各種生体情報に関連する信号が占める割合が多くなる。なお、反射率リニア第1R画像信号をR1x画像信号とし、反射率リニア第1G画像信号をG1x画像信号とし、反射率リニア第1B画像信号をB1x画像信号とする。
特定色調整部71は、部位設定部86で設定された部位とR1x画像信号、G1x画像信号、及びB1x画像信号とに基づいて、観察対象に含まれる粘膜の色を自動的に調整する第1粘膜色バランス処理を行う。第1粘膜色バランス処理は、例えば、下記D1)~D3)によって、画面全体の平均色が特定のカラーバランスになるように自動的に調整される。この第1粘膜色バランス処理を行うことにより、第1粘膜色バランス処理済みR1x画像信号、G1x画像信号、及びB1x画像信号が得られる。
式D1)第1粘膜色バランス処理済みR1x=R1x/R1ave×α_n
式D2)第1粘膜色バランス処理済みG1x=G1x/G1ave×β_n
式D3)第1粘膜色バランス処理済みB1x=B1x/B1ave×γ_n
ただし、上記第1粘膜色バランス処理は、観察対象において粘膜の色が支配的と仮定して行われる処理である。
式D1)第1粘膜色バランス処理済みR1x=R1x/R1ave×α_n
式D2)第1粘膜色バランス処理済みG1x=G1x/G1ave×β_n
式D3)第1粘膜色バランス処理済みB1x=B1x/B1ave×γ_n
ただし、上記第1粘膜色バランス処理は、観察対象において粘膜の色が支配的と仮定して行われる処理である。
なお、上記式D1)~D3)において、R1aveは、R1x画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。G1aveは、G1x画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。B1aveは、B1x画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。また、α_n(n=0,1,2)は、R1x画像信号を補正するための補正係数を表しており、β_n(n=0,1,2)は、G1x画像信号を補正するための補正係数を表しており、γ_n(n=0,1,2)は、B1x画像信号を補正するための補正係数を表している。
部位設定部86において、食道が設定されている場合は、上記式D1)~D3)の演算において、食道用の補正係数であるα_0、β_0、γ_0が用いられる。このような食道用の補正係数α_0、β_0、γ_0を用いて上記式1)の演算を行うことで、粘膜の色が、食道に対応する目標の色に合うようになる。また、部位設定部86において、胃が設定されている場合には、上記式D1)~D3)の演算において、胃用の補正係数であるα_1、β_1、γ_1が用いられる。このような胃用の補正係数α_1、β_1、γ_1を用いて上記式D1)~D3)の演算を行うことで、粘膜の色が、胃に対応する目標の色に合うようになる。また、部位設定部86において、大腸が設定されている場合には、上記式D1)~D3)の演算において、大腸用の補正係数であるα_2、β_2、γ_2が用いられる。このような大腸用の補正係数α_2、β_2、γ_2を用いて上記式D1)~D3)の演算を行うことで、粘膜の色が、大腸に対応する目標の色に合うようになる。
なお、特定色調整部71は、第1粘膜色バランス処理を自動的に行うことに代えて、手動で粘膜色を調整するようにしてもよい。この場合には、粘膜色を調整するための粘膜色調整メニューをモニタ18に表示し、コンソール19(色調整指示受付部)から、粘膜色を目標の色に調整するための指示(色調整指示)を受け付ける。特定色調整部71は、コンソール19からの指示を受信したら、粘膜色が目標の色に合うように、R1x画像信号、G1x画像信号、及びB1x画像信号の画素値を調整する。例えば、コンソール19による操作量と、粘膜色を目標の色に調整するためのR1x画像信号、G1x画像信号、及びB1x画像信号の画素値の調整量との対応関係は予め設定されている。
また、特定色調整部71は、手動で表層血管、又は深層血管を調整するようにしてもよい。この場合には、表層血管、又は深層血管を調整するための血管色調整メニューをモニタ18に表示し、コンソール19(色調整指示受付部)から、表層血管又は深層血管を目標の色に調整するための指示(色調整指示)を受け付ける。特定色調整部71は、コンソール19からの指示を受信したら、表層血管又は深層血管が目標の色に合うように、R1x画像信号、G1x画像信号、及びB1x画像信号の画素値を調整する。例えば、コンソール19による操作量と、表層血管又は深層血管を目標の色に調整するためのR1x画像信号、G1x画像信号、及びB1x画像信号の画素値の調整量との対応関係は予め設定されている。
また、特定色調整部71は、第1特殊画像の粘膜色と第2特殊画像の粘膜色とを一致させるために、第2特殊画像処理部64の特定色調整部90で行った第2粘膜色バランス処理の結果を用いて、第1粘膜色バランス処理を行うようにしてもよい。この場合、第1粘膜色バランス処理において、下記式DA1)~DA3)に示すように、R1ave、G1ave、B1aveに代えて、第2粘膜色バランス処理で得られるR2ave、G2ave、B2aveを用いるようにする。
式DA1)第1粘膜色バランス処理済みR1x=R1x/R2ave×α_n
式DB1)第1粘膜色バランス処理済みG1x=G1x/G2ave×β_n
式DC1)第1粘膜色バランス処理済みB1x=B1x/B2ave×γ_n
式DA1)第1粘膜色バランス処理済みR1x=R1x/R2ave×α_n
式DB1)第1粘膜色バランス処理済みG1x=G1x/G2ave×β_n
式DC1)第1粘膜色バランス処理済みB1x=B1x/B2ave×γ_n
以上のように、R2ave、G2ave、B2aveを用いる第2粘膜色バランス処理を行うことで、第1特殊画像の粘膜色と第2特殊画像の粘膜色とが一致するようになる。ここで、「第1特殊画像の粘膜色と第2特殊画像の粘膜色とが一致する」とは、第1特殊画像の粘膜色と第2特殊画像の粘膜色とが完全に一致することの他、第1特殊画像の粘膜色と第2特殊画像の粘膜色との色差が一定範囲内に収まっていることをいう。なお、特定色調整部90において、第1粘膜色バランス処理の結果を用いて、第2粘膜色バランス処理を行う場合には、特定色調整部71で得られたR1ave、G1ave、B1aveを、特定色調整部90に送信する。
Log変換部72は、特定色調整部71を経たR1x画像信号、G1x画像信号、及びB1x画像信号をそれぞれLog変換する。これにより、Log変換済みのRx画像信号(logR1x)、Log変換済みのG1x画像信号(logG1x)、及びLog変換済みのB1x画像信号(logB1x)が得られる。信号比算出部73は、Log変換済みのG1x画像信号とB1x画像信号に基づいて差分処理(logG1x-logB1x =logG1x/B1x=-log(B1x/G1x))することにより、B/G比(-log(B1x/G1x)のうち「-log」、「1x」を省略したものを「B/G比」と表記する)を算出する。また、Log変換済みのR1x画像信号とG1x画像信号に基づいて差分処理(logR1x-logG1x=logR1x/G1x=-log(G1x/R1x))することにより、G/R比を算出する。G/R比については、B/G比と同様、-log(G/R)のうち「-log」、「1x」を省略したものを表している。
なお、B/G比及びG/R比は、R1x画像信号、G1x画像信号、及びB1x画像信号において同じ位置にある画素の画素値から画素毎に求める。また、B/G比及びG/R比は画素毎に求める。また、B/G比は、血管深さ(粘膜表面から特定の血管がある位置までの距離)に相関があることから、血管深さが異なると、それに伴ってB/G比も変動する。また、G/R比は、血液量(ヘモグロビンインデックス)と相関があることから、血液量に変動が有ると、それに伴ってG/R比も変動する。
極座標変換部75は、信号比算出部73で求めたB/G比及びG/R比を、動径rと角度θに変換する。この極座標変換部75において、動径rと角度θへの変換は、全ての画素について行う。彩度強調処理部76は、動径rを拡張又は圧縮することにより、観察対象に含まれる複数の範囲の間の彩度差を大きくする彩度強調処理を行う。この彩度強調処理部76の詳細については後述する。色相強調処理部77は、角度θを拡張又は圧縮することにより、複数の範囲の間の色相差を大きくする色相強調処理を行う。この色相強調処理部77の詳細についても後述する。なお、彩度強調処理部76及び色相強調処理部77は、複数の範囲の間の色の差を大きくする色拡張処理部として機能する。
直交座標変換部78では、彩度強調処理及び色相強調処理済みの動径r及び角度θを、直交座標に変換する。これにより、角度拡張・圧縮済みのB/G比及びG/R比に変換される。RGB変換部79では、R1x画像信号、G1x画像信号、及びB1x画像信号のうち少なくともいずれか1つの画像信号を用いて、彩度強調処理及び色相強調処理済みのB/G比及びG/R比を、R1y画像信号、G1y画像信号、及びB1y画像信号に変換する。例えば、RGB変換部79は、R1x画像信号、G1x画像信号、及びB1x画像信号のうちGx画像信号とB/G比とに基づく演算を行うことにより、B/G比をB1y画像信号に変換する。また、RGB変換部79は、第1RGB画像信号のうちG1x画像信号とG/R比に基づく演算を行うことにより、G/R比をR1y画像信号に変換する。また、RGB変換部79は、G1x画像信号については、特別な変換を施すことなく、G1y画像信号として出力する。
明るさ調整部81は、R1x画像信号、G1x画像信号、及びB1x画像信号とR1y画像信号、G1y画像信号、及びB1y画像信号とを用いて、R1y画像信号、G1y画像信号、及びB1y画像信号の画素値を調整する。明るさ調整部81で、R1y画像信号、G1y画像信号、及びB1y画像信号の画素値を調整するのは、以下の理由による。彩度強調処理部76及び色相強調処理部77で色領域を拡張・圧縮する処理により得られたR1y画像信号、G1y画像信号、及びB1y画像信号は、R1x画像信号、G1x画像信号、及びB1x画像信号と明るさが大きく変わってしまう可能性がある。そこで、明るさ調整部81でR1y画像信号、G1y画像信号、及びB1y画像信号の画素値を調整することによって、明るさ調整後のR1y画像信号、G1y画像信号、及びB1y画像信号をR1x画像信号、G1x画像信号、及びB1x画像信号と同じ明るさになるようにする。
明るさ調整部81は、R1x画像信号、G1x画像信号、及びB1x画像信号に基づいて第1明るさ情報Yinを求める第1明るさ情報算出部81aと、R1y画像信号、G1y画像信号、及びB1y画像信号に基づいて第2明るさ情報Youtを求める第2明るさ情報算出部81bとを備えている。第1明るさ情報算出部81aは、「kr×R1x画像信号の画素値+kg×G1x画像信号の画素値+kb×B1x画像信号の画素値」の演算式に従って、第1明るさ情報Yinを算出する。第2明るさ情報算出部81bにおいても、第1明るさ情報算出部81aと同様に、上記と同様の演算式に従って、第2明るさ情報Youtを算出する。第1明るさ情報Yinと第2明るさ情報Youtが求まると、明るさ調整部81は、以下の式E1)~E3)に基づく演算を行うことにより、R1y画像信号、G1y画像信号、及びB1y画像信号の画素値を調整する。
E1):R1y*=R1y画像信号の画素値×Yin/Yout
E2):G1y*=G1y画像信号の画素値×Yin/Yout
E3):B1y*=B1y画像信号の画素値×Yin/Yout
なお、「R1y*」は明るさ調整後のR1y画像信号を、「G1y*」は明るさ調整後のG1y画像信号を、「B1y*」は明るさ調整後のB1y画像信号を表している。また、「kr」、「kg」、及び「kb」は「0」~「1」の範囲にある任意の定数である。
E1):R1y*=R1y画像信号の画素値×Yin/Yout
E2):G1y*=G1y画像信号の画素値×Yin/Yout
E3):B1y*=B1y画像信号の画素値×Yin/Yout
なお、「R1y*」は明るさ調整後のR1y画像信号を、「G1y*」は明るさ調整後のG1y画像信号を、「B1y*」は明るさ調整後のB1y画像信号を表している。また、「kr」、「kg」、及び「kb」は「0」~「1」の範囲にある任意の定数である。
構造強調部82では、明るさ調整部81を経たR1y画像信号、G1y画像信号、及びB1y画像信号に対して構造強調処理を施す。構造強調部82の詳細については後述する。逆Log変換部83は、構造強調部82を経たR1y画像信号、G1y画像信号、及びB1y画像信号に対して、逆Log変換を施す。これにより、真数の画素値を有するR1y画像信号、G1y画像信号、及びB1y画像信号が得られる。ガンマ変換部84は、逆Log変換部83を経た画像信号に対してガンマ変換を施す。これにより、モニタ18などの出力デバイスに適した階調を有するR1y画像信号、G1y画像信号、及びB1y画像信号が得られる。ガンマ変換部84を経たR1y画像信号、G1y画像信号、及びB1y画像信号は、映像信号生成部66に送られる。
彩度強調処理部76及び色相強調処理部77では、図15に示すように、観察対象に含まれる複数の囲として、正常粘膜を含む第1範囲、萎縮粘膜を含む第2範囲、萎縮粘膜下の深層血管(以下、単に深層血管とする)を含む第3範囲、BA(Brownish Area)を含む第4範囲、発赤を含む第5範囲間の彩度差又は色相差を大きくする。B/G比、G/R比により形成される信号比空間(特徴空間)の第一象限において、正常粘膜の第1範囲はほぼ中央に分布している。萎縮粘膜の第2範囲は、正常粘膜の第1範囲を通る基準線SLに対してやや時計回り方向側(後述のマイナス方向側)に位置し、且つ、正常粘膜の第1範囲よりも原点に近い位置に分布している。
深層血管の第3範囲は、基準線SLに対して時計回り方向側(後述のマイナス方向側)に分布している。BAの第4範囲は、基準線SLに対してやや反時計回り方向側(後述のプラス方向側)に分布している。発赤の第5範囲は、基準線SLに対して時計回り方向側(後述のマイナス方向側)に分布している。BAの第4範囲及び発赤の第5範囲は、正常粘膜の第1範囲よりも原点から遠い位置に分布している。なお、正常粘膜は観察対象の正常部に含まれ、萎縮粘膜、深層血管、BA、及び発赤は観察対象の異常部に含まれることが好ましい。また、基準線SLは後述する色相基準線SLhに対応している。
図16に示すように、彩度強調処理部76では、信号比空間において、動径変更範囲Rm内にある座標が示す動径rを変更する一方で、動径変更範囲Rx外の座標については動径rの変更は行わない。動径変更範囲Rmは、動径rが「r1」から「r2」の範囲内である(r1<r2)。また、動径変更範囲Rmにおいては、動径r1と動径r2との間にある動径rc上に、彩度基準線SLsが設定されている。ここで、動径rは大きければ大きいほど彩度が高くなることから、彩度基準線SLsが示す動径rcよりも動径rが小さい範囲rcr1(r1<r<rc)は低彩度範囲とされる。一方、彩度基準線SLsが示す動径rcよりも動径rが大きい範囲rcr2(rc<r<r2)は高彩度範囲とされる。
彩度強調処理部76で行われる彩度強調処理は、図17に示すように、動径変更範囲Rm内に含まれる座標の動径rの入力に対して、動径Rx(r)を出力する。この彩度強調処理による入出力の関係は実線で表される。彩度強調処理は、低彩度範囲rcr1においては、出力Rx(r)を入力rよりも小さくする一方で、高彩度範囲rcr2においては、出力Rx(r)を入力rよりも大きくする。また、Rx(rc)における傾きKxは、「1」以上に設定されている。これにより、低彩度範囲に含まれる観察対象の彩度をより低くする一方で、高彩度範囲に含まれる観察対象の彩度をより高くすることができる。このような彩度強調により、複数の範囲の間の彩度差を大きくすることができる。
なお、観察対象における粘膜の色は部位によって変化することから、色拡張処理の一つである彩度強調処理の結果については、部位毎に定められた調整パラメータによって、調整を行うことが好ましい。例えば、彩度強調処理部76において出力されたRx(r)については、部位毎に定められた調整パラメータによって、彩度を調整する。部位設定部86において、食道が設定されている場合には、食道用の調整パラメータP0をRx(r)に掛け合わせて、彩度を調整する。また、部位設定部86において、胃が設定されている場合には、胃用の調整パラメータP1をRx(r)に掛け合わせて、彩度を調整する。また、部位設定部86において、大腸が設定されている場合には、大腸用の調整パラメータP2をRx(r)に掛け合わせて、彩度を調整する。
図18に示すように、色相強調処理部77では、信号比空間において、角度変更範囲Rn内にある座標が示す角度θを変更する一方で、角度変更範囲Rn外の座標については角度θの変更は行わない。角度変更範囲Rnは、色相基準線SLhから反時計回り方向(プラス方向)の角度θ1の範囲と、色相基準線SLhから時計回り方向(マイナス方向)の角度θ2の範囲とで構成されている。角度変更範囲Rnに含まれる座標の角度θは、色相基準線SLhに対するなす角度θで再定義される。角度θが変わると色相も変化することから、角度変更範囲Rnのうち、角度θ1の範囲をプラス側の色相範囲θ1と、角度θ2の範囲をマイナス側の色相範囲θ2とする。
色相強調処理部77において行う色相強調処理は、図19に示すように、角度変更範囲Rn内に含まれる座標の角度θの入力に対して、角度Fx(θ)を出力する。この第1色相強調処理による入出力の関係は実線で表される。色相強調処理は、マイナス側の色相範囲θ2においては、出力Fx(θ)を入力θよりも小さくする一方で、プラス側の色相範囲θ1においては、出力Fx(θ)を入力θよりも大きくする。これにより、マイナス側の色相範囲に含まれる観察対象とプラス側の色相範囲に含まれる観察対象との色相の違いを大きくすることができる。このような色相強調により、複数の範囲の間の色相差を大きくすることができる。
なお、観察対象における粘膜の色は部位によって変化することから、色拡張処理の一つである色相強調処理の結果については、部位毎に定められた調整パラメータによって、調整を行うことが好ましい。例えば、色相強調処理部77において出力されたFx(θ)については、部位に応じた調整パラメータによって、色相を調整する。部位設定部86において、食道が設定されている場合には、食道用の調整パラメータQ0をFx(θ)に掛け合わせて、色相を調整する。また、部位設定部86において、胃が設定されている場合には、胃用の調整パラメータQ1をFx(r)に掛け合わせて、色相を調整する。また、部位設定部86において、大腸が設定されている場合には、大腸用の調整パラメータQ2をFx(θ)に掛け合わせて、色相を調整する。
以上のように、彩度強調処理及び色相強調処理を行うことによって、図20に示すように、彩度強調処理及び色相強調処理後の萎縮粘膜の第2範囲(実線)は、彩度強調処理及び色相強調処理前の萎縮粘膜の第2範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。同様にして、彩度強調処理及び色相強調処理後の深層血管(実線)、BAの第4範囲(実線)、及び発赤の第5範囲(実線)は、彩度強調処理及び色相強調処理前の深層血管(点線)、BAの第4範囲(点線)、及び発赤の第5範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。
なお、R1x画像信号、G1x画像信号、及びB1x画像信号をLab変換部でLab変換して得られるa*、b*(色情報であるCIE Lab空間の色味の要素a*、b*を表す。以下同様)から形成される特徴空間(ab空間)の場合も、図21に示すように、正常粘膜の第1範囲、萎縮粘膜の第2範囲、深層血管の第3範囲、BAの第4範囲、及び発赤の第5範囲について、信号比空間と同様に分布している。そして、上記と同様の方法で、動径rを拡張又は圧縮する彩度強調処理を行うとともに、角度θを拡張又は圧縮する色相強調処理を行う。このような色相強調処理と彩度強調処理を行うことによって、彩度強調処理及び色相強調処理後の萎縮粘膜の第2範囲(実線)、深層血管の第3範囲(実線)、BAの第4範囲(実線)、及び発赤の第5範囲(実線)は、彩度強調処理及び色相強調処理前の萎縮粘膜の第2範囲(点線)、深層血管の第3範囲(点線)、BAの第4範囲(点線)、及び発赤の第5範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。
図22に示すように、構造強調部82は、構造強調処理として、観察対象に含まれる特定の範囲の構造強調を行う。構造強調する特定の範囲には、萎縮粘膜の第2範囲、深層血管の第3範囲、BAの第4範囲、又は発赤の第5範囲が含まれる。構造強調部82は、周波数強調部92と、合成比率設定部93と、画像合成部94とを備えている。周波数強調部92は、R1y画像信号、G1y画像信号、及びB1y画像信号のそれぞれに対して、複数の周波数フィルタリング(BPF(Band Pass Filtering))を施すことによって、複数の周波数強調画像を得る。なお、構造強調部82においては、表層血管を強調する処理を行うことが好ましい。
周波数強調部92では、萎縮粘膜領域を多く含む低周波の第1周波数成分を抽出する萎縮粘膜領域用の周波数フィルタリング、深層血管領域を多く含む中周波の第2周波数成分を抽出する深層血管領域用の周波数フィルタリング、BA領域を多く含む低周波の第3周波数成分を抽出するBA用の周波数フィルタリング、発赤領域を多く含む低周波の第4周波数成分を抽出する発赤用の周波数フィルタリングが用いられる。
萎縮粘膜領域用の周波数フィルタリングを施すことによって、第1周波数成分強調画像BPF1(RGB)が得られる。BPF1(RGB)は、R1y画像信号、G1y画像信号、及びB1y画像信号のそれぞれに対して、萎縮粘膜領域用の周波数フィルタリングが施された画像信号であることを示している。深層血管領域用の周波数フィルタリングを施すことによって、第2周波数成分強調画像BPF2(RGB)が得られる。BPF2(RGB)は、R1y画像信号、G1y画像信号、及びB1y画像信号のそれぞれに対して、深層血管領域用の周波数フィルタリングが施された画像信号であることを示している。
BA領域用の周波数フィルタリングを施すことによって、第3周波数成分強調画像BPF3(RGB)が得られる。BPF3(RGB)は、R1y画像信号、G1y画像信号、及びB1y画像信号のそれぞれに対して、BA領域用の周波数フィルタリングが施された画像信号であることを示している。発赤領域用の周波数フィルタリングを施すことによって、第4周波数成分強調画像BPF4(RGB)が得られる。BPF4(RGB)は、R1y画像信号、G1y画像信号、及びB1y画像信号のそれぞれに対して、発赤領域用の周波数フィルタリングが施された画像信号であることを示している。
合成比率設定部93は、彩度強調処理及び色相強調処理前のB/G比、G/R比(図14参照)に基づいて、R1y画像信号、G1y画像信号、及びB1y画像信号に対して第1~第4周波数成分強調画像BPF1~4(RGB)を合成する割合を示す合成比率g1(B/G比、G/R比)、g2(B/G比、G/R比)、g3(B/G比、G/R比)、g4(B/G比、G/R比)を画素毎に設定する。
図23に示すように、合成比率g1(B/G比、G/R比)については、B/G比、G/R比が第2範囲に入っている画素は、g1xに設定し、B/G比、G/R比がその他の範囲(第3範囲、第4範囲、第5範囲)に入っている画素は、合成比率g1(B/G比、G/R比)をg1yに設定する。g1xは、B/G比、G/R比が第2範囲に入っている画素に対して、第1周波数成分画像を加算するために大きく設定されている。例えば、g1xは「100%」である。これに対して、g1yは、第1周波数成分画像を加算しない又はほとんど加算しないように、極めて小さく設定されている。例えば、g1yは「0%」である。
合成比率g2(B/G比、G/R比)については、B/G比、G/R比が第3範囲に入っている画素は、g2xに設定し、B/G比、G/R比がその他の範囲(第2範囲、第4範囲、第5範囲)に入っている画素については、g2yに設定する。g2xは、B/G比、G/R比が第3範囲に入っている画素に対して、第2周波数成分画像を加算するために大きく設定されている。例えば、g2xは「100%」である。これに対して、g2yは、第2周波数成分画像を加算しない又はほとんど加算しないように、極めて小さく設定されている。例えば、g2yは「0%」である。
合成比率g3(B/G比、G/R比)については、B/G比、G/R比が第4範囲に入っている画素は、g3xに設定し、B/G比、G/R比がその他の範囲(第2範囲、第3範囲、第5範囲)に入っている画素については、g3yに設定する。g3xは、B/G比、G/R比が第4範囲に入っている画素に対して、第3周波数成分画像を加算するために大きく設定されている。例えば、g3xは「100%」である。これに対して、g3yは、第3周波数成分画像を加算しない又はほとんど加算しないように、極めて小さく設定されている。例えば、g3yは「0%」である。
合成比率g4(B/G比、G/R比)については、B/G比、G/R比が第5範囲に入っている画素は、g4xに設定し、B/G比、G/R比がその他の範囲(第2範囲、第3範囲、第4範囲)に入っている画素については、g4yに設定する。g4xは、B/G比、G/R比が第5範囲に入っている画素に対して、第4周波数成分画像を加算するために大きく設定されている。例えば、g4xは「100%」である。これに対して、g4yは、第4周波数成分画像を加算しない又はほとんど加算しないように、極めて小さく設定されている。例えば、g4yは「0%」である。
画像合成部94は、下記式F)に基づいて、合成比率設定部93で画素毎に設定した合成比率によって、R1y画像信号、G1y画像信号、及びB1y画像信号と第1~第4周波数成分強調画像BPF1~4(RGB)を合成する。これにより、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号が得られる。
式F):構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号
=R1y画像信号、G1y画像信号、及びB1y画像信号
+BPF1(RGB)×Gain1(RGB)×g1(B/G比、G/R比)
+BPF2(RGB)×Gain2(RGB)×g2(B/G比、G/R比)
+BPF3(RGB)×Gain3(RGB)×g3(B/G比、G/R比)
+BPF4(RGB)×Gain4(RGB)×g4(B/G比、G/R比)
式F):構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号
=R1y画像信号、G1y画像信号、及びB1y画像信号
+BPF1(RGB)×Gain1(RGB)×g1(B/G比、G/R比)
+BPF2(RGB)×Gain2(RGB)×g2(B/G比、G/R比)
+BPF3(RGB)×Gain3(RGB)×g3(B/G比、G/R比)
+BPF4(RGB)×Gain4(RGB)×g4(B/G比、G/R比)
なお、式F)のGain1~4(RGB)は、第1~第4周波数成分強調画像のエッジの特性によって予め決められる。例えば、深層血管、BAが多く含まれる第2、第3周波数成分強調画像では、それら深層血管、BAは、画像の値が「0」よりも下回るダウンエッジとなっているので、Gain2、3(RGB)は負の値に設定することが好ましい。
ここで、B/G比、G/R比が第2範囲内に含まれる画素については、合成比率設定部93において、合成比率g1(B/G比、G/R比)がg1xに、合成比率g2、g3、g4(B/G比、G/R比)がg2y、g3y、g4yに設定されているため、B/G比、G/R比が第2範囲内にある画素に対して第1周波数強調成分が加算され、B/G比、G/R比が第3~5範囲内にある画素に対して第1周波数強調成分は、ほとんど又は全く加算されない。第2範囲には、萎縮粘膜領域が多く含まれていることから、第1周波数強調成分の加算により、萎縮粘膜を構造強調することができる。
また、B/G比、G/R比が第3範囲内に含まれる画素については、合成比率設定部93において、合成比率g2(B/G比、G/R比)がg2xに、合成比率g1、g3、g4(B/G比、G/R比)がg1y、g3y、g4yに設定されているため、B/G比、G/R比が第3範囲内にある画素に対して第2周波数強調成分が加算され、B/G比、G/R比が第2、4、5範囲内にある画素に対して第2周波数強調成分は、ほとんど又は全く加算されない。第3範囲には、深層血管領域が多く含まれていることから、第2周波数強調成分の加算により、深層血管領域を構造強調することができる。
また、B/G比、G/R比が第4範囲内に含まれる画素については、合成比率設定部93において、合成比率g3(B/G比、G/R比)がg3xに、合成比率g1、g2、g4(B/G比、G/R比)がg1y、g2y、g4yに設定されているため、B/G比、G/R比が第4範囲内にある画素に対して第3周波数強調成分が加算され、B/G比、G/R比が第2,3、5範囲内にある画素に対して第3周波数強調成分は、ほとんど又は全く加算されない。第4範囲には、BA領域が多く含まれていることから、第3周波数強調成分の加算により、BA領域を構造強調することができる。
また、B/G比、G/R比が第5範囲内に含まれる画素については、合成比率設定部93において、合成比率g4(B/G比、G/R比)がg4xに、合成比率g1、g2、g3(B/G比、G/R比)がg1y、g2y、g3yに設定されているため、B/G比、G/R比が第5範囲内にある画素に対して第4周波数強調成分が加算され、B/G比、G/R比が第2~4範囲内にある画素に対して第4周波数強調成分は、ほとんど又は全く加算されない。第5範囲には、発赤領域が多く含まれていることから、第4周波数強調成分の加算により、発赤領域を構造強調することができる。
以上のように、B/G比、G/R比に基づいて画素毎に合成比率を設定し、その画素毎に設定した合成比率に基づいて、R1y画像信号、G1y画像信号、及びB1y画像信号に周波数成分強調画像を合成することによって、萎縮粘膜領域、深層血管領域、BA、発赤などの特定の範囲を選択的に強調することが可能となる。例えば、B/G比、G/R比に関係なく、第1又は第3周波数成分強調画像を色差強調画像の全画素に加算した場合、第1又は第3周波数成分画像は低周波成分を強調した画像であるため、萎縮粘膜とBAのいずれも強調されることになる。そこで、本発明のように、色差強調画像のうちB/G比、G/R比が第2範囲にある画素にのみ、第1周波数成分強調画像を加算することで、BAを強調せずに、萎縮粘膜のみを強調することが可能となる。これに対して、色差強調画像のうちB/G比、G/R比が第4範囲にある画素にのみ、第3周波数成分強調画像を加算することで、BAを強調せずに、萎縮粘膜のみを強調することが可能となる。
なお、観察対象における粘膜の色は部位によって変化することから、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号については、部位に応じた調整パラメータによって、画素値を調整することが好ましい。例えば、部位設定部86において、食道が設定されている場合には、食道用の調整パラメータS0を、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号に掛け合わせて、画素値を調整する。また、部位設定部86において、胃が設定されている場合には、胃用の調整パラメータS1を、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号に掛け合わせて、画素値を調整する。また、部位設定部86において、大腸が設定されている場合には、大腸用の調整パラメータS2を、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号に掛け合わせて、画素値を調整する。
図14に示すように、第2特殊画像処理部64は第1特殊画像処理部63と同様の処理部を有している。ただし、第2特殊画像処理部64では、処理の内容が第1特殊画像処理部63と一部異なっている。例えば、第2特殊画像処理部64の構造強調部82においては、深層血管を強調する処理を行うことが好ましい。また、第2特殊画像処理部64においては、逆ガンマ変換後の第2RGB画像信号のうち、反射率リニア第2R画像信号をR2x画像信号とし、反射率リニア第2G画像信号をG2x画像信号とし、反射率リニア第2B画像信号をB2x画像信号とする。なお、第3特殊画像処理部65については、図14において図示を行っていない(図25、図29についても同様)が、第1特殊画像処理部63と同様の処理部を有し、且つ処理の内容が第1特殊画像処理部63と一部異なっている。例えば、第3特殊画像処理部65の構造強調部82においては、表層と深層の間の中間層の血管を強調する処理を行うことが好ましい。
第2特殊画像処理部64の特定色調整部90においては、部位設定部86で設定された部位とR2x画像信号、G2x画像信号、及びB2x画像信号とに基づいて、観察対象に含まれる粘膜の色を自動的に調整する第2粘膜色バランス処理を行う。第2粘膜色バランス処理は、第1粘膜色バランス処理と同様であり、例えば、下記G1)~G3)によって、行われる。これにより、第2粘膜色バランス処理済みR2x画像信号、G2x画像信号、及びB2x画像信号が得られる。
式G1)第2粘膜色バランス処理済みR2x=R2x/R2ave×α_n
式G2)第2粘膜色バランス処理済みG2x=G2x/G2ave×β_n
式G3)第2粘膜色バランス処理済みB2x=B2x/B2ave×γ_n
ただし、上記第2粘膜色バランス処理についても、第1粘膜色バランス処理と同様、観察対象において粘膜の色が支配的と仮定して行われる処理である。
式G1)第2粘膜色バランス処理済みR2x=R2x/R2ave×α_n
式G2)第2粘膜色バランス処理済みG2x=G2x/G2ave×β_n
式G3)第2粘膜色バランス処理済みB2x=B2x/B2ave×γ_n
ただし、上記第2粘膜色バランス処理についても、第1粘膜色バランス処理と同様、観察対象において粘膜の色が支配的と仮定して行われる処理である。
なお、上記式G1)~G3)において、R2aveは、R2x画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。G2aveは、G2x画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。B2aveは、B2x画像信号の平均画素値(画面全体(有効画素)の画素値の総和/有効画素数)を表している。また、α_n(n=0,1,2)、β_n(n=0,1,2)、γ_n(n=0,1,2)は、それぞれ、R2x画像信号、G2x画像信号、及びB2x画像信号を補正するための補正係数を表している。
なお、特定色調整部90は、特定色調整部71と同様、第2粘膜色バランス処理を自動的に行うことに代えて、手動で粘膜色、表層血管の色、又は深層血管の色を調整するようにしてもよい。手動による粘膜色の調整については、特定色調整部71の場合と同様である。
また、特定色調整部90は、第1特殊画像の粘膜色と第2特殊画像の粘膜色とを一致させるために、第1特殊画像処理部63の特定色調整部71で行った第1粘膜色バランス処理の結果を用いて、第2粘膜色バランス処理を行うようにしてもよい。この第1粘膜色バランス処理の結果を用いる第2粘膜色バランス処理の方法は、上記したように、第2粘膜色バランス処理の結果を用いる第1粘膜色バランス処理の方法と同様である。
次に、マルチ観察モードについて、図24のフローチャートに沿って説明を行う。モード切替SW13aを操作して、マルチ観察モードに切り替えを行う。マルチ観察モードに切り替えられると、第1照明光が、予め設定された第1照明光の発光期間分だけ続けて発光される。例えば、第1照明光の発光期間が2フレームの場合には、2フレーム続けて第1照明光が発光される。第1照明光により照明中の観察対象を撮像して得られる第1特殊画像については、第1照明光の発光期間分だけ続けてモニタ18に表示される。
第1照明光の発光期間分の第1照明光の発光が終わると、光源制御部21は、第1照明光から第2照明光に自動的に切り替えを行う。この第2照明光は、予め設定された第2照明光の発光期間分だけ続けて発光される。例えば、第2照明光の発光期間が3フレームの場合には、3フレーム続けて第2照明光が発光される。第2照明光により照明中の観察対象を撮像して得られる第2特殊画像については、第1照明光の発光期間分だけ続けてモニタ18に表示される。以上のように、第1照明光と第2照明光とを自動的に切り替えて発光し、且つ第1特殊画像と第2特殊画像とを切り替えてモニタ18に表示することについては、他のモードへの切り替えなどマルチ観察モードが終了するまで繰り返し行われる。
なお、上記実施形態では、信号比算出部73で第1RGB画像信号からB/G比及びG/R比を求め、これらB/G比及びG/R比から形成される信号比空間において彩度強調処理及び色相強調処理を行っているが、B/G比及びG/R比と異なる色情報を求め、この色情報から形成される特徴空間において彩度強調処理及び色相強調処理を行ってもよい。
例えば、色情報として色差信号Cr及びCbを求め、色差信号Cr及びCbから形成される特徴空間において彩度強調処理及び色相強調処理を行ってもよい。この場合、図25に示す第1特殊画像処理部100及び第2特殊画像処理部101が用いられる。第1特殊画像処理部100及び第2特殊画像処理部101は、第1特殊画像処理部63及び第2特殊画像処理部64と異なり、Log変換部72、信号比算出部73、逆Log変換部83を備えていない。その代わりに、第1特殊画像処理部100及び第2特殊画像処理部101は、輝度色差信号変換部104を備えている。それ以外の構成については、第1特殊画像処理部100及び第2特殊画像処理部101は第1特殊画像処理部63及び第2特殊画像処理部64と同様である。
輝度色差信号変換部104は、R1x画像信号、G1x画像信号、及びB1x画像信号を輝度信号Yと色差信号Cr及びCbに変換する。色差信号Cr及びCbへの変換には周知の変換式が用いられる。色差信号Cr及びCbについては極座標変換部75に送られる。輝度信号YについてはRGB変換部79と明るさ調整部81に送られる。RGB変換部79では、直交座標変換部78を経た色差信号Cr及びCbと輝度信号Yを、R1y画像信号、G1y画像信号、及びB1y画像信号に変換する。
明るさ調整部81では、第1明るさ情報Yinとして輝度信号Yを用いるとともに、第2明るさ情報Youtとして第2明るさ情報算出部81bで求めた第2明るさ情報を用いて、R1y画像信号、G1y画像信号、及びB1y画像信号の画素値の調整を行う。なお、第2明るさ情報Youtの算出方法とR1y画像信号、G1y画像信号、及びB1y画像信号の画素値の調整方法については、第1特殊画像処理部63の場合と同じである。
色差信号Cr及びCbにより形成されるCrCb空間では、図26に示すように、第二象限において、正常粘膜を含む第1範囲はほぼ中央に分布している。萎縮粘膜を含む第2範囲は、正常粘膜の第1範囲を通る基準線SLに対してやや時計回り方向側に位置し、且つ、正常粘膜の第1範囲よりも原点に近い位置に分布している。深層血管を含む第3範囲は、基準線SLに対して時計回り方向側に分布している。BAを含む第4範囲は、基準線SLに対してやや反時計回り方向側に分布している。発赤を含む第5範囲は、基準線SLに対して時計回り方向側に分布している。なお、基準線SLは、前述の色相基準線SLhに対応している。CrCb空間においては、基準線SLに対して反時計回り方向が上述のプラス方向に対応しており、基準線SLに対して時計回り方向が上述のマイナス方向に対応している。
以上のように第1~第5範囲が分布するCrCb空間において、信号比空間の場合と同様に、動径rを拡張又は圧縮する彩度強調処理及び角度θを拡張又は圧縮する色相強調処理を行う。これにより、図27に示すように、彩度強調処理及び色相強調処理後の萎縮粘膜の第2範囲(実線)は、彩度強調処理及び色相強調処理前の萎縮粘膜の第2範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。同様にして、彩度強調処理及び色相強調処理後の深層血管(実線)、BAの第4範囲(実線)、及び発赤の第5範囲(実線)は、彩度強調処理及び色相強調処理前の深層血管(点線)、BAの第4範囲(点線)、及び発赤の第5範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。なお、観察対象における粘膜の色は部位によって変化することから、信号比空間の場合と同様、部位毎に定めた調整パラメータによって、色差信号Cr,Cbに基づく彩度強調処理又は色相強調処理の処理結果を調整することが好ましい。
また、色差信号Cr、Cbを用いる場合の構造強調処理についても、信号比空間の場合と同様の方法によって行う。図28に示すように、第1特殊画像処理部100及び第2特殊画像処理部101の構造強調部82においては、合成比率設定部93に対して、色差信号Cr,Cbが入力される。合成比率設定部93は、彩度強調処理及び色相強調処理前のCr,Cbに基づいて、R1y画像信号、G1y画像信号、及びB1y画像信号に対して第1~第4周波数成分強調画像BPF1~4(RGB)を合成する割合を示す合成比率g1(Cr、Cb)、g2(Cr、Cb)、g3(Cr、Cb)、g4(Cr、Cb)を画素毎に設定する。この合成比率g1(Cr、Cb)、g2(Cr、Cb)、g3(Cr、Cb)、g4(Cr、Cb)の設定方法は、上記と同様に、Cr、Cbが第2~第5範囲のいずれに入っているかによって決定される。
そして、合成比率設定部93で画素毎に設定した合成比率g1(Cr、Cb)、g2(Cr、Cb)、g3(Cr、Cb)、g4(Cr、Cb)に従って、R1y画像信号、G1y画像信号、及びB1y画像信号と第1~第4周波数成分強調画像BPF1~4(RGB)を合成する。これにより、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号が得られる。なお、CrCbを用いる場合においても、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号については、部位毎に定めた調整パラメータによって、画素値を調整することが好ましい。
また、色情報として色相H(Hue)、彩度S(Saturation)を求め、色相H、彩度Sから形成されるHS空間において彩度強調処理及び色相強調処理を行ってもよい。色相H、彩度Sを用いる場合には、図29に示す第1特殊画像処理部120及び第2特殊画像処理部121が用いられる。第1特殊画像処理部120及び第2特殊画像処理部121は、第1特殊画像処理部63及び第2特殊画像処理部64と異なり、Log変換部72、信号比算出部73、極座標変換部75、直交座標変換部78、及び逆Log変換部83を備えていない。その代わりに、第1特殊画像処理部120及び第2特殊画像処理部121は、HSV変換部124を備えている。それ以外の構成については、第1特殊画像処理部120及び第2特殊画像処理部121は、第1特殊画像処理部63及び第2特殊画像処理部64と同様である。
HSV変換部124は、R1x画像信号、G1x画像信号、及びB1x画像信号を色相H、彩度S、及び明度V(Value)に変換する。色相H、彩度S、明度Vへの変換には周知の変換式が用いられる。色相Hと彩度Sについては彩度強調処理部76及び色相強調処理部77に送られる。明度VについてはRGB変換部79に送られる。RGB変換部79では、彩度強調処理部76及び色相強調処理部77を経た色相H、彩度Sと明度Vを、R1y画像信号、G1y画像信号、及びB1y画像信号に変換する。
明るさ調整部81では、第1明るさ情報算出部で求めた第1明るさ情報Yinと、第2明るさ情報算出部81bで求めた第2明るさ情報Youtを用いて、R1y画像信号、G1y画像信号、及びB1y画像信号の画素値の調整を行う。なお、第1明るさ情報Yin、第2明るさ情報Youtの算出方法、及びR1y画像信号、G1y画像信号、及びB1y画像信号の画素値の調整方法については、上記第1特殊画像処理部63の場合と同じである。
色相H、彩度Sにより形成されるHS空間では、図30に示すように、正常粘膜を含む第1範囲は、特定の色相の値を示す基準線SL上に分布している。萎縮粘膜を含む第2範囲は、基準線SLよりも低彩度の位置に分布している。BAを含む第4範囲は、正常粘膜の第1範囲よりも高彩度の位置であって、基準線SLに対して、第1色相方向(右側)の位置に分布している。発赤を含む第5範囲は、正常粘膜の第1範囲よりも高彩度の位置であって、基準線SLに対して、第2色相方向(左側)の位置に分布している。深層血管を含む第3範囲は、正常粘膜の第1範囲よりも高彩度の位置であって、BAの第4範囲又は発赤の第5範囲よりも低彩度の位置に分布している。また、深層血管の第3範囲は、基準線SLに対して第1色相方向と異なる第2色相方向(左側)の位置に分布している。発赤の第5範囲と基準線SLとの色相方向への距離は、深層血管の第3範囲と基準線SLとの距離よりも小さくなっている。
以上のように第1~第5範囲が分布するHS空間での彩度強調処理及び色相強調処理は、信号比空間及びCrCb空間のように動径rと角度θを拡張又は圧縮するのではなく、第2~第5範囲を平行移動させる処理を行う。彩度強調処理部76は、彩度強調処理として、萎縮粘膜の第2範囲について低彩度となるように、彩度方向に平行移動させる処理を行う。一方、彩度強調処理部76は、彩度強調処理として、深層血管の第3範囲、BAの第4範囲、及び発赤の第5範囲について、高彩度となるように、彩度方向に平行移動させる処理を行うことが好ましい。
なお、これら第3~第5範囲については、低彩度となるように平行移動させてもよい。また、色相強調処理部77は、色相強調処理として、深層血管の第3範囲、BAの第4範囲、発赤の第5範囲について、正常粘膜の第1範囲から離れるように、色相方向に平行移動させる処理を行う。なお、色相強調処理部77は、色相強調処理として、萎縮粘膜の第2範囲を色相方向に移動させる処理を行ってもよい。
以上の彩度強調処理及び色相強調処理を行うことにより、図31に示すように、彩度強調処理及び色相強調処理後の萎縮粘膜の第2範囲(実線)は、彩度強調処理及び色相強調処理前の萎縮粘膜の第2範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。同様にして、彩度強調処理及び色相強調処理後の深層血管(実線)、BAの第4範囲(実線)、及び発赤の第5範囲(実線)は、第1彩度強調処理及び第1色相強調処理前の深層血管(点線)、BAの第4範囲(点線)、及び発赤の第5範囲(点線)よりも、正常粘膜の第1範囲との差が大きくなっている。なお、観察対象における粘膜の色は部位によって変化することから、信号比空間の場合と同様、部位毎に定めた調整パラメータによって、色相H、彩度Sに基づく彩度強調処理及び色相強調処理の処理結果を調整することが好ましい。
また、信号比空間の場合と同様の方法によって、CrCbに基づいて、構造強調処理を行う。図32に示すように、第1特殊画像処理部120及び第2特殊画像処理部121の構造強調部82においては、合成比率設定部93に対して、色相H、彩度Sが入力される。合成比率設定部93は、彩度強調処理及び色相強調処理前の色相H、彩度Sに基づいて、R1y画像信号、G1y画像信号、及びB1y画像信号に対して第1~第4周波数成分強調画像BPF1~4(RGB)を合成する割合を示す合成比率g1(H、S)、g2(H、S)、g3(H、S)、g4(H、S)を画素毎に設定する。この合成比率g1(H、S)、g2(H、S)、g3(H、S)、g4(H、S)の設定方法は、上記と同様に、色相H、彩度Sが第2~第5範囲のいずれに入っているかによって決定される。
そして、合成比率設定部93で画素毎に設定した合成比率g1(H、S)、g2(H、S)、g3(H、S)、g4(H、S)に従って、R1y画像信号、G1y画像信号、及びB1y画像信号と第1~第4周波数成分強調画像BPF1~4(RGB)を合成する。これにより、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号が得られる。なお、色相H、彩度Sを用いる場合においても、構造強調処理済みのR1y画像信号、G1y画像信号、及びB1y画像信号については、部位毎に定めた調整パラメータによって、画素値を調整することが好ましい。
[第2実施形態]
第2実施形態では、第1実施形態で示した4色のLED20a~20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
第2実施形態では、第1実施形態で示した4色のLED20a~20dの代わりに、レーザ光源と蛍光体を用いて観察対象の照明を行う。それ以外については、第1実施形態と同様である。
図33に示すように、第2実施形態の内視鏡システム200では、光源装置14において、4色のLED20a~20dの代わりに、中心波長445±10nmの青色レーザ光を発する青色レーザ光源(図33では「445LD」と表記)204と、中心波長405±10nmの青紫色レーザ光を発する青紫色レーザ光源(図33では「405LD」と表記)206とが設けられている。これら各光源204及び206の半導体発光素子からの発光は、光源制御部208により個別に制御されており、青色レーザ光源204の出射光と、青紫色レーザ光源206の出射光の光量比は変更自在になっている。
光源制御部208は、通常観察モードの場合には、青色レーザ光源204を駆動させる。第1特殊観察モードの場合には、青色レーザ光源204と青紫色レーザ光源206の両方を駆動させ、且つ、青紫色レーザ光の発光比率を青色レーザ光の発光比率よりも大きくなるように制御する。第2特殊観察モードの場合には、青色レーザ光源204と青紫色レーザ光源206の両方を駆動させ、且つ、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御する。
マルチ観察モードの場合には、青色レーザ光源204と青紫色レーザ光源206の両方を駆動させ、且つ、第1照明光の発光期間においては、青紫色レーザ光の発光比率を青色レーザ光の発光比率よりも大きくなるように制御し、第2照明光の発光期間においては、青色レーザ光の発光比率を青紫色レーザ光の発光比率よりも大きくなるように制御する。以上の各光源204及び206から出射されるレーザ光は、集光レンズ、光ファイバ、又は合波器などの光学部材(いずれも図示せず)を介して、ライトガイド41に入射する。
なお、青色レーザ光又は青紫色レーザ光の半値幅は±10nm程度にすることが好ましい。また、青色レーザ光源104及び青紫色レーザ光源106は、ブロードエリア型のInGaN系レーザダイオードが利用でき、また、InGaNAs系レーザダイオードやGaNAs系レーザダイオードを用いることもできる。また、上記光源として、発光ダイオード等の発光体を用いた構成としてもよい。
照明光学系30aには、照明レンズ45の他に、ライトガイド41からの青色レーザ光又は青紫色レーザ光が入射する蛍光体210が設けられている。蛍光体210に、青色レーザ光が照射されることで、蛍光体210から蛍光が発せられる。また、一部の青色レーザ光は、そのまま蛍光体210を透過する。青紫色レーザ光は、蛍光体210を励起させることなく透過する。蛍光体210を出射した光は、照明レンズ45を介して、検体内に照射される。
ここで、通常観察モードにおいては、主として青色レーザ光が蛍光体210に入射するため、図34に示すような、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した通常光が、観察対象に照射される。第1特殊観察モードにおいては、青紫色レーザ光と青色レーザ光の両方が蛍光体210に入射するため、図35に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した第1照明光が、検体内に照射される。この第1照明光においては、青紫色レーザ光の光強度は青色レーザ光の光強度よりも大きくなっている。
第2特殊観察モードにおいても、青紫色レーザ光と青色レーザ光の両方が蛍光体210に入射するため、図36に示すような、青紫色レーザ光、青色レーザ光、及び青色レーザ光により蛍光体210から励起発光する蛍光を合波した第2照明光が、検体内に照射される。この第2照明光においては、青色レーザ光の光強度は青紫色レーザ光の光強度よりも大きくなっている。マルチ観察モードにおいては、第1照明光が、予め設定された第1照明光の発光期間分だけ続けて照射され、続けて、第2照明光が、予め設定された第2照明光の発光期間分だけ続けて照射される。
なお、蛍光体210は、青色レーザ光の一部を吸収して、緑色~黄色に励起発光する複数種の蛍光体(例えばYAG系蛍光体、或いはBAM(BaMgAl10O17)等の蛍光体)を含んで構成されるものを使用することが好ましい。本構成例のように、半導体発光素子を蛍光体210の励起光源として用いれば、高い発光効率で高強度の白色光が得られ、白色光の強度を容易に調整できる上に、白色光の色温度及び色度の変化を小さく抑えることができる。
上記実施形態において、第1特殊画像処理部63、第2特殊画像処理部64、第1特殊画像処理部100、第2特殊画像処理部101、第1特殊画像処理部120、第2特殊画像処理部121など、プロセッサ装置16に含まれる処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGAや、CPUとFPGAの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。
なお、本発明は、第1~第3実施形態のような内視鏡システムや第4実施形態のようなカプセル内視鏡システムに組み込まれるプロセッサ装置の他、各種の医用画像処理装置に対して適用することが可能である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源制御部
23 光路結合部
24 発光期間設定部
26a スライドバー
26b スライドバー
27a スライダ
27b スライダ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS/AGC回路
52 A/D変換器
53 画像取得部
56 DSP
58 ノイズ除去部
60 信号切替部
62 通常画像処理部
63 第1特殊画像処理部
64 第2特殊画像処理部
66 映像信号生成部
70 逆ガンマ変換部
71 特定色調整部
72 Log変換部
73 信号比算出部
75 極座標変換部
76 彩度強調処理部
77 色相強調処理部
78 直交座標変換部
79 RGB変換部
81 明るさ調整部
81a 第1明るさ情報算出部
81b 第2明るさ情報算出部
82 構造強調部
83 逆Log変換部
84 ガンマ変換部
86 部位設定部
90 特定色調整部
92 周波数強調部
93 合成比率設定部
94 画像合成部
100 第1特殊画像処理部
101 第2特殊画像処理部
104 輝度色差信号変換部
104 青色レーザ光源
106 青紫色レーザ光源
120 第1特殊画像処理部
121 第2特殊画像処理部
124 HSV変換部
200 内視鏡システム
204 青色レーザ光源
204 青色レーザ光源
206 青紫色レーザ光源
208 光源制御部
210 蛍光体
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
12e アングルノブ
14 光源装置
16 プロセッサ装置
18 モニタ
19 コンソール
20 光源部
20a V-LED
20b B-LED
20c G-LED
20d R-LED
21 光源制御部
23 光路結合部
24 発光期間設定部
26a スライドバー
26b スライドバー
27a スライダ
27b スライダ
30a 照明光学系
30b 撮像光学系
41 ライトガイド
45 照明レンズ
46 対物レンズ
48 撮像センサ
50 CDS/AGC回路
52 A/D変換器
53 画像取得部
56 DSP
58 ノイズ除去部
60 信号切替部
62 通常画像処理部
63 第1特殊画像処理部
64 第2特殊画像処理部
66 映像信号生成部
70 逆ガンマ変換部
71 特定色調整部
72 Log変換部
73 信号比算出部
75 極座標変換部
76 彩度強調処理部
77 色相強調処理部
78 直交座標変換部
79 RGB変換部
81 明るさ調整部
81a 第1明るさ情報算出部
81b 第2明るさ情報算出部
82 構造強調部
83 逆Log変換部
84 ガンマ変換部
86 部位設定部
90 特定色調整部
92 周波数強調部
93 合成比率設定部
94 画像合成部
100 第1特殊画像処理部
101 第2特殊画像処理部
104 輝度色差信号変換部
104 青色レーザ光源
106 青紫色レーザ光源
120 第1特殊画像処理部
121 第2特殊画像処理部
124 HSV変換部
200 内視鏡システム
204 青色レーザ光源
204 青色レーザ光源
206 青紫色レーザ光源
208 光源制御部
210 蛍光体
Claims (15)
- 第1の赤色帯域を有し、第1血管を強調するための第1照明光と、第2の赤色帯域を有し、前記第1血管と異なる第2血管を強調するための第2照明光とを発光する光源部と、
前記第1照明光と前記第2照明光とを、それぞれ少なくとも2フレーム以上の発光期間にて発光させ、且つ、前記第1照明光と前記第2照明光とを自動的に切り替える光源制御部を有する光源装置。 - 前記第1照明光は400nm以上440nm以下のピークを有する請求項1記載の光源装置。
- 前記第2照明光は、前記第1照明光よりも、540nm、600nm、又は630nmのうち少なくともいずれかの強度比を大きくする請求項1または2記載の光源装置。
- 前記光源部は、前記第1照明光及び前記第2照明光と異なる第3照明光を発光し、
前記光源制御部は、
前記第1照明光と前記第2照明光とを切り替えるタイミングにおいて、前記第3照明光を発光する請求項1から3のいずれか1項記載の光源装置。 - 前記光源制御部は、
前記第1照明光の発光期間と前記第2照明光の発光期間を設定する発光期間設定部を有する請求項1から4のいずれか1項記載の光源装置。 - 前記第1照明光は、前記第1の赤色帯域に加えて、第1の緑色帯域及び第1の青色帯域を有し、
前記第2照明光は、前記第2の赤色帯域に加えて、第2の緑色帯域及び第2の青色帯域を有する請求項1から5のいずれか1項記載の光源装置。 - 請求項1から6のいずれか1項記載の光源装置と、
前記第1照明光により照明された観察対象を撮像して得られる第1画像と、前記第2照明光により照明された前記観察対象を撮像して得られる第2画像とを取得する画像取得部と、
前記第1画像と前記第2画像をカラー又はモノクロにより表示する表示部を備える内視鏡システム。 - 請求項1から6のいずれか1項記載の光源装置と、
前記第1照明光により照明された観察対象を撮像して得られる第1画像と、前記第2照明光により照明された前記観察対象を撮像して得られる第2画像とを取得する画像取得部と、
前記第1画像と前記第2画像の色を調整する特定色調整部とを有し、
前記特定色調整部は、前記第1画像に含まれる粘膜の色又は前記第2画像に含まれる粘膜の色を、目標の色に合わせる内視鏡システム。 - 観察中の部位を設定する部位設定部を有し、
前記特定色調整部は、前記第1画像に含まれる粘膜の色又は前記第2画像に含まれる粘膜の色を、前記部位に対応する目標の色に合わせる請求項8記載の内視鏡システム。 - 請求項1から6のいずれか1項記載の光源装置と、
前記第1照明光により照明された観察対象を撮像して得られる第1画像と、前記第2照明光により照明された前記観察対象を撮像して得られる第2画像とを取得する画像取得部と、
前記第1画像と前記第2画像の色を調整する特定色調整部と、
ユーザーから、粘膜の色、前記第1血管の色、又は前記第2血管の色の調整に関する色調整指示を受け付ける色調整指示受付部とを有し、
前記特定色調整部は、
前記色調整指示に従って、前記粘膜の色、前記第1血管の色、又は前記第2血管の色の調整を行う内視鏡システム。 - 請求項1から6のいずれか1項記載の光源装置と、
前記第1照明光により照明された観察対象を撮像して得られる第1画像と、前記第2照明光により照明された前記観察対象を撮像して得られる第2画像とを取得する画像取得部と、
前記第1画像と前記第2画像の色を調整する特定色調整部とを有し、
前記特定色調整部は、前記第1画像に含まれる粘膜の色と、前記第2画像に含まれる粘膜の色とを一致させる内視鏡システム。 - 請求項1から6のいずれか1項記載の光源装置と、
前記第1照明光により照明された観察対象を撮像して得られる第1画像と、前記第2照明光により照明された前記観察対象を撮像して得られる第2画像とを取得する画像取得部と、
前記第1画像と前記第2画像に対して、前記観察対象に含まれる複数の範囲の間の差を大きくする色拡張処理を行う色拡張処理部とを有する内視鏡システム。 - 観察中の部位を設定する部位設定部を有し、
前記色拡張処理の結果を、前記部位毎に定められた調整パラメータによって、調整する請求項12記載の内視鏡システム。 - 請求項1から6のいずれか1項記載の光源装置と、
前記第1照明光により照明された観察対象を撮像して得られる第1画像と、前記第2照明光により照明された前記観察対象を撮像して得られる第2画像とを取得する画像取得部と、
前記第1画像と前記第2画像から、前記観察対象に含まれる特定の範囲に対応する周波数成分を強調した周波数強調画像を得る周波数強調部と、
前記第1画像又は第2画像を前記周波数強調画像に合成して、前記特定の範囲を構造強調した構造強調処理済みの前記第1画像又は第2画像を得る画像合成部とを有する内視鏡システム。 - 観察中の部位を設定する部位設定部を有し、
前記構造強調処理済みの前記第1画像又は第2画像の画素値を、前記部位毎に定められた調整パラメータによって、調整する請求項14記載の内視鏡システム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201880054117.4A CN111050629B (zh) | 2017-08-23 | 2018-08-14 | 内窥镜系统 |
| JP2019537575A JP6909856B2 (ja) | 2017-08-23 | 2018-08-14 | 内視鏡システム |
| EP18849023.9A EP3673787A4 (en) | 2017-08-23 | 2018-08-14 | LIGHT SOURCE DEVICE AND ENDOSCOPIC SYSTEM |
| US16/787,537 US20200170492A1 (en) | 2017-08-23 | 2020-02-11 | Light source device and endoscope system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-159977 | 2017-08-23 | ||
| JP2017159977 | 2017-08-23 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US16/787,537 Continuation US20200170492A1 (en) | 2017-08-23 | 2020-02-11 | Light source device and endoscope system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2019039354A1 true WO2019039354A1 (ja) | 2019-02-28 |
Family
ID=65438854
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/030291 Ceased WO2019039354A1 (ja) | 2017-08-23 | 2018-08-14 | 光源装置及び内視鏡システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20200170492A1 (ja) |
| EP (1) | EP3673787A4 (ja) |
| JP (1) | JP6909856B2 (ja) |
| CN (1) | CN111050629B (ja) |
| WO (1) | WO2019039354A1 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112472011A (zh) * | 2019-09-11 | 2021-03-12 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
| WO2022074992A1 (ja) * | 2020-10-09 | 2022-04-14 | 富士フイルム株式会社 | 医療画像処理装置およびその作動方法 |
| US20240029404A1 (en) * | 2021-03-31 | 2024-01-25 | Fujifilm Corporation | Endoscope system and method of operating the same |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020035929A1 (ja) * | 2018-08-16 | 2020-02-20 | オリンパス株式会社 | 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム |
| JP7312843B2 (ja) * | 2019-10-10 | 2023-07-21 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| CN117042671A (zh) * | 2020-12-22 | 2023-11-10 | 史赛克公司 | 用于医学成像照射的系统和方法 |
| EP4275590A1 (en) * | 2022-05-13 | 2023-11-15 | Leica Instruments (Singapore) Pte Ltd | Data processing device and computer-implemented method combining two images and an overlay color using a uniform color space |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005296200A (ja) * | 2004-04-08 | 2005-10-27 | Olympus Corp | 内視鏡用画像処理装置 |
| JP2006341076A (ja) * | 2005-05-11 | 2006-12-21 | Olympus Medical Systems Corp | 生体観測装置用信号処理装置 |
| JP2009077765A (ja) * | 2007-09-25 | 2009-04-16 | Fujifilm Corp | 内視鏡システム |
| JP2010068992A (ja) * | 2008-09-18 | 2010-04-02 | Fujifilm Corp | 電子内視鏡システム |
| WO2010044432A1 (ja) * | 2008-10-17 | 2010-04-22 | オリンパスメディカルシステムズ株式会社 | 内視鏡システムおよび内視鏡画像処理装置 |
| WO2015064435A1 (ja) * | 2013-10-28 | 2015-05-07 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
| JP2016131837A (ja) * | 2015-01-22 | 2016-07-25 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム |
| JP2016179236A (ja) | 2016-06-17 | 2016-10-13 | 富士フイルム株式会社 | 内視鏡装置 |
| WO2017061003A1 (ja) * | 2015-10-08 | 2017-04-13 | オリンパス株式会社 | 内視鏡装置 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1728464B1 (en) * | 2005-06-03 | 2016-03-30 | Olympus Corporation | Endoscope image pickup system |
| JP4694311B2 (ja) * | 2005-08-22 | 2011-06-08 | Hoya株式会社 | 内視鏡プロセッサ、画像切替えプログラム、および蛍光内視鏡システム |
| US8050519B2 (en) * | 2005-12-19 | 2011-11-01 | Olympus Corporation | Image combining apparatus |
| JP3989521B2 (ja) * | 2005-12-19 | 2007-10-10 | オリンパス株式会社 | 画像合成装置およびその方法並びにプログラム |
| JP4864511B2 (ja) * | 2006-03-31 | 2012-02-01 | 富士フイルム株式会社 | 電子内視鏡装置およびプログラム |
| JP2008125989A (ja) * | 2006-11-24 | 2008-06-05 | Pentax Corp | 内視鏡ポイント光照射位置調整システム |
| JP2009225830A (ja) * | 2008-03-19 | 2009-10-08 | Fujifilm Corp | 電子内視鏡装置 |
| ATE506000T1 (de) * | 2008-06-04 | 2011-05-15 | Fujifilm Corp | Beleuchtungsvorrichtung zur verwendung in endoskopen |
| JP2011024885A (ja) * | 2009-07-28 | 2011-02-10 | Hoya Corp | 内視鏡用光源システム、および内視鏡ユニット |
| JP5616304B2 (ja) * | 2010-08-24 | 2014-10-29 | 富士フイルム株式会社 | 電子内視鏡システム及び電子内視鏡システムの作動方法 |
| JP5346907B2 (ja) * | 2010-11-15 | 2013-11-20 | 富士フイルム株式会社 | 医療用画像記録再生装置、及びプログラム |
| JP5309120B2 (ja) * | 2010-12-20 | 2013-10-09 | 富士フイルム株式会社 | 内視鏡装置 |
| JP5554253B2 (ja) * | 2011-01-27 | 2014-07-23 | 富士フイルム株式会社 | 電子内視鏡システム |
| JP5292428B2 (ja) * | 2011-03-22 | 2013-09-18 | 富士フイルム株式会社 | 内視鏡システム |
| CN103732119B (zh) * | 2011-12-27 | 2016-08-24 | 奥林巴斯株式会社 | 摄像装置 |
| JP5757891B2 (ja) * | 2012-01-23 | 2015-08-05 | 富士フイルム株式会社 | 電子内視鏡システム、画像処理装置、画像処理装置の作動方法及び画像処理プログラム |
| JP5815426B2 (ja) * | 2012-01-25 | 2015-11-17 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
| JP5620932B2 (ja) * | 2012-02-14 | 2014-11-05 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
| JP5922955B2 (ja) * | 2012-03-08 | 2016-05-24 | Hoya株式会社 | 電子内視鏡システム |
| JP5762344B2 (ja) * | 2012-03-28 | 2015-08-12 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システム |
| JP5996287B2 (ja) * | 2012-06-12 | 2016-09-21 | オリンパス株式会社 | 撮像装置、顕微鏡装置、内視鏡装置 |
| JP6176978B2 (ja) * | 2013-01-31 | 2017-08-09 | オリンパス株式会社 | 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム |
| JP5654167B1 (ja) * | 2013-07-03 | 2015-01-14 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| WO2015016172A1 (ja) * | 2013-08-01 | 2015-02-05 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム、内視鏡システムの作動方法 |
| WO2015029709A1 (ja) * | 2013-08-27 | 2015-03-05 | 富士フイルム株式会社 | 内視鏡システム |
| JP6013382B2 (ja) * | 2014-02-27 | 2016-10-25 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| JP6166841B2 (ja) * | 2014-03-31 | 2017-07-19 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法 |
| JP6254502B2 (ja) * | 2014-09-12 | 2017-12-27 | 富士フイルム株式会社 | 内視鏡用光源装置及び内視鏡システム |
| JP6254506B2 (ja) * | 2014-09-30 | 2017-12-27 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| JP6367683B2 (ja) * | 2014-10-21 | 2018-08-01 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法 |
| JP6461760B2 (ja) * | 2015-09-25 | 2019-01-30 | 富士フイルム株式会社 | 画像処理装置、及び画像処理装置の作動方法、並びに内視鏡システム |
-
2018
- 2018-08-14 WO PCT/JP2018/030291 patent/WO2019039354A1/ja not_active Ceased
- 2018-08-14 CN CN201880054117.4A patent/CN111050629B/zh active Active
- 2018-08-14 JP JP2019537575A patent/JP6909856B2/ja active Active
- 2018-08-14 EP EP18849023.9A patent/EP3673787A4/en active Pending
-
2020
- 2020-02-11 US US16/787,537 patent/US20200170492A1/en not_active Abandoned
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005296200A (ja) * | 2004-04-08 | 2005-10-27 | Olympus Corp | 内視鏡用画像処理装置 |
| JP2006341076A (ja) * | 2005-05-11 | 2006-12-21 | Olympus Medical Systems Corp | 生体観測装置用信号処理装置 |
| JP2009077765A (ja) * | 2007-09-25 | 2009-04-16 | Fujifilm Corp | 内視鏡システム |
| JP2010068992A (ja) * | 2008-09-18 | 2010-04-02 | Fujifilm Corp | 電子内視鏡システム |
| WO2010044432A1 (ja) * | 2008-10-17 | 2010-04-22 | オリンパスメディカルシステムズ株式会社 | 内視鏡システムおよび内視鏡画像処理装置 |
| WO2015064435A1 (ja) * | 2013-10-28 | 2015-05-07 | 富士フイルム株式会社 | 画像処理装置及びその作動方法 |
| JP2016131837A (ja) * | 2015-01-22 | 2016-07-25 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム |
| WO2017061003A1 (ja) * | 2015-10-08 | 2017-04-13 | オリンパス株式会社 | 内視鏡装置 |
| JP2016179236A (ja) | 2016-06-17 | 2016-10-13 | 富士フイルム株式会社 | 内視鏡装置 |
Non-Patent Citations (1)
| Title |
|---|
| See also references of EP3673787A4 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112472011A (zh) * | 2019-09-11 | 2021-03-12 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
| JP2021040958A (ja) * | 2019-09-11 | 2021-03-18 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| JP7208876B2 (ja) | 2019-09-11 | 2023-01-19 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
| CN112472011B (zh) * | 2019-09-11 | 2025-07-15 | 富士胶片株式会社 | 内窥镜系统及其工作方法 |
| WO2022074992A1 (ja) * | 2020-10-09 | 2022-04-14 | 富士フイルム株式会社 | 医療画像処理装置およびその作動方法 |
| JPWO2022074992A1 (ja) * | 2020-10-09 | 2022-04-14 | ||
| US20240029404A1 (en) * | 2021-03-31 | 2024-01-25 | Fujifilm Corporation | Endoscope system and method of operating the same |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111050629B (zh) | 2022-09-06 |
| EP3673787A1 (en) | 2020-07-01 |
| EP3673787A4 (en) | 2020-08-19 |
| JPWO2019039354A1 (ja) | 2020-07-16 |
| JP6909856B2 (ja) | 2021-07-28 |
| CN111050629A (zh) | 2020-04-21 |
| US20200170492A1 (en) | 2020-06-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6461739B2 (ja) | 画像処理装置及び内視鏡システム並びに画像処理装置の作動方法 | |
| JP6909856B2 (ja) | 内視鏡システム | |
| CN108109134B (zh) | 图像处理装置及其工作方法 | |
| US12279756B2 (en) | Endoscope system for observing chemical fluorescence and method of operating the same | |
| JP7051845B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| US11937788B2 (en) | Endoscope system | |
| CN111343898B (zh) | 内窥镜系统及其工作方法 | |
| US10003774B2 (en) | Image processing device and method for operating endoscope system | |
| JP6576895B2 (ja) | 内視鏡システム、プロセッサ装置、及び内視鏡システムの作動方法 | |
| CN111770717A (zh) | 内窥镜系统 | |
| CN115209784A (zh) | 内窥镜装置、处理器、色彩强调方法 | |
| WO2019208236A1 (ja) | 医療画像処理システム | |
| JP7096788B2 (ja) | 医用画像処理装置及び内視鏡システム並びに医用画像処理装置の作動方法 | |
| WO2020158165A1 (ja) | 内視鏡システム | |
| JP7177897B2 (ja) | 医用画像処理装置 | |
| JP7628871B2 (ja) | 医用画像処理装置及びその作動方法 | |
| WO2019208235A1 (ja) | 医療画像処理システム | |
| JP7208876B2 (ja) | 内視鏡システム及びその作動方法 | |
| JP6659817B2 (ja) | 医用画像処理装置 | |
| JP6740481B2 (ja) | 光源装置、内視鏡システム、及び光源装置の作動方法 | |
| WO2019151190A1 (ja) | 内視鏡システム及びその作動方法 | |
| JPWO2017170232A1 (ja) | 内視鏡画像信号処理装置および方法並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18849023 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2019537575 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| ENP | Entry into the national phase |
Ref document number: 2018849023 Country of ref document: EP Effective date: 20200323 |