[go: up one dir, main page]

WO2018100732A1 - 内視鏡用画像処理装置 - Google Patents

内視鏡用画像処理装置 Download PDF

Info

Publication number
WO2018100732A1
WO2018100732A1 PCT/JP2016/085898 JP2016085898W WO2018100732A1 WO 2018100732 A1 WO2018100732 A1 WO 2018100732A1 JP 2016085898 W JP2016085898 W JP 2016085898W WO 2018100732 A1 WO2018100732 A1 WO 2018100732A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
blend
pixels
unit
enlarged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/085898
Other languages
English (en)
French (fr)
Inventor
高橋　裕美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018553619A priority Critical patent/JP6739542B2/ja
Priority to PCT/JP2016/085898 priority patent/WO2018100732A1/ja
Priority to CN201680090959.6A priority patent/CN110022751B/zh
Publication of WO2018100732A1 publication Critical patent/WO2018100732A1/ja
Priority to US16/418,249 priority patent/US10729310B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0676—Endoscope light sources at distal tip of an endoscope
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes

Definitions

  • the present invention relates to an endoscope image processing apparatus.
  • an endoscope apparatus that acquires a normal light image such as a white light image and a special light image such as a fluorescence image and displays the normal light image and the special light image in a superimposed manner is known (for example, (See Patent Document 1).
  • a normal light image such as a white light image
  • a special light image such as a fluorescence image
  • a special light image is added to one of the three color component images of R, G, and B constituting the normal light image. Yes.
  • the present invention has been made in view of the above-described circumstances, and provides an endoscope image processing apparatus that can generate a superimposed image with little change in color tone and noise and a clear subject structure.
  • the purpose is to do.
  • One aspect of the present invention is an image processing apparatus for processing a normal light image of a subject color illuminated with broadband visible light and a special light image of the subject illuminated with narrow band special light, A plurality of color component images constituting the normal light image and an enlargement / reduction unit for enlarging or reducing the special light image, one color component image enlarged or reduced by the enlargement / reduction unit, and enlargement / reduction by the enlargement / reduction unit A blend image generation unit that generates a blend image by combining the reduced special light image, the blend image generated by the blend image generation unit, and other color components enlarged or reduced by the enlargement / reduction unit A superimposed image generation unit that generates a color superimposed image by combining the image and the blend image generation unit, wherein the blended image generation unit includes a pixel of the enlarged or reduced color component image.
  • the color normal light image is separated into one color component image and another color component image, and the one color component image Is combined with the special light image to generate a blend image.
  • the generated blend image is color-synthesized with other color component images by the superimposed image generation unit.
  • the special light image is synthesized almost uniformly into the blend image without being subjected to processing for extracting only a part of the region. Therefore, it is possible to display all the attention areas having gradation values in the special light image on the superimposed image. Also, by blending the pixels of one color component image and the pixels of the special light image as they are in the blend image, the change in the gradation value of the blend image with respect to the one color component image is reduced, and the special light image The included noise is reduced in the blend image. In addition, the structure information of the subject in the normal light image is not buried in the gradation value of the special light image. As a result, it is possible to generate a superimposed image that has less change in color tone and noise than the normal light image and has a clear subject structure.
  • the superimposed image including the blend image includes a mosaic pattern derived from the arrangement of the pixels of the normal light image and the pixels derived from the special light image in the blend image. If the enlargement or reduction is performed after the blend image is generated, artifacts due to the mosaic pattern included in the blend image may occur. On the other hand, by generating a blend image from a normal light image and a special light image that have already been enlarged or reduced, artifacts in the enlargement / reduction process can be prevented and a natural superimposed image can be provided.
  • the enlargement / reduction unit acquires a display size of the superimposed image from a display device that displays the superimposed image, and the normal light image and the special light image at a magnification according to the acquired display size. May be enlarged or reduced. In this way, the display size of the superimposed image on the display device can be automatically recognized, and the superimposed image can be enlarged or reduced to a size suitable for display.
  • an input unit for inputting a display magnification of the superimposed image by a user is provided, and the enlargement / reduction unit performs the normal light image and the special light at a magnification according to the display magnification input to the input unit.
  • the image may be enlarged or reduced. In this way, it is possible to provide a superimposed image that is enlarged or reduced according to the display magnification desired by the user.
  • the superimposed image generation unit color-synthesizes one color component image enlarged or reduced instead of the blend image with another enlarged or reduced color component image.
  • a reduced normal light image is generated.
  • the normal light image rather than the superimposed image including the blend image is more suitable for observing the subject. Therefore, at such a display magnification, the generation of the blend image is stopped, and an enlarged or reduced normal light image is generated instead of the superimposed image, thereby providing an image more suitable for the observation scene. .
  • a blend pattern defining an array of pixels of the enlarged or reduced one color component image and pixels of the enlarged or reduced special light image in the blend image is set in the blend image generation unit.
  • a blend pattern determining unit that determines the blend pattern according to the magnification so that the ratio of the number of pixels of the enlarged or reduced special light image decreases as the magnification increases.
  • the generation unit may generate the blend image according to the blend pattern set by the blend pattern determination unit.
  • magnification when the magnification is large, the ratio of the normal light image blend is large, and a superimposed image with a finer form of the subject is provided.
  • magnification when the magnification is low, a blended image of special light images is high, and a superimposed image in which a region of interest such as a lesioned part to be observed by special light is more emphasized is provided. In this way, a superimposed image suitable for each observation scene can be provided.
  • the enlargement / reduction unit adds pixels to the normal light image and the special light image to increase the number of pixels, and interpolates at least some of the gradation values of the added pixels.
  • the normal light image and the special light image are enlarged respectively, and the pixel for interpolating the gradation value is determined according to the magnification so that the pixel value of the pixel constituting the blend image is at least interpolated.
  • An interpolation pixel determination unit may be provided.
  • the processing amount and the storage capacity of the enlarged image can be reduced by selecting a pixel to interpolate the pixel value.
  • the amount of processing and the storage capacity can be minimized by the interpolation pixel determination unit determining only the pixels constituting the blend image as pixels for interpolating gradation values.
  • FIG. 1 is an overall configuration diagram of an endoscope image processing device and an endoscope system according to a first embodiment of the present invention.
  • FIG. 2 is a configuration diagram of an image processing unit in the endoscope image processing apparatus of FIG. 1. It is a figure explaining an example of a process of the white light image and the fluorescence image in the image processing unit of FIG. It is a figure which shows an example of the blend pattern used in the blend image generation part of FIG. 3 is a flowchart for explaining the operation of the endoscope image processing apparatus in FIG. 1. It is a block diagram of the image processing unit in the endoscope image processing apparatus which concerns on the 2nd Embodiment of this invention.
  • FIG. 1 An endoscope image processing apparatus 1 according to a first embodiment of the present invention and an endoscope system 100 including the same will be described with reference to FIGS. 1 to 5.
  • an endoscope system 100 is connected to an endoscope apparatus 2 that acquires a white light image signal and a fluorescence image signal of a living tissue (subject) A, and the endoscope apparatus 2.
  • An endoscope image processing apparatus (hereinafter simply referred to as “image processing apparatus”) 1 and a display device 3 connected to the image processing apparatus 1 are provided.
  • the endoscope apparatus 2 can be inserted into a body and a light source unit 4 that outputs white light and excitation light, and irradiates the living tissue A in the body with white light and excitation light from the light source unit 4 to generate an image signal. And an insertion section 5 to be acquired.
  • the light source unit 4 includes a white light source 6 that emits white light, an excitation light source 7 that emits excitation light, a beam splitter 8 that emits white light from the white light source 6 and excitation light from the excitation light source 7, and the beam splitter. And a lens 9 for converging white light and excitation light emitted from the light source 8.
  • the white light source 6 is, for example, a semiconductor light source such as an LED or a lamp light source such as an Xe lamp.
  • the excitation light source 7 is a semiconductor light source such as a laser diode, for example.
  • the beam splitter 8 transmits white light and reflects excitation light (for example, infrared light) having a wavelength longer than that of the white light, thereby combining the white light and the excitation light on the same optical axis.
  • the white light source 6 and the excitation light source 7 are controlled by a timing control unit 24 to be described later so that they are alternately lit. Accordingly, white light and excitation light are alternately output from the light source unit 4. Note that the white light and the excitation light may be combined and output simultaneously.
  • the insertion unit 5 is provided at the illumination unit 10 that irradiates the white tissue and the excitation light supplied from the light source unit 4 toward the living tissue A from the distal end 5a of the insertion unit 5, and the distal end 5a of the insertion unit 5. And an imaging unit 11 for photographing A.
  • the illumination unit 10 includes a light guide fiber 12 disposed over almost the entire length of the insertion portion 5 in the longitudinal direction, and an illumination optical system 13 provided at the distal end 5a of the insertion portion 5.
  • the light guide fiber 12 guides the light converged by the lens 9 from the proximal end to the distal end.
  • the illumination optical system 13 diffuses white light and excitation light emitted from the distal end of the light guide fiber 12 and irradiates the living tissue A facing the distal end 5 a of the insertion portion 5.
  • the imaging unit 11 includes an objective lens 14 that collects light from the living tissue A, a color imaging element 15 that is disposed on the imaging surface of the objective lens 14 and photographs the light collected by the objective lens 14, and the objective lens 14. And a notch filter 16 that is selectively disposed between the imaging element 15 and the excitation light.
  • the image sensor 15 is a CCD image sensor or a CMOS image sensor having RGB mosaic filters. The image sensor 15 receives white light or fluorescence transmitted through the notch filter 16, photoelectrically converts the received light to generate an image signal, and transmits the generated image signal to the image processing apparatus 1.
  • the image processing apparatus 1 includes a data buffer 21 that temporarily stores an image signal received from the image sensor 15, and processes the image signal received from the data buffer 21 to process a white light image (normal light image) and a fluorescent image ( An image processing unit 22 that generates a superimposed image on which a special light image) is superimposed, a display image buffer 23 that temporarily holds the superimposed image output from the image processing unit 22, a light source unit 4, and an image sensor 15. , A timing control unit 24 for synchronizing operations of the buffers 21 and 23 and the image processing unit 22, and an input unit 25.
  • Reference numeral 26 denotes an amplifier that amplifies the image signal output from the image sensor 15.
  • Reference numeral 27 denotes a gain controller (AGC).
  • Reference numeral 28 denotes an A / D converter that converts an analog image signal into a digital image signal.
  • Reference numeral 29 denotes a D / A converter that converts the digital image signal of the superimposed image output from the display image buffer 23 into an analog image signal.
  • the timing control unit 24 alternately turns on the white light source 6 and the excitation light source 7 and causes the image sensor 15 to perform exposure in synchronization with the lighting of the white light source 6 and the excitation light source 7.
  • the imaging element 15 alternately acquires a white light image signal based on white light reflected by the living tissue A and a fluorescence image signal based on fluorescence generated in the living tissue A, and transmits the acquired signal to the image processing apparatus 1. To do.
  • the display device 3 has a display area on the screen for displaying a superimposed image.
  • the input unit 25 allows the observer to input the display magnification of the superimposed image displayed in the display area of the display device 3.
  • the display magnification that means enlargement of the superimposed image is called “enlargement ratio”
  • the magnification that means reduction of the superimposed image is called “reduction ratio”.
  • the display magnification meaning equal magnification is 100%
  • a display magnification larger than 100% is called “enlargement ratio”
  • a display magnification less than 100% is called “reduction ratio”.
  • the data buffer 21 temporarily holds the image signal received from the image sensor 15 and transmits a pair of white light image signal and fluorescent image signal to the image processing unit 22.
  • the image processing unit 22 includes an enlargement / reduction unit 31, a blend image generation unit 32, and a superimposed image generation unit 33, as shown in FIG.
  • FIG. 3 shows an example of a process of generating a superimposed image from a white light image and a fluorescence image by the image processing unit 22.
  • a white light image signal acquired by photographing broadband white light is composed of three color image signals, that is, a red (R) image signal, a green (G) image signal, and a blue (B) image signal.
  • the data buffer 21 transmits the R, G, and B image signals and the fluorescence image signal to the enlargement / reduction unit 31.
  • the enlargement / reduction unit 31 generates R, G, and B component images from the R, G, and B image signals, and generates a fluorescence image from the fluorescence image signal. Each image consists of a large number of pixels arranged two-dimensionally in a matrix.
  • the enlargement / reduction unit 31 acquires the display magnification input to the input unit 25 from the input unit 25, and the display area specification of the display device 3 from the display device 3 connected to the image processing device 1. Receive information about.
  • the specification of the display area includes at least the size (display size) and the number of pixels (resolution).
  • the enlargement / reduction unit 31 determines the magnification based on the display magnification, the size of the display area of the display device 3, and the number of pixels, and enlarges the R, G, B image, and the fluorescence image at the determined magnification, respectively. Or reduce.
  • the magnification that means image enlargement is referred to as “enlargement ratio”
  • the magnification that means image reduction is referred to as “reduction ratio”.
  • enlargement ratio magnification that means image enlargement
  • reduction ratio magnification that means image reduction
  • the reduction of the image is performed, for example, by thinning out some of the pixels of the image to reduce the number of pixels.
  • the image is enlarged by adding blank pixels to the image to increase the number of pixels and interpolating the gradation values of the added blank pixels based on the gradation values of surrounding pixels.
  • the enlargement / reduction unit 31 transmits the enlarged or reduced G component image and fluorescence image to the blend image generation unit 32, and transmits the enlarged or reduced R component image and B component image to the superimposed image generation unit 33.
  • the blend image generation unit 32 executes a blend process using the enlarged or reduced G component image and the fluorescent image, thereby generating a blend image in which the pixels of the G component image and the pixels of the fluorescent image are mixed.
  • the blend image generation unit 32 holds a blend pattern that defines the arrangement of the pixel “G” of the G component image and the pixel “F” of the fluorescent image.
  • the blend pattern is a square lattice arrangement pattern in which “G” and “F” are alternately arranged in a checkered pattern in the row direction and the column direction in units of one pixel.
  • the blend image generation unit 32 replaces the pixels corresponding to “F” of the blend pattern among all the pixels of the G component image with the pixels of the fluorescence image, so that the pixels of the G component image and the pixels of the fluorescence image are entirely replaced. Generate a blended image that is evenly distributed over.
  • the pattern of “G” and “F” in the blend image can be changed as long as the distribution of “G” and “F” is substantially uniform over the entire blend image.
  • a blend pattern having other arrangements of “G” and “F” may be adopted.
  • the blend image generation unit 32 may randomly select some pixels from all the pixels of the G component image substantially equally.
  • the superimposed image generation unit 33 uses the blend image received from the blend image generation unit 32 as a substitute for the G component image, and color-synthesizes the blend image and the R component image and the B component image received from the enlargement / reduction unit 31. A color superimposed image is generated.
  • the superimposed image generation unit 33 transmits the generated superimposed image to the display image buffer 23.
  • the display image buffer 23 temporarily holds the superimposed image received from the superimposed image generation unit 33 and outputs the superimposed image to the display device 3 via the D / A converter 29 with a certain time interval.
  • the image processing apparatus 1 and the endoscope system 100 configured as described above will be described.
  • a fluorescent substance that accumulates in a lesion is previously administered to the living tissue A.
  • the insertion portion 5 is inserted into the body, the distal end 5a is disposed opposite to the biological tissue A, and the light source unit 4 is operated to irradiate the biological tissue A with white light and excitation light alternately from the distal end 5a of the insertion portion 5.
  • the white light reflected on the surface of the living tissue A is collected by the objective lens 14.
  • the white light collected by the objective lens 14 passes through the notch filter 16 and enters the image sensor 15, and is acquired by the image sensor 15 as a white light image signal.
  • the fluorescent substance contained in the lesion is excited by the excitation light to generate fluorescence, and the fluorescence and a part of the excitation light are collected by the objective lens 14.
  • the fluorescence and excitation light collected by the objective lens 14 only the fluorescence passes through the notch filter 16 and enters the image sensor 15, and is acquired by the image sensor 15 as a fluorescence image signal.
  • the white light image signal and the fluorescence image signal acquired alternately by the image sensor 15 as described above are transmitted to the image processing apparatus 1.
  • the white light image signal and the fluorescence image signal are input to the data buffer 21 via the amplifier 26, the AGC 27 and the A / D converter 28, and the pair of white light image signal and the fluorescence image signal are input to the data buffer. 21 to the image processing unit 22.
  • the specification of the display area of the display device 3 and the display magnification input to the input unit 25 by the user are recognized by the enlargement / reduction unit 31 (steps S1 and S2).
  • the magnification is determined based on the size and number of pixels of the display area and the display magnification (step S3).
  • the enlargement / reduction unit 31 enlarges or reduces the R, G, B component images and the fluorescent image constituting the white light image at the determined magnification (step S4).
  • the enlarged or reduced G component image and the fluorescence image are transmitted to the blend image generation unit 32, and the enlarged or reduced R image signal and B image signal are transmitted to the superimposed image generation unit 33.
  • a blended blended image is generated (step S5).
  • the blend image includes both the image of the living tissue A in the G component image and the fluorescence image in the fluorescence image.
  • the generated blend image is color-combined with the R component image and the B component image in the superimposed image generation unit 33 to generate a superimposed image (step S6).
  • the generated superimposed images are output from the display image buffer 23 to the display device 3 via the D / A converter 29 in order at predetermined time intervals. Thereby, the superimposed image is displayed as a live moving image in the display area of the display device 3 at the display magnification input by the user to the input unit 25.
  • the blend image is an image in which the pixels of the G component image and the pixels of the fluorescence image are blended so as to be mixed in a substantially uniform distribution over the entire blend image.
  • the fluorescent region having a sufficiently high gradation value but also the fluorescent region having a relatively low gradation value in the fluorescent region is synthesized with the blend image. Accordingly, there is an advantage that a superimposed image in which all of the fluorescent regions to be noticed by the observer are displayed can be generated.
  • the gradation value of each pixel of the blend image is the gradation value of the pixel of the G color component image or the gradation value of the pixel of the fluorescent image itself.
  • a superimposed image obtained by color synthesis using such a blend image it is possible to reproduce a color tone substantially the same as the color tone of the white light image.
  • the structure information of the living tissue A in the white light image is not buried in the gradation value of the fluorescent image, the clear structure of the living tissue A in the white light image can be maintained in the superimposed image. it can.
  • the noise is reduced in the blended image by blending the pixel of the fluorescent image and the pixel of the G component image without noise.
  • the superimposed image includes a mosaic pattern based on an alternating arrangement of pixels of the G component image and pixels of the fluorescence image in the blend image. If the enlargement process is performed before, but not before, the blended image is generated, the mosaic pattern in the blended image is enlarged, so that the size of the mosaic pattern can be visually recognized by the user in the superimposed image enlarged at a high magnification. Enlarged. As a result, the enlarged superimposed image displayed on the display device 3 becomes unnatural, and the mosaic pattern hinders observation of the morphology of the biological tissue A and fluorescence.
  • the blend image is generated from the already enlarged G component image and the fluorescence image
  • the mosaic pattern is not enlarged and remains in a fine size that cannot be visually recognized by the user. is there.
  • a natural superimposed image can be provided even when the display magnification is increased and the superimposed image is enlarged and observed on the display area.
  • the noise such as the moire or the stripe pattern based on the mosaic pattern may be generated.
  • the blending process by executing the blending process after the reduction process, it is possible to prevent the occurrence of noise and display a low-magnification superimposed image without noise.
  • the image processing device 1 and the display device 3 are separate, but the image processing device 1 and the display device 3 may be integrated instead. That is, the image processing apparatus 1 may have a display area and a display function for displaying a superimposed image in the display area. Such a configuration is advantageous because when the final display size of the superimposed image is adjusted on the display side, the display size information is transmitted to the enlargement / reduction unit 31 in the same apparatus.
  • the image processing unit 22 and the input unit 25 that are responsible for generating a superimposed image and the other configurations 21, 23, 24, 26, 27, 28, and 29 are provided in separate devices. It may be.
  • the image processing apparatus having the image processing unit 22 and the input unit 25 generates a superimposed image using the white light image signal and the fluorescence image signal received from another apparatus.
  • the endoscope system includes an endoscope apparatus 2 and an endoscope image processing apparatus (hereinafter simply referred to as an “image processing apparatus”) connected to the endoscope apparatus 2. And a display device 3 connected to the image processing apparatus.
  • the image processing apparatus includes a data buffer 21, an image processing unit 221, a display image buffer 23, a timing control unit 24, and an input unit 25.
  • the image processing unit 221 includes a blend image generation unit based on the display magnification input to the input unit 25 in addition to the enlargement / reduction unit 31, the blend image generation unit 32, and the superimposed image generation unit 33.
  • a blending necessity determining unit 34 for switching between execution and non-execution of the blending process 32 is provided.
  • the blend necessity determination unit 34 acquires the display magnification from the input unit 25. When the display magnification is an enlargement ratio equal to or greater than a predetermined threshold, the blend necessity determination unit 34 sets the “OFF” state in which the blend process is not executed. On the other hand, when the display magnification is a reduction ratio, equal magnification, or an enlargement ratio less than a predetermined threshold value, the blend necessity determination unit 34 sets an “ON” state in which the blend process is executed. That is, when the superimposed image is enlarged and displayed at a high magnification on the display area, the blending process is set to “OFF”, and otherwise, the blending process is set to “ON”.
  • the blend image generation unit 32 executes a blend process to generate a blend image.
  • the blend image generation unit 32 transmits the enlarged G component image received from the enlargement / reduction unit 31 to the superimposed image generation unit 33 without executing the blend process.
  • Step S7 when the display magnification input by the user to the input unit 25 is less than the threshold (NO in Step S7), the blending process is set to “ON” (Step S7).
  • step S8 a blend image is generated from the enlarged G component image and the fluorescence image (step S5), and a superimposed image is generated using the generated blend image (step S6).
  • step S9 when the display magnification input by the user to the input unit 25 is equal to or greater than the threshold (YES in Step S7), the blending process is set to “OFF” (Step S9), and the enlarged G component image is directly color-synthesized.
  • step S6 a white light image is generated instead of the superimposed image.
  • the image processing unit 221 may further include a blend pattern determination unit 35 that determines a blend pattern used in the blend image generation unit 32 according to the magnification.
  • the blend pattern determination unit 35 acquires the magnification determined by the enlargement / reduction unit 31 from the enlargement / reduction unit 31.
  • the ratio of the number of “F” decreases as the enlargement rate increases.
  • the blend pattern is determined.
  • the blend pattern determination unit 35 stores a plurality of blend patterns having different ratios of the number of “F”.
  • the blend pattern determination unit 35 stores a correspondence relationship between the enlargement ratio and the ratio of the number of “F”.
  • the blend pattern determination unit 35 selects a blend pattern having a ratio of the number “F” corresponding to the enlargement ratio, and sets the selected blend pattern in the blend image generation unit 32.
  • the image processing unit 221 may be provided with both the blend necessity determination unit 34 and the blend pattern determination unit 35, or only one of them. When both the blend necessity determination unit 34 and the blend pattern determination unit 35 are provided, the blend pattern determination unit 35 operates only when the blend necessity determination unit 34 is set to “ON”.
  • the endoscope system according to this embodiment includes an endoscope apparatus 2 and an endoscope image processing apparatus (hereinafter simply referred to as an “image processing apparatus”) connected to the endoscope apparatus 2. And a display device 3 connected to the image processing apparatus.
  • the image processing apparatus includes a data buffer 21, an image processing unit 222, a display image buffer 23, a timing control unit 24, and an input unit 25.
  • the image processing unit 222 performs gradation value interpolation in the enlargement processing of the G component image and the fluorescence image.
  • An interpolation pixel determining unit 36 that determines a blank pixel to be performed is provided.
  • FIG. 11A to 12C show a process of generating a superimposed image using the blend pattern shown in FIG. 4 when the enlargement ratio is 2 times.
  • FIG. 11B is an image obtained by enlarging the G component image of FIG. 11A
  • FIG. 12B is an image obtained by enlarging the fluorescence image of FIG. 12A.
  • 11C and 12C show an example in which pixel values are interpolated by the bilinear method using the gradation values of the surrounding four pixels, but other interpolation methods may be used.
  • the interpolation pixel determination unit 36 stores the enlargement ratio and address information indicating the position of the pixel for interpolating the gradation value in association with each other.
  • the address information is information indicating the position of pixels (pixels surrounded by a broken line in FIGS. 11B and 12B) that constitute the blend image among the blank pixels added to the G component image and the fluorescence image. That is, the address information for the G component image is information indicating the position of a pixel other than the pixel replaced with the pixel “F” of the fluorescent image among the blank pixels added to the G component image.
  • the address information for the fluorescent image is information indicating the position of a pixel (a pixel corresponding to the pixel “F” of the blend pattern) used for replacing the pixel of the G component image among the blank pixels added to the fluorescent image. is there.
  • the interpolation pixel determination unit 36 acquires the magnification determined by the enlargement / reduction unit 31 from the enlargement / reduction unit 31, selects address information corresponding to the enlargement rate when the magnification is the enlargement rate, and selects the selected address Information is transmitted to the enlargement / reduction unit 31.
  • the enlargement / reduction unit 31 enlarges the G component image by adding blank pixels to the G component image, as shown in FIGS. 11A and 11B. Similarly, the enlargement / reduction unit 31 enlarges the fluorescent image by adding blank pixels to the fluorescent image, as shown in FIGS. 12A and 12B. Next, as shown in FIG. 11C, the enlargement / reduction unit 31 interpolates the gradation value only for the blank pixel at the position indicated by the address information among the blank pixels added to the G component image, and other blank pixels. Do not perform interpolation for. Similarly, as shown in FIG.
  • the enlargement / reduction unit 31 interpolates the gradation value only for the blank pixel at the position indicated by the address information among the blank pixels added to the fluorescent image, and for other blank pixels. Do not perform interpolation. Therefore, the enlarged G component image and fluorescent image transmitted from the enlargement / reduction unit 31 to the blend image generation unit 32 include blank pixels having no gradation value, as shown in FIGS. 11C and 12C. obtain.
  • the address information differs depending on the blend pattern in addition to the enlargement ratio. Therefore, when a plurality of blend patterns can be used in the enlargement / reduction unit 31, address information corresponding to each combination of the enlargement rate and the blend pattern is stored in the interpolation pixel determination unit 36, and is based on the combination of the enlargement rate and the blend pattern. The address information selected in this way is used for interpolation processing by the enlargement / reduction unit 31.
  • the image processing amount and temporary storage capacity of the image processing apparatus increase. According to the present embodiment, it is possible to reduce the processing amount and the storage capacity by interpolating the gradation values only for the blank pixels necessary for generating the blend image.
  • the enlargement / reduction process has been described as the image process executed before the blend process.
  • the present invention is also advantageous when image processing other than the enlargement / reduction process is executed before the blend process. Effects can be obtained. Therefore, instead of or in addition to the enlargement / reduction process, another image process may be executed before the blend process.
  • the enhancement process is affected by a mosaic pattern, and the image of the living tissue A in the white light image or the fluorescence image in the fluorescence image May not be properly emphasized.
  • the enhancement process can also be appropriately performed.
  • the living tissue A is alternately irradiated with white light and excitation light, and the white light image signal and the fluorescence image signal are alternately acquired using the single imaging device 15.
  • it is configured to irradiate the living tissue A simultaneously with white light and excitation light, and simultaneously acquire the white light image signal and the fluorescence image signal using the two imaging elements 15. It may be.
  • the fluorescent image is blended with the G component image so that the fluorescent region is displayed in green in the superimposed image.
  • the image that blends the fluorescent image is an R component image or It may be a B component image.
  • the excitation light and the fluorescence image for exciting the fluorescent material have been described as examples of the special light and the special light image.
  • the types of the special light and the special light image are limited to this. It is not a thing.
  • an infrared light image may be acquired using infrared light
  • an NBI image may be acquired using blue narrowband light and green narrowband light.
  • the image processing apparatus 1 described in the first to third embodiments is realized by a computer including a central processing unit (CPU) and a storage device, for example.
  • a computer including a central processing unit (CPU) and a storage device, for example.
  • an image processing program for causing the CPU to execute processing by the image processing units 22, 221 and 222 is stored in the storage device, and each unit 31, 32, 33 is operated by the CPU operating according to the image processing program.
  • 34, 35, and 36 are realized.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

内視鏡用画像処理装置（１）は、通常光画像を構成する複数の色成分画像および特殊光画像を拡大または縮小する拡大縮小部（３１）と、拡大または縮小された一の色成分画像と拡大または縮小された特殊光画像とを合成してブレンド画像を生成するブレンド画像生成部（３２）と、ブレンド画像と拡大または縮小された他の色成分画像とを合成してカラーの重畳画像を生成する重畳画像生成部（３３）とを備え、ブレンド画像生成部（３２）は、ブレンド画像の全体にわたって一の色成分画像の画素および特殊光画像の画素の分布が略均一となるように、一の色成分画像の画素の内の一部の画素を特殊光画像の対応する画素に置換する。

Description

内視鏡用画像処理装置
　本発明は、内視鏡用画像処理装置に関するものである。
　従来、白色光画像のような通常光画像と、蛍光画像のような特殊光画像とを取得し、通常光画像と特殊光画像とを重畳表示する内視鏡装置が知られている（例えば、特許文献１参照。）。通常光画像と特殊光画像とを重畳する方法として、特許文献１では、通常光画像を構成するＲ、Ｇ、Ｂの３色の色成分画像の内の１つに特殊光画像を加算している。
特許第４７９９１０９号公報
　しかしながら、特許文献１の重畳方法を用いた場合、特殊光画像の階調値が一の色成分画像の階調値に加算されて該一の色成分画像の階調値が底上げされることによって、重畳画像の色調が全体的に、特殊光画像を重畳した成分画像の色に偏り、重畳画像の色調が通常光画像の色調とは異なってしまうという問題がある。また、特殊光画像はＳＮ比が低いことが多く、特殊光画像のノイズがそのまま重畳画像に反映されてしまうという問題がある。さらに、一の色成分画像の全画素の階調値と特殊光画像の全画素の階調値とが加算されることにより、通常光画像が有する被写体の構造情報が埋もれてしまい、重畳画像において被写体の構造が不明瞭になるという問題がある。
　本発明は、上述した事情に鑑みてなされたものであって、色調の変化およびノイズが少なく、かつ、被写体の構造が明瞭な重畳画像を生成することができる内視鏡用画像処理装置を提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の一態様は、広帯域の可視光で照明された被写体のカラーの通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する画像処理装置であって、前記通常光画像を構成する複数の色成分画像および前記特殊光画像を拡大または縮小する拡大縮小部と、該拡大縮小部によって拡大または縮小された一の色成分画像と前記拡大縮小部によって拡大または縮小された特殊光画像とを合成してブレンド画像を生成するブレンド画像生成部と、該ブレンド画像生成部によって生成された前記ブレンド画像と、前記拡大縮小部によって拡大または縮小された他の色成分画像とを合成して、カラーの重畳画像を生成する重畳画像生成部とを備え、前記ブレンド画像生成部は、前記拡大または縮小された一の色成分画像の画素の内の一部の画素を選択し、選択された一部の画素を前記拡大または縮小された特殊光画像の対応する画素に置換することによって前記ブレンド画像を生成するとともに、前記ブレンド画像の全体にわたって前記拡大または縮小された一の色成分画像の画素および前記拡大または縮小された特殊光画像の画素の分布が略均一となるように、前記拡大または縮小された一の色成分画像の一部の画素を前記拡大または縮小された特殊光画像の画素に置換する内視鏡用画像処理装置である。
　本態様によれば、通常光画像および特殊光画像がそれぞれ拡大または縮小された後に、カラーの通常光画像は、一の色成分画像と他の色成分画像とに分離され、一の色成分画像が特殊光画像と合成されることによってブレンド画像が生成される。生成されたブレンド画像は、重畳画像生成部によって他の色成分画像と色合成される。これにより、特殊光画像が通常光画像に重畳され拡大または縮小された重畳画像が得られる。
　この場合に、特殊光画像は、一部の領域のみを抽出する処理を施されることなく、全体が略均一にブレンド画像に合成される。したがって、特殊光画像の内、階調値を有する全ての注目領域を重畳画像に表示させることができる。
　また、ブレンド画像において一の色成分画像の画素と特殊光画像の画素とをそのまま混在させることによって、一の色成分画像に対するブレンド画像の階調値の変化が低減され、かつ、特殊光画像に含まれていたノイズがブレンド画像においては低減される。また、通常光画像内の被写体の構造情報が特殊光画像の階調値に埋もれてしまうことがない。これにより、通常光画像に対して色調の変化およびノイズが少なく、かつ、被写体の構造が明瞭な重畳画像を生成することができる。
　さらに、ブレンド画像を含む重畳画像には、ブレンド画像内の通常光画像の画素と特殊光画像由来の画素との配列に由来するモザイク模様が含まれる。仮に、ブレンド画像を生成した後に拡大または縮小を行った場合、ブレンド画像に含まれるモザイク模様を要因とするアーティファクトが発生し得る。これに対し、既に拡大または縮小された通常光画像および特殊光画像からブレンド画像を生成することによって、拡大縮小処理におけるアーティファクトの発生を防止し、自然な重畳画像を提供することができる。
　上記態様においては、前記拡大縮小部が、前記重畳画像を表示する表示装置から前記重畳画像の表示サイズを取得し、取得された前記表示サイズに応じた倍率で前記通常光画像および前記特殊光画像を拡大または縮小してもよい。
　このようにすることで、表示装置における重畳画像の表示サイズを自動的に認識し、表示に適したサイズに重畳画像を拡大または縮小することができる。
　上記態様においては、ユーザによって前記重畳画像の表示倍率が入力される入力部を備え、前記拡大縮小部が、前記入力部に入力された前記表示倍率に応じた倍率で前記通常光画像および特殊光画像を拡大または縮小してもよい。
　このようにすることで、ユーザの所望の表示倍率に応じて拡大または縮小された重畳画像を提供することができる。
　上記態様においては、前記倍率に基づいて、前記ブレンド画像生成部に前記ブレンド画像を生成させるか否かを決定するブレンド要否決定部を備えていてもよい。
　ブレンド画像の生成が停止されたときには、重畳画像生成部において、ブレンド画像に代えて拡大または縮小された一の色成分画像が拡大または縮小された他の色成分画像と色合成されるので、拡大または縮小された通常光画像が生成される。表示倍率によっては、ブレンド画像を含む重畳画像ではなく通常光画像の方が、被写体の観察に適している。したがって、このような表示倍率においては、ブレンド画像の生成を停止し、重畳画像に代えて、拡大または縮小された通常光画像を生成することにより、観察シーンにより適した画像を提供することができる。
　上記態様においては、前記ブレンド画像における前記拡大または縮小された一の色成分画像の画素および前記拡大または縮小された特殊光画像の画素の配列を規定したブレンドパターンを前記ブレンド画像生成部に設定するとともに、前記倍率が大きい程、前記拡大または縮小された特殊光画像の画素の数の割合が小さくなるように、前記倍率に応じて前記ブレンドパターンを決定するブレンドパターン決定部を備え、前記ブレンド画像生成部が、前記ブレンドパターン決定部によって設定されたブレンドパターンに従って前記ブレンド画像を生成してもよい。
　このようにすることで、倍率が大きいときには、通常光画像のブレンドの割合が大きく、被写体の形態がより精細な重畳画像が提供される。一方、倍率が小さいときには、特殊光画像のブレンドの割合が高く、特殊光による観察対象である病変部のような注目領域がより強調された重畳画像が提供される。このように、各々の観察シーンに適した重畳画像を提供することができる。
　上記態様においては、前記拡大縮小部が、前記通常光画像および前記特殊光画像に画素を追加して画素数を増加し、追加された画素の内、少なくとも一部の階調値を補間することによって、前記通常光画像および前記特殊光画像をそれぞれ拡大し、前記ブレンド画像を構成する画素の画素値が少なくとも補間されるように、前記階調値を補間する画素を前記倍率に応じて決定する補間画素決定部を備えていてもよい。
　一の色成分画像および特殊光画像に追加された画素の内、一部の画素はブレンド画像に使用されない。したがって、一の色成分画像および特殊光画像を拡大する際に、画素値を補間する画素を選択することによって、処理量および拡大された画像の保存容量を低減することができる。特に、補間画素決定部が、ブレンド画像を構成する画素のみを、階調値を補間する画素に決定することによって、処理量および保存容量を最小化することができる。
　本発明によれば、色調の変化およびノイズが少なく、かつ、被写体の構造が明瞭な重畳画像を生成することができるという効果を奏する。
本発明の第１の実施形態に係る内視鏡用画像処理装置および内視鏡システムの全体構成図である。 図１の内視鏡用画像処理装置における画像処理ユニットの構成図である。 図２の画像処理ユニットにおける白色光画像および蛍光画像の処理の一例を説明する図である。 図２のブレンド画像生成部において使用されるブレンドパターンの一例を示す図である。 図１の内視鏡用画像処理装置の動作を説明するフローチャートである。 本発明の第２の実施形態に係る内視鏡用画像処理装置における画像処理ユニットの構成図である。 図６の画像処理ユニットを備える内視鏡用画像処理装置の動作を説明するフローチャートである。 図６の画像処理ユニットの変形例の構成図である。 図８のブレンドパターン決定部が有する複数のブレンドパターンの例を示す図である。 本発明の第３の実施形態に係る内視鏡用画像処理装置における画像処理ユニットの構成図である。 拡大縮小部において生成されたＧ成分画像を示す図である。 図１１ＡのＧ成分画像に空白画素を追加する処理を説明する図である。 図１１ＢのＧ成分画像内の空白画素の補間処理を説明する図である。 拡大縮小部において生成された蛍光画像を示す図である。 図１２Ａの蛍光画像に空白画素を追加する処理を説明する図である。 図１２Ｂの蛍光画像内の空白画素の補間処理を説明する図である。
（第１の実施形態）
　本発明の第１の実施形態に係る内視鏡用画像処理装置１およびこれを備える内視鏡システム１００について図１から図５を参照して説明する。
　内視鏡システム１００は、図１に示されるように、生体組織（被写体）Ａの白色光画像信号および蛍光画像信号を取得する内視鏡装置２と、該内視鏡装置２に接続された内視鏡用画像処理装置（以下、単に「画像処理装置」という。）１と、該画像処理装置１に接続された表示装置３とを備えている。
　内視鏡装置２は、白色光および励起光を出力する光源ユニット４と、体内に挿入可能であり、光源ユニット４からの白色光および励起光を体内の生体組織Ａに照射して画像信号を取得する挿入部５とを備えている。
　光源ユニット４は、白色光を発する白色光源６と、励起光を発する励起光源７と、白色光源６からの白色光と励起光源７からの励起光とを射出するビームスプリッタ８と、該ビームスプリッタ８から射出された白色光および励起光を収束させるレンズ９とを備えている。
　白色光源６は、例えば、ＬＥＤのような半導体光源またはＸｅランプのようなランプ光源である。励起光源７は、例えば、レーザダイオードのような半導体光源である。ビームスプリッタ８は、白色光を透過させ、該白色光よりも長波長の励起光（例えば、赤外光）を反射することによって、白色光と励起光とを同一の光軸上に合成する。白色光源６および励起光源７は、交互に点灯するように後述するタイミング制御部２４によって制御される。したがって、光源ユニット４からは白色光と励起光とが交互に出力されるようになっている。なお、白色光と励起光は、合成されて同時に出力されてもよい。
　挿入部５は、光源ユニット４から供給された白色光および励起光を挿入部５の先端５ａから生体組織Ａに向けて照射する照明ユニット１０と、挿入部５の先端５ａに設けられ、生体組織Ａを撮影する撮像ユニット１１とを備えている。
　照明ユニット１０は、挿入部５の長手方向のほぼ全長にわたって配置されたライトガイドファイバ１２と、挿入部５の先端５ａに設けられた照明光学系１３とを備えている。ライトガイドファイバ１２は、レンズ９によって収束された光をその基端から先端まで導光する。照明光学系１３は、ライトガイドファイバ１２の先端から射出された白色光および励起光を拡散させ、挿入部５の先端５ａに対向する生体組織Ａに照射する。
　撮像ユニット１１は、生体組織Ａからの光を集める対物レンズ１４と、該対物レンズ１４の結像面に配置され対物レンズ１４によって集められた光を撮影するカラーの撮像素子１５と、対物レンズ１４と撮像素子１５との間に配置され、励起光を選択的にカットするノッチフィルタ１６とを備えている。
　撮像素子１５は、ＲＧＢのモザイクフィルタを有するＣＣＤイメージセンサまたはＣＭＯＳイメージセンサである。撮像素子１５は、ノッチフィルタ１６を透過した白色光または蛍光を受光し、受光した光を光電変換して画像信号を生成し、生成された画像信号を画像処理装置１へ送信する。
　画像処理装置１は、撮像素子１５から受信した画像信号を一時的に保持するデータバッファ２１と、該データバッファ２１から受信した画像信号を処理して白色光画像（通常光画像）と蛍光画像（特殊光画像）とが重畳された重畳画像を生成する画像処理ユニット２２と、該画像処理ユニット２２から出力された重畳画像を一時的に保持する表示画像バッファ２３と、光源ユニット４、撮像素子１５、バッファ２１，２３および画像処理ユニット２２の動作を同期させるタイミング制御部２４と、入力部２５とを備えている。
　符号２６は、撮像素子１５から出力された画像信号を増幅する増幅器である。符号２７は、利得制御器（ＡＧＣ）である。符号２８は、アナログ信号の画像信号をデジタル信号の画像信号へ変換するＡ／Ｄ変換器である。符号２９は、表示画像バッファ２３から出力された重畳画像のデジタル信号の画像信号をアナログ信号の画像信号へ変換するＤ／Ａ変換器である。
　タイミング制御部２４は、白色光源６および励起光源７を交互に点灯させるとともに、白色光源６および励起光源７の点灯に同期して撮像素子１５に露光を実行させる。これにより、撮像素子１５は、生体組織Ａによって反射された白色光に基づく白色光画像信号と、生体組織Ａにおいて発生した蛍光に基づく蛍光画像信号とを交互に取得して画像処理装置１に送信する。
　表示装置３は、重畳画像を表示する表示エリアを画面上に有している。入力部２５は、表示装置３の表示エリアに表示される重畳画像の表示倍率を観察者が入力することができるようになっている。ここで、重畳画像の拡大を意味する表示倍率を「拡大率」といい、重畳画像の縮小を意味する倍率を「縮小率」という。例えば、等倍を意味する表示倍率が１００％である場合、１００％よりも大きい表示倍率を「拡大率」といい、１００％未満の表示倍率を「縮小率」という。
　データバッファ２１は、撮像素子１５から受信した画像信号を一時的に保持し、一対の白色光画像信号および蛍光画像信号を画像処理ユニット２２に送信する。
　画像処理ユニット２２は、図２に示されるように、拡大縮小部３１と、ブレンド画像生成部３２と、重畳画像生成部３３とを備えている。図３は、画像処理ユニット２２による、白色光画像および蛍光画像からの重畳画像の生成過程の一例を示している。広帯域の白色光を撮影して取得された白色光画像信号は、３色の画像信号、すなわち赤（Ｒ）画像信号、緑（Ｇ）画像信号および青（Ｂ）画像信号から構成されている。データバッファ２１は、Ｒ、ＧおよびＢ画像信号と蛍光画像信号とを拡大縮小部３１に送信する
　拡大縮小部３１は、Ｒ、ＧおよびＢ画像信号からＲ、ＧおよびＢ成分画像をそれぞれ生成し、蛍光画像信号から蛍光画像を生成する。各画像は、行列状に２次元配列した多数の画素からなる。また、拡大縮小部３１は、入力部２５から該入力部２５に入力されている表示倍率を取得するとともに、画像処理装置１に接続された表示装置３から、該表示装置３の表示エリアの仕様に関する情報を受信する。表示エリアの仕様には、少なくとも、サイズ（表示サイズ）および画素数（解像度）が含まれる。
　次に、拡大縮小部３１は、表示倍率と、表示装置３の表示エリアのサイズおよび画素数とに基づいて倍率を决定し、決定された倍率でＲ、Ｇ、Ｂ画像および蛍光画像をそれぞれ拡大または縮小する。以下、画像の拡大を意味する倍率を「拡大率」といい、画像の縮小を意味する倍率を「縮小率」という。例えば、等倍を意味する倍率が１００％である場合、１００％よりも大きい倍率を「拡大率」といい、１００％未満の倍率を「縮小率」という。
　画像の縮小は、例えば、画像の画素の一部を間引いて画素数を減らすことによって行われる。画像の拡大は、例えば、画像に空白画素を追加して画素数を増加し、追加された空白画素の階調値を周囲の画素の階調値に基づいて補間することによって行われる。拡大縮小部３１は、拡大または縮小されたＧ成分画像および蛍光画像をブレンド画像生成部３２に送信し、拡大または縮小されたＲ成分画像およびＢ成分画像を重畳画像生成部３３に送信する。
　ブレンド画像生成部３２は、拡大または縮小されたＧ成分画像と蛍光画像とを用いてブレンド処理を実行することによって、Ｇ成分画像の画素と蛍光画像の画素とが混在するブレンド画像を生成する。
　具体的には、ブレンド画像生成部３２は、Ｇ成分画像の画素「Ｇ」と蛍光画像の画素「Ｆ」の配列を規定したブレンドパターンを保持している。ブレンドパターンは、例えば、図４に示されるように、「Ｇ」および「Ｆ」が、１画素単位で交互に行方向および列方向に市松模様状に配列した正方格子配列パターンである。ブレンド画像生成部３２は、Ｇ成分画像の全画素の内、ブレンドパターンの「Ｆ」に対応する画素を蛍光画像の画素に置換することによって、Ｇ成分画像の画素と蛍光画像の画素とが全体にわたって均一な分布でブレンドされたブレンド画像を生成する。
　ブレンド画像における「Ｇ」および「Ｆ」のパターンは、ブレンド画像全体にわたって「Ｇ」および「Ｆ」の分布が略均一である限りにおいて、変更可能である。例えば、「Ｇ」および「Ｆ」の他の配列を有するブレンドパターンを採用してもよい。あるいは、ブレンド画像生成部３２は、Ｇ成分画像の全画素の中から一部の画素を略均等にランダムに選択してもよい。
　重畳画像生成部３３は、ブレンド画像生成部３２から受信したブレンド画像をＧ成分画像の代わりとして用い、ブレンド画像と拡大縮小部３１から受信したＲ成分画像およびＢ成分画像とをカラー合成することによって、カラーの重畳画像を生成する。重畳画像生成部３３は、生成した重畳画像を表示画像バッファ２３へ送信する。
　表示画像バッファ２３は、重畳画像生成部３３から受信した重畳画像を一時的に保持し、重畳画像を一定の時間間隔を空けてＤ／Ａ変換器２９を介して表示装置３へ出力する。
　次に、このように構成された画像処理装置１および内視鏡システム１００の作用について説明する。
　内視鏡システム１００を用いて生体組織Ａを観察するには、予め、病変部に集積する蛍光物質を生体組織Ａに投与しておく。
　まず、体内に挿入部５を挿入して先端５ａを生体組織Ａに対向配置し、光源ユニット４の作動によって白色光および励起光を交互に挿入部５の先端５ａから生体組織Ａに照射する。
　生体組織Ａに白色光が照射されると、生体組織Ａの表面において反射された白色光が対物レンズ１４によって集められる。対物レンズ１４によって集められた白色光は、ノッチフィルタ１６を透過して撮像素子１５に入射し、該撮像素子１５によって白色光画像信号として取得される。一方、生体組織Ａに励起光が照射されると、病変部に含まれる蛍光物質が励起光によって励起されて蛍光が発生し、蛍光および励起光の一部が対物レンズ１４によって集められる。対物レンズ１４によって集められた蛍光および励起光のうち、蛍光のみがノッチフィルタ１６を透過して撮像素子１５に入射し、該撮像素子１５によって蛍光画像信号として取得される。
　以上のようにして撮像素子１５によって交互に取得される白色光画像信号および蛍光画像信号は、画像処理装置１に送信される。
　画像処理装置１において、白色光画像信号および蛍光画像信号は、増幅器２６、ＡＧＣ２７およびＡ／Ｄ変換器２８を介してデータバッファ２１へ入力され、一対の白色光画像信号および蛍光画像信号がデータバッファ２１から画像処理ユニット２２へ入力される。
　画像処理ユニット２２において、図５に示されるように、表示装置３の表示エリアの仕様とユーザによって入力部２５に入力された表示倍率とが拡大縮小部３１によって認識され（ステップＳ１，Ｓ２）、表示エリアのサイズおよび画素数と表示倍率とに基づいて倍率が決定される（ステップＳ３）。次に、拡大縮小部３１において、白色光画像を構成するＲ、Ｇ、Ｂ成分画像と蛍光画像が、決定された倍率で拡大または縮小される（ステップＳ４）。拡大または縮小されたＧ成分画像および蛍光画像はブレンド画像生成部３２に送信され、拡大または縮小されたＲ画像信号およびＢ画像信号は重畳画像生成部３３に送信される。
　次に、ブレンド画像生成部３２において、Ｇ成分画像の内、一部の画素を蛍光画像の画素に置換することによって、Ｇ成分画像の画素と蛍光画像の画素とが全体にわたって略均一な分布でブレンドされたブレンド画像が生成される（ステップＳ５）。ブレンド画像には、Ｇ成分画像内の生体組織Ａの像と、蛍光画像内の蛍光の像との両方が含まれる。生成されたブレンド画像は、重畳画像生成部３３においてＲ成分画像およびＢ成分画像とカラー合成されて、重畳画像が生成される（ステップＳ６）。生成された重畳画像は、所定の時間間隔を空けて順番に表示画像バッファ２３からＤ／Ａ変換器２９を介して表示装置３に出力される。これにより、表示装置３の表示エリアには重畳画像が、ユーザが入力部２５に入力された表示倍率でライブ動画として表示される。
　この場合に、本実施形態によれば、ブレンド画像は、Ｇ成分画像の画素と蛍光画像の画素とが、ブレンド画像全体にわたって略均一な分布で混在するようにブレンドされた画像であり、蛍光画像は、階調値に依らずに全体が略均一にブレンド画像に合成される。したがって、蛍光領域の内、十分に高い階調値を有する蛍光領域のみならず、比較的低い階調値を有する蛍光領域もブレンド画像に合成される。これにより、観察者にとって注目すべき蛍光領域の全てが表示された重畳画像を生成することができるという利点がある。
　また、ブレンド画像の各画素の階調値は、Ｇ色成分画像の画素の階調値または蛍光画像の画素の階調値そのものである。このようなブレンド画像を使用してカラー合成した重畳画像において、白色光画像の色調と略同一の色調を再現することができる。また、白色光画像内の生体組織Ａの構造情報が蛍光画像の階調値に埋もれてしまうことがないので、白色光画像内の生体組織Ａの明瞭な構造を重畳画像においても維持することができる。さらに、蛍光画像のＳＮ比が低く蛍光画像がノイズを含んでいたとしても、蛍光画像の画素とノイズの無いＧ成分画像の画素とをブレンドすることによって、ブレンド画像においてはノイズが低減される。これにより、ノイズの少ない重畳画像を得ることができるという利点がある。
　また、重畳画像には、ブレンド画像内のＧ成分画像の画素と蛍光画像の画素との交互配列に基づくモザイク模様が含まれる。仮に、拡大処理をブレンド画像の生成の前ではなく後に行った場合、ブレンド画像内のモザイク模様が拡大されるため、高倍率で拡大された重畳画像において、モザイク模様がユーザによって視認されるサイズまで拡大される。その結果、表示装置３に表示される拡大された重畳画像が不自然になるとともに、モザイク模様が生体組織Ａの形態や蛍光の観察の妨げとなる。これに対し、本実施形態によれば、既に拡大されたＧ成分画像および蛍光画像からブレンド画像を生成するので、モザイク模様は、拡大されることはなく、ユーザが視認できない微細なサイズのままである。これにより、表示倍率を上げて重畳画像を表示エリア上で拡大観察する際にも、自然な重畳画像を提供することができる。
　また、縮小処理を、ブレンド画像の生成の前ではなく後に行った場合、モザイク模様に基づくモアレや縞模様等のノイズが発生し得る。本実施形態によれば、縮小処理後にブレンド処理を実行することによって、ノイズの発生を防ぐことができ、ノイズのない低倍率の重畳画像を表示することができる。
　本実施形態においては、画像処理装置１および表示装置３が別体であることとしたが、これに代えて、画像処理装置１および表示装置３が一体であってもよい。すなわち、画像処理装置１が、表示エリアを有し、該表示エリアに重畳画像を表示する表示機能を備えていてもよい。
　このような構成は、重畳画像の最終的な表示サイズを表示側で調整する場合に、表示サイズの情報が同一の装置内で拡大縮小部３１へ送信されるので、有利である。
　また、本実施形態においては、重畳画像の生成の機能を担う画像処理ユニット２２および入力部２５と、その他の構成２１，２３，２４，２６，２７，２８，２９とが別々の装置に設けられていてもよい。この場合、画像処理ユニット２２および入力部２５を有する画像処理装置は、他の装置から受信した白色光画像信号および蛍光画像信号を用いて重畳画像を生成する。
（第２の実施形態）
　次に、本発明の第２の実施形態に係る内視鏡用画像処理装置およびこれを備える内視鏡システムについて図６から図８を参照して説明する。
　本実施形態においては、第１の実施形態と異なる構成について主に説明し、第１の実施形態と共通の構成については同一の符号を付して説明を省略する。
　本実施形態に係る内視鏡システムは、内視鏡装置２と、該内視鏡装置２に接続された本実施形態に係る内視鏡用画像処理装置（以下、単に「画像処理装置」という。）と、該画像処理装置に接続された表示装置３とを備えている。
　本実施形態に係る画像処理装置は、データバッファ２１と、画像処理ユニット２２１と、表示画像バッファ２３と、タイミング制御部２４と、入力部２５とを備えている。
　画像処理ユニット２２１は、図６に示されるように、拡大縮小部３１、ブレンド画像生成部３２および重畳画像生成部３３に加えて、入力部２５に入力された表示倍率に基づいてブレンド画像生成部３２によるブレンド処理の実行と非実行とを切り替えるブレンド要否決定部３４を備えている。
　ブレンド要否決定部３４は、入力部２５から表示倍率を取得する。表示倍率が所定の閾値以上の拡大率であるときには、ブレンド要否決定部３４は、ブレンド処理を実行しない「ＯＦＦ」状態に設定する。一方、表示倍率が縮小率、等倍または所定の閾値未満の拡大率であるときには、ブレンド要否決定部３４は、ブレンド処理を実行する「ＯＮ」状態に設定する。すなわち、表示エリア上で重畳画像が高倍率で拡大表示されるときには、ブレンド処理が「ＯＦＦ」に設定され、それ以外のときにはブレンド処理が「ＯＮ」に設定されるようになっている。
　ブレンド画像生成部３２は、「ＯＮ」に設定されているときには、ブレンド処理を実行してブレンド画像を生成する。一方、ブレンド画像生成部３２は、「ＯＦＦ」に設定されているときには、ブレンド処理を実行せず、拡大縮小部３１から受信した拡大されたＧ成分画像をそのまま重畳画像生成部３３に送信する。
　本実施形態によれば、図７に示されるように、ユーザによって入力部２５に入力された表示倍率が閾値未満であるときには（ステップＳ７のＮＯ）、ブレンド処理が「ＯＮ」に設定され（ステップＳ８）、拡大されたＧ成分画像および蛍光画像からブレンド画像が生成され（ステップＳ５）、生成されたブレンド画像を使用して重畳画像が生成される（ステップＳ６）。一方、ユーザによって入力部２５に入力された表示倍率が閾値以上であるときには（ステップＳ７のＹＥＳ）、ブレンド処理が「ＯＦＦ」に設定され（ステップＳ９）、拡大されたＧ成分画像をそのままカラー合成に使用して画像が生成される（ステップＳ６）。すなわち、この場合には、ステップＳ６において、重畳画像に代えて、白色光画像が生成される。
　表示エリア上で重畳画像を高倍率で拡大表示しているときは、観察者が、病変部のような関心領域を詳細に観察したいときである。このようなときにブレンド処理を「ＯＦＦ」に切り替えることによって、生体組織Ａの形態がより精細な画像が表示エリアに表示される。これにより、観察シーンに適した表示と、画像処理量の低減とを図ることができる。
　本実施形態のその他の作用および効果は、第１の実施形態と同様であるので説明を省略する。
　本実施形態においては、高倍率で拡大された画像を表示する際に、ブレンド処理を「ＯＦＦ」に切り替えることによって、画像内の生体組織Ａの精細度を高めることとしたが、これに代えて、重畳画像に含まれるブレンド画像内の蛍光画像の画素「Ｆ」の数の割合を減らしてもよい。具体的には、図８に示されるように、ブレンド画像生成部３２において使用されるブレンドパターンを倍率に応じて決定するブレンドパターン決定部３５が画像処理ユニット２２１にさらに設けられていてもよい。
　ブレンドパターン決定部３５は、拡大縮小部３１から該拡大縮小部３１によって決定された倍率を取得し、倍率が拡大率であるときには、拡大率が大きい程、「Ｆ」の数の割合が小さくなるように、ブレンドパターンを決定する。例えば、ブレンドパターン決定部３５は、図９に示されるように、「Ｆ」の数の割合が異なる複数のブレンドパターンを記憶している。また、ブレンドパターン決定部３５は、拡大率と「Ｆ」の数の割合との対応関係を記憶している。ブレンドパターン決定部３５は、拡大率に対応する「Ｆ」の数の割合を有するブレンドパターンを選択し、選択されたブレンドパターンをブレンド画像生成部３２に設定する。
　このようにすることで、表示エリア上で重畳画像が高倍率で拡大表示されるときには、蛍光画像のブレンド割合が少なく、白色光画像のブレンド割合が多いブレンド画像が生成されるので、生体組織Ａの形態がより精細な重畳画像が生成される。それ以外のときには、蛍光画像内の蛍光領域が鮮明な重畳画像が生成される。このように、観察シーンに適した重畳画像をユーザに提供することができる。
　画像処理ユニット２２１には、ブレンド要否決定部３４とブレンドパターン決定部３５の両方が設けられていてもよく、いずれか一方のみが設けられていてもよい。ブレンド要否決定部３４とブレンドパターン決定部３５の両方を設ける場合には、ブレンド要否決定部３４によって「ＯＮ」に設定されているときにのみ、ブレンドパターン決定部３５が作動する。
（第３の実施形態）
　次に、本発明の第３の実施形態に係る内視鏡用画像処理装置およびこれを備える内視鏡システムについて図１０から図１２Ｃを参照して説明する。
　本実施形態においては、第１および第２の実施形態と異なる構成について主に説明し、第１および第２の実施形態と共通する構成については同一の符号を付して説明を省略する。
　本実施形態に係る内視鏡システムは、内視鏡装置２と、該内視鏡装置２に接続された本実施形態に係る内視鏡用画像処理装置（以下、単に「画像処理装置」という。）と、該画像処理装置に接続された表示装置３とを備えている。
　本実施形態に係る画像処理装置は、データバッファ２１と、画像処理ユニット２２２と、表示画像バッファ２３と、タイミング制御部２４と、入力部２５とを備えている。
　画像処理ユニット２２２は、図１０に示されるように、拡大縮小部３１、ブレンド画像生成部３２および重畳画像生成部３３に加えて、Ｇ成分画像および蛍光画像の拡大処理において階調値の補間を行う空白画素を決定する補間画素決定部３６を備えている。
　図１１Ａから図１２Ｃには、拡大率が２倍であるときに、図４に示されるブレンドパターンを使用して重畳画像を生成する過程が示されている。図１１Ｂは、図１１ＡのＧ成分画像を拡大した画像であり、図１２Ｂは、図１２Ａの蛍光画像を拡大した画像である。図１１Ｃおよび図１２Ｃには、周囲の４画素の階調値を用いるバイリニア法により画素値を補間する例が示されているが、他の補間方法を用いてもよい。
　補間画素決定部３６は、拡大率と、階調値を補間する画素の位置を示すアドレス情報とを、対応付けて記憶している。アドレス情報は、Ｇ成分画像および蛍光画像に追加された空白画素の内、ブレンド画像を構成する画素（図１１Ｂおよび図１２Ｂにおいて破線で囲まれた画素）の位置を示す情報である。すなわち、Ｇ成分画像用のアドレス情報は、Ｇ成分画像に追加された空白画素の内、蛍光画像の画素「Ｆ」に置換される画素以外の画素の位置を示す情報である。蛍光画像用のアドレス情報は、蛍光画像に追加された空白画素の内、Ｇ成分画像の画素の置換に使用される画素（ブレンドパターンの画素「Ｆ」に対応する画素）の位置を示す情報である。
　補間画素決定部３６は、拡大縮小部３１から該拡大縮小部３１によって決定された倍率を取得し、倍率が拡大率である場合に、拡大率に対応するアドレス情報を選択し、選択されたアドレス情報を拡大縮小部３１に送信する。
　拡大縮小部３１は、図１１Ａおよび図１１Ｂに示されるように、Ｇ成分画像に空白画素を追加することによってＧ成分画像を拡大する。同様に、拡大縮小部３１は、図１２Ａおよび図１２Ｂに示されるように、蛍光画像に空白画素を追加することによって蛍光画像を拡大する。次に、拡大縮小部３１は、図１１Ｃに示されるように、Ｇ成分画像に追加された空白画素の内、アドレス情報が示す位置の空白画素のみ階調値を補間し、それ以外の空白画素について補間を実行しない。同様に、拡大縮小部３１は、図１２Ｃに示されるように、蛍光画像に追加された空白画素の内、アドレス情報が示す位置の空白画素のみ階調値を補間し、それ以外の空白画素について補間を実行しない。したがって、拡大縮小部３１からブレンド画像生成部３２に送信される拡大されたＧ成分画像および蛍光画像には、図１１Ｃおよび図１２Ｃに示されるように、階調値を有しない空白画素が含まれ得る。
　アドレス情報は、拡大率の他に、ブレンドパターンによっても異なる。したがって、拡大縮小部３１において複数のブレンドパターンが使用され得る場合、拡大率とブレンドパターンとの各組み合わせに対応するアドレス情報が補間画素決定部３６に記憶され、拡大率およびブレンドパターンの組み合わせに基づいて選択されたアドレス情報が拡大縮小部３１による補間処理に使用される。
　白色光画像および蛍光画像の拡大処理において、追加された全ての空白画素の階調値を補間した場合には、画像処理装置による画像の処理量および一時的な保存容量が増大する。本実施形態によれば、ブレンド画像の生成に必要な空白画素のみ階調値を補間することによって、処理量および保存容量を低減することができる。
　また、図１１Ｂおよび図１２Ｂに示されるように、空白画素が追加されたＧ成分画像内の元の画素Ｇ１１，Ｇ１２，…，Ｇ３３の位置と、空白画素が追加された蛍光画像内の元の画素Ｆ１１，Ｆ１２，…，Ｆ２３の位置とが互いに異なるように、Ｇ成分画像に空白画素を追加する位置と、蛍光画像に空白画素を追加する位置とを互いに異ならせることによって、階調値を補間する空白画素の数をさらに低減することができる。
　本実施形態のその他の作用および効果については、第１の実施形態と同様であるので説明を省略する。
　第１から第３の実施形態においては、ブレンド処理の前に実行される画像処理として拡大縮小処理について説明したが、拡大縮小処理以外の画像処理をブレンド処理の前に実行する場合にも、有利な効果を得ることができる。したがって、拡大縮小処理に代えて、またはこれに加えて、他の画像処理をブレンド処理の前に実行してもよい。
　例えば、構造強調処理や輪郭強調処理等の各種強調処理をブレンド処理後に行う場合、強調処理がモザイク模様の影響を受けてしまい、白色光画像内の生体組織Ａの像または蛍光画像内の蛍光像を適切に強調することができない可能性がある。このような強調処理をブレンド処理の前に実行することによって、強調処理も適切に行うことができる。
　第１から第３の実施形態においては、白色光と励起光とを交互に生体組織Ａに照射し、単一の撮像素子１５を用いて白色光画像信号と蛍光画像信号とを交互に取得することとしたが、これに代えて、白色光と励起光とを同時に生体組織Ａに照射し、２つの撮像素子１５を用いて白色光画像信号と蛍光画像信号とを同時に取得するように構成されていてもよい。
　第１から第３の実施形態においては、蛍光領域が重畳画像において緑色で表示されるように蛍光画像をＧ成分画像とブレンドすることとしたが、蛍光画像をブレンドする画像は、Ｒ成分画像またはＢ成分画像であってもよい。
　第１から第３の実施形態においては、特殊光および特殊光画像の一例として、蛍光物質を励起する励起光および蛍光画像について説明したが、特殊光および特殊光画像の種類はこれに限定されるものではない。例えば、赤外光を使用して赤外光画像を取得してもよく、青色狭帯域光および緑色狭帯域光を使用してＮＢＩ画像を取得してもよい。
　第１から第３の実施形態において説明した画像処理装置１は、例えば、中央演算処理装置（ＣＰＵ）と記憶装置とを備えるコンピュータによって実現される。具体的には、画像処理ユニット２２，２２１，２２２による処理をＣＰＵに実行させるための画像処理プログラムが記憶装置に記憶され、該画像処理プログラムに従ってＣＰＵが動作することによって、各部３１，３２，３３，３４，３５，３６による処理が実現されるようになっている。
１００　内視鏡システム
１　内視鏡用画像処理装置
２　内視鏡装置
３　表示装置
４　光源ユニット
５　挿入部
６　白色光源
７　励起光源
８　ビームスプリッタ
９　レンズ
１０　照明ユニット
１１　撮像ユニット
１２　ライトガイドファイバ
１３　照明光学系
１４　対物レンズ
１５　撮像素子
１６　ノッチフィルタ
２１　データバッファ
２２，２２１，２２２　画像処理ユニット
２３　表示画像バッファ
２４　タイミング制御部
２５　入力部
２６　増幅器
２７　ＡＧＣ
２８　Ａ／Ｄ変換器
２９　Ｄ／Ａ変換器
３１　拡大縮小部
３２　ブレンド画像生成部
３３　重畳画像生成部
３４　ブレンド要否決定部
３５　ブレンドパターン決定部
３６　補間画素決定部

Claims (7)

  1. 　広帯域の可視光で照明された被写体のカラーの通常光画像と、狭帯域の特殊光で照明された前記被写体の特殊光画像とを処理する画像処理装置であって、
    　前記通常光画像を構成する複数の色成分画像および前記特殊光画像を拡大または縮小する拡大縮小部と、
    　該拡大縮小部によって拡大または縮小された一の色成分画像と前記拡大縮小部によって拡大または縮小された特殊光画像とを合成してブレンド画像を生成するブレンド画像生成部と、
    　該ブレンド画像生成部によって生成された前記ブレンド画像と、前記拡大縮小部によって拡大または縮小された他の色成分画像とを合成して、カラーの重畳画像を生成する重畳画像生成部とを備え、
    　前記ブレンド画像生成部は、前記拡大または縮小された一の色成分画像の画素の内の一部の画素を選択し、選択された一部の画素を前記拡大または縮小された特殊光画像の対応する画素に置換することによって前記ブレンド画像を生成するとともに、前記ブレンド画像の全体にわたって前記拡大または縮小された一の色成分画像の画素および前記拡大または縮小された特殊光画像の画素の分布が略均一となるように、前記拡大または縮小された一の色成分画像の一部の画素を前記拡大または縮小された特殊光画像の画素に置換する内視鏡用画像処理装置。
  2. 　前記拡大縮小部が、前記重畳画像を表示する表示装置から前記重畳画像の表示サイズを取得し、取得された前記表示サイズに応じた倍率で前記通常光画像および前記特殊光画像を拡大または縮小する請求項１に記載の内視鏡用画像処理装置。
  3. 　ユーザによって前記重畳画像の表示倍率が入力される入力部を備え、
    　前記拡大縮小部が、前記入力部に入力された前記表示倍率に応じた倍率で前記通常光画像および特殊光画像を拡大または縮小する請求項１または請求項２に記載の内視鏡用画像処理装置。
  4. 　前記表示倍率に基づいて、前記ブレンド画像生成部に前記ブレンド画像を生成させるか否かを決定するブレンド要否決定部を備える請求項３に記載の内視鏡用画像処理装置。
  5. 　前記ブレンド画像における前記拡大または縮小された一の色成分画像の画素および前記拡大または縮小された特殊光画像の画素の配列を規定したブレンドパターンを前記ブレンド画像生成部に設定するとともに、前記倍率が大きい程、前記拡大または縮小された特殊光画像の画素の数の割合が小さくなるように、前記倍率に応じて前記ブレンドパターンを決定するブレンドパターン決定部を備え、
    　前記ブレンド画像生成部が、前記ブレンドパターン決定部によって設定されたブレンドパターンに従って前記ブレンド画像を生成する請求項２から請求項４のいずれかに記載の内視鏡用画像処理装置。
  6. 　前記拡大縮小部が、前記通常光画像および前記特殊光画像に画素を追加して画素数を増加し、追加された画素の内、少なくとも一部の階調値を補間することによって、前記通常光画像および前記特殊光画像をそれぞれ拡大し、
    　前記ブレンド画像を構成する画素の画素値が少なくとも補間されるように、前記階調値を補間する画素を前記倍率に応じて決定する補間画素決定部を備える請求項２から請求項５のいずれかに記載の内視鏡用画像処理装置。
  7. 　前記補間画素決定部が、前記ブレンド画像を構成する画素のみを、前記階調値を補間する画素に決定する請求項６に記載の内視鏡用画像処理装置。
PCT/JP2016/085898 2016-12-02 2016-12-02 内視鏡用画像処理装置 Ceased WO2018100732A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018553619A JP6739542B2 (ja) 2016-12-02 2016-12-02 内視鏡用画像処理装置および内視鏡用画像処理方法
PCT/JP2016/085898 WO2018100732A1 (ja) 2016-12-02 2016-12-02 内視鏡用画像処理装置
CN201680090959.6A CN110022751B (zh) 2016-12-02 2016-12-02 内窥镜用图像处理装置
US16/418,249 US10729310B2 (en) 2016-12-02 2019-05-21 Endoscope image processing devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/085898 WO2018100732A1 (ja) 2016-12-02 2016-12-02 内視鏡用画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/418,249 Continuation US10729310B2 (en) 2016-12-02 2019-05-21 Endoscope image processing devices

Publications (1)

Publication Number Publication Date
WO2018100732A1 true WO2018100732A1 (ja) 2018-06-07

Family

ID=62242361

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/085898 Ceased WO2018100732A1 (ja) 2016-12-02 2016-12-02 内視鏡用画像処理装置

Country Status (4)

Country Link
US (1) US10729310B2 (ja)
JP (1) JP6739542B2 (ja)
CN (1) CN110022751B (ja)
WO (1) WO2018100732A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021039870A1 (ja) * 2019-08-27 2021-03-04
JP2022057374A (ja) * 2020-09-30 2022-04-11 Hoya株式会社 内視鏡及び内視鏡装置
JP2024153783A (ja) * 2018-08-17 2024-10-29 富士フイルム株式会社 画像処理装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3544482A4 (en) 2016-11-28 2020-07-22 Adaptivendo LLC SEPARABLE DISPOSABLE SHAFT ENDOSCOPE
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1051380S1 (en) 2020-11-17 2024-11-12 Adaptivendo Llc Endoscope handle
USD1070082S1 (en) 2021-04-29 2025-04-08 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
AU2022341233B2 (en) 2021-09-10 2025-04-17 Boston Scientific Scimed, Inc. Method of robust surface and depth estimation
US12482116B2 (en) 2021-09-10 2025-11-25 Boston Scientific Scimed, Inc. Method of multiple image reconstruction and registration
USD1066659S1 (en) 2021-09-24 2025-03-11 Adaptivendo Llc Endoscope handle
CN114569874A (zh) * 2022-05-09 2022-06-03 精微致远医疗科技(武汉)有限公司 一种应用于可视化导丝的成像控制器主机及图像处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004321244A (ja) * 2003-04-21 2004-11-18 Olympus Corp 電子内視鏡システム
JP4799109B2 (ja) * 2005-09-29 2011-10-26 富士フイルム株式会社 電子内視鏡装置
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2016059977A1 (ja) * 2014-10-15 2016-04-21 オリンパス株式会社 信号処理装置及び内視鏡システム
WO2016147366A1 (ja) * 2015-03-19 2016-09-22 オリンパス株式会社 内視鏡装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
KR100411631B1 (ko) 2001-10-18 2003-12-18 주식회사 메디미르 형광 내시경 장치 및 그 장치를 이용한 진단부위 조상 방법
JP3950715B2 (ja) 2002-03-05 2007-08-01 富士フイルム株式会社 固体撮像素子およびこれを用いた撮像装置
JP4394356B2 (ja) 2003-02-07 2010-01-06 Ｈｏｙａ株式会社 電子内視鏡装置
JP2006263044A (ja) 2005-03-23 2006-10-05 Fuji Photo Film Co Ltd 蛍光検出システム
US7773127B2 (en) 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US8237808B2 (en) 2007-01-17 2012-08-07 Sony Corporation Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition
WO2009046268A1 (en) 2007-10-04 2009-04-09 Magna Electronics Combined rgb and ir imaging sensor
JP5361488B2 (ja) 2009-03-24 2013-12-04 オリンパス株式会社 蛍光観察装置
JP5572326B2 (ja) 2009-03-26 2014-08-13 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP5320268B2 (ja) 2009-11-12 2013-10-23 富士フイルム株式会社 画像表示装置
JP5669416B2 (ja) 2010-03-23 2015-02-12 オリンパス株式会社 蛍光観察装置
JP2012004787A (ja) 2010-06-16 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012010962A (ja) 2010-06-30 2012-01-19 Fujifilm Corp 励起光の光源装置および電子内視鏡システム
JP5442571B2 (ja) 2010-09-27 2014-03-12 パナソニック株式会社 固体撮像装置及び撮像装置
JP5684033B2 (ja) * 2011-04-11 2015-03-11 オリンパス株式会社 撮像装置及び内視鏡装置の作動方法
EP2636359B1 (en) 2011-08-15 2018-05-30 Olympus Corporation Imaging apparatus
KR101514204B1 (ko) 2013-07-12 2015-04-23 한국전기연구원 감시림프절의 근적외선 형광 검출 장치 및 방법
US10165972B2 (en) 2013-07-12 2019-01-01 Inthesmart Co., Ltd. Apparatus and method for detecting NIR fluorescence at sentinel lymph node
JP5932748B2 (ja) 2013-09-27 2016-06-08 富士フイルム株式会社 内視鏡システム
DE102013220539A1 (de) * 2013-10-11 2015-04-16 Siemens Aktiengesellschaft Modifikation einer Hohlorgan-Repräsentation
JP6197771B2 (ja) 2014-09-25 2017-09-20 株式会社Ｊｖｃケンウッド 画像接合装置、撮像装置、画像接合方法、及び画像接合プログラム
US9635325B2 (en) 2015-05-29 2017-04-25 Semiconductor Components Industries, Llc Systems and methods for detecting ultraviolet light using image sensors
US10708478B2 (en) 2016-03-23 2020-07-07 Karl Storz Imaging, Inc. Image transformation and display for fluorescent and visible imaging

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004321244A (ja) * 2003-04-21 2004-11-18 Olympus Corp 電子内視鏡システム
JP4799109B2 (ja) * 2005-09-29 2011-10-26 富士フイルム株式会社 電子内視鏡装置
JP2015029841A (ja) * 2013-08-06 2015-02-16 三菱電機エンジニアリング株式会社 撮像装置および撮像方法
WO2016059977A1 (ja) * 2014-10-15 2016-04-21 オリンパス株式会社 信号処理装置及び内視鏡システム
WO2016147366A1 (ja) * 2015-03-19 2016-09-22 オリンパス株式会社 内視鏡装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024153783A (ja) * 2018-08-17 2024-10-29 富士フイルム株式会社 画像処理装置
JPWO2021039870A1 (ja) * 2019-08-27 2021-03-04
WO2021039870A1 (ja) * 2019-08-27 2021-03-04 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
JP2022057374A (ja) * 2020-09-30 2022-04-11 Hoya株式会社 内視鏡及び内視鏡装置
JP7527170B2 (ja) 2020-09-30 2024-08-02 Hoya株式会社 内視鏡及び内視鏡装置

Also Published As

Publication number Publication date
CN110022751B (zh) 2021-11-30
JPWO2018100732A1 (ja) 2019-10-17
US10729310B2 (en) 2020-08-04
CN110022751A (zh) 2019-07-16
US20190269299A1 (en) 2019-09-05
JP6739542B2 (ja) 2020-08-12

Similar Documents

Publication Publication Date Title
JP6739542B2 (ja) 内視鏡用画像処理装置および内視鏡用画像処理方法
KR101184841B1 (ko) 내시경 장치 및 그 신호 처리 방법
US10708478B2 (en) Image transformation and display for fluorescent and visible imaging
JP5977772B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP5690327B2 (ja) 蛍光内視鏡装置
JPWO2019087557A1 (ja) 内視鏡システム
JP6285370B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム、及び内視鏡システム
US10750929B2 (en) Endoscope device for generating color superimposed image
JP2018182580A (ja) 撮像装置及び撮像装置の制御プログラム
JPWO2017104192A1 (ja) 医用観察システム
JP7702294B2 (ja) 内視鏡システム及びその作動方法
JP2005176940A (ja) 電子内視鏡
JP6137892B2 (ja) 撮像システム
JP6616071B2 (ja) 内視鏡用のプロセッサ装置、内視鏡用のプロセッサ装置の作動方法、内視鏡用の制御プログラム
JP2018051364A (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
WO2017149742A1 (ja) 内視鏡用画像処理装置
JPWO2019244247A1 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP2020137614A (ja) 電子内視鏡システム
JP7217351B2 (ja) 画像処理装置、内視鏡システム、及び画像処理装置の作動方法
JP5331863B2 (ja) 内視鏡装置
JPWO2019175991A1 (ja) 画像処理装置、内視鏡システム、画像処理方法およびプログラム
WO2017085850A1 (ja) 内視鏡用画像処理装置
JP6272956B2 (ja) 内視鏡システム、内視鏡システムのプロセッサ装置、内視鏡システムの作動方法、プロセッサ装置の作動方法
JP2019076656A (ja) 電子内視鏡システム
WO2021172131A1 (ja) 内視鏡システム、及び内視鏡システムの作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16922817

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018553619

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16922817

Country of ref document: EP

Kind code of ref document: A1