[go: up one dir, main page]

WO2018003503A1 - 画像処理装置および画像処理方法、並びに医療用撮像システム - Google Patents

画像処理装置および画像処理方法、並びに医療用撮像システム Download PDF

Info

Publication number
WO2018003503A1
WO2018003503A1 PCT/JP2017/021949 JP2017021949W WO2018003503A1 WO 2018003503 A1 WO2018003503 A1 WO 2018003503A1 JP 2017021949 W JP2017021949 W JP 2017021949W WO 2018003503 A1 WO2018003503 A1 WO 2018003503A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
image processing
biological
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/021949
Other languages
English (en)
French (fr)
Inventor
一木　洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2018525034A priority Critical patent/JP6825625B2/ja
Priority to CN201780038504.4A priority patent/CN109310306B/zh
Priority to EP17819863.6A priority patent/EP3476272A4/en
Priority to US16/303,242 priority patent/US11087461B2/en
Publication of WO2018003503A1 publication Critical patent/WO2018003503A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a medical imaging system, and in particular, an image processing device, an image processing method, and an image processing device that can make an image in an endoscope device or the like an image that can be easily viewed by an operator
  • the present invention relates to a medical imaging system.
  • Endoscopic surgery performed while viewing an endoscopic image captured by an endoscopic device is generally popular.
  • an image captured by an endoscope apparatus is an image captured in a special environment, there is an increasing need for an image that can be easily viewed by a surgeon performing an operation.
  • an endoscopic image captured by an endoscopic device is an image captured in a special environment as compared with general imaging
  • an endoscopic image is used, for example, AE (automatic exposure). (Adjustment) and AF (automatic focus adjustment) could not be performed properly.
  • metal surgical tools, gauze, and wall surfaces of living body tissues are light reflectors, and for example, a phenomenon of whiteout occurs. There was a fear that it could not be realized.
  • the present disclosure has been made in view of such a situation, and in particular, an endoscopic image that can be easily viewed by an operator by appropriately performing AE, AF, and blur correction on the endoscopic image. Can be presented.
  • An image processing apparatus includes a smoothing unit that smoothes a living body image generated by imaging a living body including a living tissue by a medical imaging device, and the living body image is smoothed by the smoothing unit. And a classification unit that classifies each subject included in each region in the biological image based on the smoothed image.
  • the classifying unit can classify the subjects included in the regions as the living tissue or other than the living tissue based on the smoothed image.
  • the classification unit can classify the subjects included in the regions based on the brightness, chromaticity, and luminance of the smoothed image.
  • a conversion unit that converts the pixel value of each pixel of the smoothed image into brightness, chromaticity, and luminance; and a luminance gradient calculation unit that calculates a gradient direction and a gradient intensity of the luminance of each pixel in the smoothed image
  • the classification unit includes a unit of blocks of a predetermined size in the biological image based on the brightness, the chromaticity, and the inclination direction and the inclination intensity. Subjects can be classified.
  • the block of the predetermined size may be composed of a plurality of small blocks having a size smaller than the predetermined size, and the moving addition is obtained by obtaining a moving addition of a histogram of the gradient intensity of the small block unit.
  • An inclination bias calculation unit that obtains a histogram as an inclination bias feature amount in units of small blocks can be further included.
  • the inclination bias calculation unit obtains a moving addition of a plurality of small block unit inclination intensity histograms in the block unit, and determines the upper inclination intensity of the histogram as the moving addition as the inclination deviation of the block unit of the predetermined size.
  • the classification unit may be configured to classify a subject in the biological image based on the brightness, the chromaticity, and the tilt-biased feature amount in block units. can do.
  • the inclination bias calculation unit can calculate the sum of inclination intensities up to a predetermined higher rank in the histogram that is the moving addition as an inclination bias characteristic amount in units of the predetermined size.
  • the classification unit may be classified into any one of a surgical instrument, a gauze, an out of mask, a blood clot, or a high-luminance part in the biological image as other than the biological tissue.
  • the classification unit is configured to classify each subject included in each region in the living body image into one of a surgical tool other than a living tissue, a gauze, a mask outside, a blood clot, or a high-luminance part. It is possible to classify a subject in an area that is not classified as a living tissue.
  • the classification unit can be configured by a classifier using a neural network.
  • the classifier can be configured by a classifier using machine learning using boosting.
  • a focus adjusting unit that adjusts the focus in the medical imaging apparatus can be further included based only on the information of the region classified as the living tissue.
  • the image processing unit that processes the image so as to hatch the position on the biological image corresponding to the type of the classified subject, and the image processing unit performs processing.
  • a display control unit for controlling the display of the living body image.
  • the displayed biometric image may further include an operation unit for designating a re-learning range where re-learning is required and designating a correct answer label indicating a correct subject. Can be re-learned to classify the subject corresponding to the correct answer label in the re-learning range.
  • the living body image can be an endoscope image captured by an endoscope apparatus.
  • An image processing method smoothes an image, smoothes a living body image generated by imaging a living body including a living tissue with a medical imaging device, and smoothes the living body image.
  • An image processing method including a step of classifying each subject included in each region in the biological image based on an image.
  • a medical imaging system includes a smoothing unit that smoothes a biological image generated by imaging a living body including a biological tissue by a medical imaging device, and the biological image is generated by the smoothing unit.
  • An image processing device including a classification unit that classifies each subject included in each region in the biological image based on the smoothed smoothed image, and a medical imaging device including an imaging unit that captures the image
  • a medical imaging system comprising:
  • a living body image generated by imaging a living body including a living tissue with a medical imaging device is smoothed, and the living body image is smoothed based on the smoothed image obtained by smoothing the living body image.
  • Each subject included in each region in the image is classified.
  • the endoscope image captured by the endoscope apparatus is captured in an extremely narrow space using a relatively close distance between the imaging surface and the subject and using high-intensity illumination.
  • the cavity wall surface exists so as to face the front, or white gauze, etc. If the conditions such that the illumination is strong, the surgical instrument, the inner wall surface, the gauze, etc., strongly reflect the illumination light. As a result, a so-called whitening phenomenon occurs, and the brightness cannot be recognized properly, and the AE cannot function properly.
  • enhancement processing is performed on an endoscopic image
  • image quality improvement processing is performed so that the affected area can be detected, and the affected area is detected by object detection and object identification.
  • AE, AF, and shake correction can be considered.
  • parameters of an endoscopic image that can be used for adjustment in realizing AE, AF, and blur correction for example, luminance information, chromaticity information, labeling (area / shape), contour model (Snake, etc.), straight edge (HOUGH conversion, etc.), pattern (HAA / LBP feature, etc.), image gradient (slope) (HOG feature, etc.), histogram, texture, etc. are conceivable.
  • luminance information with high AE linkage luminance information with high AE linkage, chromaticity information with a small amount of calculation, and relatively high recognition performance by learning, and focusing are affected.
  • AE, AF, and blur correction are performed using an image gradient (tilt) that can detect a surgical instrument without any problem.
  • a target object to be viewed such as a surgical tool, a gauze, outside a mask, a blood clot, and a high-luminance region that are relatively easy to detect rather than directly detecting and identifying a target biological tissue.
  • a region other than the living tissue is detected and identified, and the other region is regarded as a region of the living tissue to be viewed.
  • the image processing apparatus applies an LPF (Low Pass Filter) to the endoscopic image captured by the endoscopic device and smoothes the endoscopic image so that the endoscopic image is in focus. Even in the absence, a strong bias in the image inclination is generated with respect to a region other than the living tissue such as a surgical instrument portion. Furthermore, the image processing apparatus according to the present disclosure extracts the bias of the image tilt as a feature amount, and reduces the amount of computation by reducing the dimension of the feature amount, thereby reducing processing load and improving processing accuracy.
  • the biological tissue in the endoscopic image that is the viewing target of the surgeon can be presented with low delay.
  • the image processing apparatus 11 processes the endoscopic image supplied from the endoscopic apparatus 12 and presents an endoscopic image that is easy to view to the operator.
  • the endoscope device 12 is a rod-shaped device, and an image formed on the image sensor 62 by the optical block 61 including a plurality of lenses and the like provided at the distal end portion of the endoscope apparatus 12 is displayed. Images.
  • the endoscope apparatus 12 captures, for example, an in-vivo image as an endoscopic image, a 2K image (for example, about 1920 ⁇ 1080), a 4K image (for example, about 4096 ⁇ 2160, or 3840 ⁇ 2160) or an 8K image (for example, about 7680 ⁇ 4320) as a high-resolution image and output to the image processing apparatus 11.
  • a 2K image for example, about 1920 ⁇ 1080
  • a 4K image for example, about 4096 ⁇ 2160, or 3840 ⁇ 2160
  • an 8K image for example, about 7680 ⁇ 4320
  • the image sensor 62 is provided with a signal processing unit, which performs predetermined signal processing, generates an image, and outputs the generated image.
  • the resolution of the image imaged by the endoscope apparatus 12 may be an image with a resolution other than this.
  • the endoscope image captured by the endoscope apparatus 12 is assumed to be a 4K image.
  • the image processing apparatus 11 processes the endoscopic image in the body of the patient 14 supplied from the endoscopic apparatus 12, and presents an endoscopic image that is easy to view to the surgeon who is the user.
  • the image processing apparatus 11 includes an image reduction unit 31, an image smoothing unit 32, a luminance chromaticity conversion unit 33, a luminance inclination calculation unit 34, an inclination bias calculation unit 35, a feature amount generation unit 36, and a normalization.
  • An adjustment unit 37, an image classification unit 38, an image processing unit 39, a display control unit 40, an operation unit 41, an AE (Auto-Exposure) control unit 42, an AF (Auto-Focus) control unit 43, and a shake correction unit 44 are provided. .
  • the image reduction unit 31 reduces, for example, a high-resolution input image composed of, for example, a 4K image captured by the endoscope apparatus 12 to an image having a resolution of, for example, about 1024 ⁇ 540, and supplies it to the image smoothing unit 32. Supply.
  • the image smoothing unit 32 smoothes the image reduced by the image reducing unit 31 by applying, for example, LPF (Low Pass Filter), and converts the image into an image in which image inclination can be easily obtained by processing described later. And supplied to the luminance / chromaticity conversion unit 33.
  • LPF Low Pass Filter
  • the luminance chromaticity conversion unit 33 converts the value of each pixel into lightness I, luminance Y, and chromaticity r, g based on the smoothed image, and sends it to the luminance gradient calculation unit 34 and the feature amount generation unit 36. Supply.
  • the luminance gradient calculation unit 34 calculates the gradient direction (gradient direction) and gradient strength in each pixel by multiplying the Sobel operator, generates a gradient direction histogram Hsb loaded with the calculated gradient strength, This is supplied to the bias calculation unit 35.
  • the inclination bias calculation unit 35 moves and adds the histogram Hsb in the gradient direction obtained in units of small blocks, and obtains a histogram Hb loaded with the gradient intensity in the gradient direction in units of blocks composed of a plurality of small blocks. Further, the slope bias calculation unit 35 adds the slope strength (gradient strength) loaded with the slope strengths up to the top two using the block unit histogram Hb, and calculates the feature amount as the slope bias feature amount Bb in block units. It supplies to the production
  • the feature quantity generator 36 calculates the lightness Isb and the chromaticities rsb and gsb in units of small blocks. In addition, the feature amount generation unit 36 calculates the lightness Ib and the chromaticities rb and gb of a block unit composed of a plurality of small blocks from the lightness Isb and the chromaticities rsb and gsb of the small block. Further, the feature quantity generation unit 36 configures a four-dimensional feature quantity together with the block-by-block inclination bias feature quantity Bb, lightness Ib, and chromaticity rb and gb, and supplies them to the normalization adjustment section 37.
  • the normalization adjustment unit 37 normalizes and adjusts the four-dimensional feature value and supplies it to the image classification unit 38.
  • the image classification unit 38 includes a classifier 51 that classifies a subject in an image based on a four-dimensional feature quantity.
  • the classifier 51 classifies the subject in the image based on the four-dimensional feature quantity, and the classification result is displayed as an image. This is supplied to the processing unit 39. Further, when there is an error in the image classification in the displayed image, the image classification unit 38 receives an input of a label or the like for re-learning according to a user operation, supplies the input to the classifier 51, and re-learning Let
  • the image processing unit 39 performs image processing corresponding to the classification result supplied from the image classification unit 38 on the image supplied from the endoscope apparatus 12 and supplies the processed image to the display control unit 40.
  • the image is supplied to the AE control unit 42, the AF control unit 43, and the shake correction unit 44.
  • the display control unit 40 controls the image display unit 13 including an LCD (Liquid Crystal Display) or the like to display the supplied image as an endoscopic image.
  • the image classification unit 38 classifies, for example, a surgical tool, a gauze, a mask outside, a blood clot, and a high-intensity part in an image in units of predetermined blocks in the image. Therefore, based on the classification result, the image processing unit 39 explicitly indicates that the area corresponding to each classification result is not subject to viewing by color-coding each corresponding target object and hatching. indicate. As a result, a range not hatched is displayed as an image of only living tissue.
  • the AE control unit 42 appropriately controls the brightness based on an image of only the living tissue in the endoscopic image, and, for example, a CMOS (Complementary Metal Oxide Semiconductor) image in the endoscopic device 12.
  • the AE of the image sensor 62 composed of a sensor or the like is controlled. Thereby, appropriate AE is realized. Note that the dotted lines from the AE control unit 42 to the image sensor 62 in FIG. 1 are actually wired by the same wiring as the transmission cable for transmitting the endoscope image from the endoscope apparatus 12 to the image processing apparatus 11, for example. Realized.
  • the AF control unit 43 includes a plurality of lenses so that incident light is appropriately focused on the image sensor 62 in the endoscope apparatus 12 based on an image of only a living tissue in an endoscopic image.
  • the AF block 61 is controlled by controlling the optical block 61 composed of the like. Thereby, appropriate AF is realized. Note that the dotted lines from the AF control unit 43 to the optical block 61 in FIG. 1 are actually wired by the same wiring as a transmission cable for transmitting an endoscope image from the endoscope apparatus 12 to the image processing apparatus 11, for example. Realized.
  • the blur correction unit 44 detects a motion based on an image of only a living tissue in an endoscopic image, and controls the blur correction according to the detected motion. Thereby, appropriate blur correction is realized.
  • step S ⁇ b> 11 the image sensor 62 of the endoscope apparatus 12 captures an image formed by the optical block 61 as, for example, an endoscopic image including a 4K image, and supplies the image to the image processing apparatus 11.
  • the image sensor 62 performs a simple development process on the captured RAW image or uses an already developed RGB image as it is.
  • development processing is necessary, when the image sensor has a Bayer structure, the image sensor 62 performs demosaic processing, gain adjustment and white balance processing, defective pixel correction, color correction using a linear matrix, and signal values within an effective range. Clip processing and gamma correction.
  • step S12 the image reduction unit 31 reduces the endoscope image captured by the endoscope apparatus 12. More specifically, in the subsequent smoothing process, the image reduction unit 31 increases the amount of calculation when an LPF including a BOX filter having a large number of taps is directly applied to a 4K image. Is reduced to a resolution of 1024 ⁇ 540, for example, and supplied to the image smoothing unit 32.
  • step S ⁇ b> 13 the image smoothing unit 32 performs LPF including a BOX filter of a predetermined size on each pixel of the endoscopic image, smoothes the endoscopic image, and supplies the smoothed chromaticity conversion unit 33.
  • the BOX filter is, for example, a filter as shown in FIG. 3, and in the case of FIG. 3, an example of a 5 pixel ⁇ 5 pixel filter is shown.
  • each of the 5 pixels ⁇ 5 pixels in the vicinity thereof is multiplied by a coefficient 1/25, and the product sum is obtained to smooth the pixels.
  • step S14 the luminance chromaticity conversion unit 33 converts the pixel value of each pixel of the smoothed endoscopic image into lightness, chromaticity, and luminance, and supplies the luminance to the luminance inclination calculation unit 34.
  • the brightness and chromaticity are supplied to the feature value generation unit 36.
  • the luminance chromaticity conversion unit 33 uses the pixel value RGB in the pixel (x, y), for example, to calculate brightness and chromaticity by calculating the following expressions (1) to (4). , And convert to brightness.
  • RGB is a pixel value of red, green, and blue
  • I (x, y) of pixel (x, y) is lightness
  • r (x, y) and g (x, y) are colors Degree
  • Y (x, y) is luminance.
  • step S15 the luminance inclination calculation unit 34 calculates the inclination direction and the inclination intensity in units of pixels using the luminance Y for each pixel, and supplies the inclination direction calculation unit 35 with the inclination direction.
  • the luminance gradient calculation unit 34 performs a Sobel operator with a coefficient as expressed by the following equations (5) and (6).
  • Sx and Sy are the luminances obtained by multiplying the luminance Y of the pixel at coordinates (x, y) by the Sobel operator of equations (5) and (6), respectively.
  • the luminance gradient calculation unit 34 performs the gradient (gradient) direction ang (x, y) of each pixel (x, y) by the calculation represented by the following equations (7) and (8), and The gradient strength g (x, y) is calculated.
  • fx (x, y) and fy (x, y) are Sx (x, y) obtained by multiplying the pixel of the coordinate (x, y) by the Sobel operator of the above-described equations (5) and (6), respectively.
  • D (x, y) is an inclination (gradient) angle (radian), and ang (x, y) is an inclination (gradient) direction assigned based on the inclination angle d (x, y). The value rounded to integer precision.
  • BIN is the number of directions, for example twelve.
  • step S16 the inclination deviation calculation unit 35 calculates a histogram in the gradient direction loaded with the inclination intensity in units of small blocks.
  • the endoscopic image smoothed as shown in FIG. 4 is divided into small blocks of, for example, M pixels ⁇ N pixels, and the following formula (9) is calculated for each small block: To do.
  • Hsb (sx, sy) is a feature amount including a histogram in the inclination direction ang (x, y) weighted by the inclination intensity g (x, y) in units of small blocks. That is, Expression (9) represents that a histogram is generated as a result by individually calculating the frequency of the inclination direction ang (x, y) weighted by the inclination intensity g (x, y).
  • the set of histograms itself is a feature amount. This feature amount is generally called HOG (Histograms of Oriented Gradients).
  • step S ⁇ b> 17 the inclination bias calculation unit 35 uses the histogram Hsb (sx, sy) in the gradient direction loaded with the inclination intensity of each small block in units of a plurality of small blocks to calculate the inclination deviation feature amount Bb.
  • the calculation result is supplied to the feature value generation unit 36.
  • the endoscopic image smoothed as indicated by the bold frame in FIG. 5 is divided into, for example, M small blocks ⁇ N small blocks, and the following equation (10) is obtained for each block. ) Is calculated.
  • Hb (bx, by) represents the coordinates of the block.
  • Hb (bx, by) is a histogram of the gradient direction loaded with the gradient strength, and is a feature amount including a histogram that is a result of adding the gradient strength for each gradient direction.
  • the inclination bias calculation unit 35 calculates the inclination deviation feature amount Bb by calculating the following equation (11) based on the histogram Hb (bx, by) of the inclination intensity in units of blocks.
  • Bb is an inclination bias feature amount
  • maxQ (bx, by) represents the Q position of the histogram of the inclination intensity in the block (bx, by). That is, in Expression (11), the sum of the gradient intensities up to the second highest rank is the gradient bias feature quantity Bb for each block.
  • a predetermined block for example, when a histogram of the gradient strength as shown in FIG. 6 is obtained, the gradient strength in the gradient (gradient) direction A where the gradient strength (gradient strength) is the highest, The sum of the gradient intensity in the gradient (gradient) direction B is the gradient bias feature amount Bb in a predetermined block.
  • step S18 the feature quantity generation unit 36 calculates the brightness Ib and the chromaticities rb and gb in units of blocks in FIG. 5, and generates a four-dimensional feature quantity together with the tilt-biased feature quantity.
  • the feature value generation unit 36 first calculates the following values (12) to (14) to calculate the lightness Isb and the chromaticities rsb and gsb in FIG. To do.
  • Isb is a feature value of lightness in units of small blocks
  • rsb and gsb are feature values of chromaticity in units of small blocks.
  • the feature quantity generation unit 36 calculates the following brightness (Ib) and chromaticity rb and gb in units of blocks in FIG. 5 by calculating the following expressions (15) to (17).
  • (bx, by) represents the coordinates of the block.
  • Ib is a feature value of lightness in block units
  • rb and gb are feature values of chromaticity in block units.
  • the feature quantity generation unit 36 is a four-dimensional feature quantity composed of the brightness Ib (bx, by), the chromaticity rb (bx, by), gb (bx, by), and the inclination bias feature quantity Bb (x, y). Is generated and supplied to the normalization adjustment unit 37.
  • the feature amount Bb (x, y) is premised on the two top two directions being adjacent to each other.
  • the endoscopic image has been smoothed by the processing in step S13 described above. Since the image has a strong inclination bias, the upper inclination direction is an adjacent direction.
  • the second tilt direction may be adopted when the tilt strength is larger than a predetermined value. In this case, when the second tilt direction has a tilt strength smaller than a predetermined value, the second tilt direction is the highest. You may make it employ
  • step S19 the normalization adjustment unit 37 normalizes the four-dimensional feature value so as to be within a signal level such as 0 to 1, ⁇ 1 to +1, which is received by the classifier 51 described later, The effect of a classifier 51 (to be described later) is adjusted or adjusted to match development parameters and supplied to the image classification unit 38. More specifically, the normalization adjustment unit 37 normalizes and adjusts the four-dimensional feature value by calculating, for example, the following equations (18) to (21).
  • Ib ′ (bx, by), rb ′ (bx, by), gb ′ (bx, by), and Bb ′ (bx, by) are normalized and adjusted brightness, chromaticity, And iOffset, rOffset, gOffset, and bOffset are brightness, chromaticity, and offset amounts of the inclination bias feature value, and iGain, rGain, gGain, and bGain are gain control coefficients.
  • step S ⁇ b> 20 the image classification unit 38 controls the classifier 51 to classify subjects in the image using the normalized and adjusted four-dimensional feature values, and the classification result is displayed as the image processing unit 39. To supply.
  • the classifier 51 may be configured to use a neural network, for example.
  • FIG. 7 shows a configuration example of the classifier 51 configured using a neural network. 7 includes an input layer 71, ReLu 72, tanh 73, and Dropout + softmax 74.
  • the input layer 71 receives the four-dimensional feature value and supplies it to the ramp function (ReLu) 72.
  • the ramp function (ReLu) 72 is, for example, a function as shown in the right part of FIG. 8, a process using this function is performed on the four-dimensional feature value, and is supplied to the tanh 73.
  • the tanh 73 is a function as shown in the left part of FIG. 8, and the processing by the function as shown in the left part of FIG. 8 is performed on the four-dimensional feature quantity subjected to the process by the ramp function 72. And supply to Dropout + softmax 74.
  • Dropout + softmax 74 is composed of Dropout and softmax.
  • Dropout is a function for preventing over-learning of the network at the time of learning. For example, the processing of simply halving the output of the element is performed.
  • the softmax is mainly used to normalize the output value of the neural network having a classification function, and is expressed by, for example, the following formula (22).
  • the classifier 51 classifies, for example, a living tissue, a surgical instrument, a gauze, the outside of a mask, a blood clot, and a high-intensity part based on the four-dimensional feature amount. More specifically, the classifier 51 classifies the surgical tool, the gauze, the outside of the mask, the blood clot, and the high-brightness region based on the four-dimensional feature amount, and the region that is not classified as those is a living tissue. Classify.
  • the classifier 51 classifies the subject in units of the frame F11.
  • the blocks in FIG. 5 classified as out of mask are not included, and if there are more blocks determined to be surgical tools than blocks determined to be gauze, they are considered to be surgical tools. If it is reversed, it is considered to be gauze.
  • the classifier 51 is outside the mask, blood clot, and It is considered to be a high luminance part. Then, the classifier 51 regards the frame F11 that is not regarded as any of the surgical tool, gauze, out of the mask, blood pool, and high-luminance part as a living tissue.
  • the surgical instrument, gauze, out of mask, blood clot, and high-intensity part that can be detected even if the classification accuracy of the classifier 51 is not so high are detected, and the rest are recognized as living tissue.
  • the score for each classification target such as a surgical instrument, gauze, out of mask, blood pool, high-intensity part, and biological tissue is calculated, and classified according to the score.
  • the result may be determined.
  • the classification target having the highest score may be used as the classification result, or the classification results up to the second highest rank may be presented and selected.
  • the classification target of the score that is the top two may be selected and presented up to the top two only when the score is equal to or higher than a predetermined score. .
  • step S ⁇ b> 21 the image processing unit 39 performs image processing on the captured endoscopic image based on the classification result, and supplies the processing result to the AE control unit 42, the AF control unit 43, and the shake correction unit 44. .
  • the image processing unit 38 classifies the corresponding range of the endoscopic image. Hatching with a color or pattern to show that it is a surgical tool. In addition to this, there is a possibility of affecting AE, AF, blur correction, and the like, and areas other than the living tissue are hatched with a color or pattern according to the classification result.
  • AE AE
  • AF blur correction
  • etc. such as gauze, out of mask, blood clot, and high brightness area, and depending on the classification result for areas other than living tissue Hatching with different colors and patterns.
  • the range of biological tissue is considered to be outside the range recognized as gauze, out of mask, blood clot, and high luminance part.
  • a frame F11 provided in a lattice shape is a block for controlling AE and blur correction by the AE control unit 42 and the blur correction unit 44, and a single frame F1 made of a thick line is an AF.
  • the range in which AF is controlled by the control unit 43 is shown.
  • Each of the frames F1 and F11 is set to a size suitable for each control of AE control, AF control, and blur correction, and is larger than the above-described block of FIG. That is, the block in FIG. 5 is the minimum processing unit in the AE and AF processing using the frames F1 and F11.
  • the hatching range is as shown in the upper part of FIG.
  • the hatched range is as shown in the lower part of FIG. That is, when the size of the frame F11 is a smaller size as shown in the lower part of FIG. 10, the range can be set with a higher resolution than that of the large size as shown in the upper part of FIG. It becomes possible.
  • the classifier 51 has been described with respect to an example configured by a neural network. However, any other configuration may be used as long as it functions as the classifier 51, for example, a machine represented by boosting. Learning may be used.
  • step S22 the AE control unit 42 controls the AE using the luminance information in units of the frame F11 within the range regarded as the living tissue. That is, by such processing, AE control using pixels that cause color skipping by light reflected on a metal surgical instrument or the like is not performed, and therefore appropriate AE control can be realized.
  • the range in which the surgical instrument is imaged and the range in which the gauze is imaged are hatched with different colors or patterns, etc.
  • AE is realized by using the luminance information in F11.
  • the AE is realized in a state where only luminance information in a range where a living tissue is imaged is used, it is possible to realize appropriate AE.
  • the required luminance may vary depending on the surgical method, clinical department, etc., the AE is controlled so that the luminance is suitable for each.
  • step S23 the AF control unit 43 realizes AF using an image in a range regarded as a living tissue. More specifically, the AF control unit 43 searches the attention area by moving the frame F1 of a predetermined size in the image until it reaches a position including only the living tissue near the center in the endoscopic image. . At this time, if the attention area cannot be searched, the size of the frame F1 is reduced, and the attention area is searched by the repeated frame F1 until the attention area can be searched.
  • the AF control unit 43 realizes AF control using the image in the attention area. More specifically, for example, AF control is realized by searching for a focused state by edge detection.
  • the AF control unit 43 moves the frame F1 to a position not including the hatched area.
  • the AF control unit 43 realizes AF control by controlling the optical block 61 so that the edge is sufficiently detected. As described above, by realizing the AF by detecting the edge of the region of interest specified by the frame F1 made of only the living tissue, appropriate AF control can be realized.
  • step S24 the shake correction unit 44 corrects the shake using the motion information within the range considered to be a living tissue.
  • the blur correction unit 44 hatches in white as shown in FIG. Then, the blur correction unit 44 realizes the blur correction using the motion information in the frame F21 in a range other than the hatched range. As a result, since the blur is corrected in a state where only the motion information in the range where the living tissue is imaged is used, it is possible to realize an appropriate blur correction.
  • step S25 the image processing unit 39 supplies the processed image to the display control unit 40, and controls display on the image display unit 13.
  • the image displayed here an image in a state where AE, AF, and blur correction are performed is displayed. That is, it becomes possible to present an endoscopic image with appropriate AE, AF, and blur correction by the above processing, and to the surgeon doctor, the living tissue to be viewed is determined. It is possible to present it in an easy-to-read manner.
  • step S26 the image classification unit 38 determines whether or not re-learning is instructed by operating the operation unit 41. If re-learning is instructed, the process proceeds to step S27.
  • step S27 the image classification unit 38 executes a re-learning process to re-learn the classifier 51.
  • the relearning process will be described later with reference to the flowchart of FIG.
  • step S26 if re-learning is not instructed, the process in step S27 is skipped.
  • step S28 the image processing apparatus 11 determines whether or not termination has been instructed. If termination has not been instructed, the processing returns to step S11 and the subsequent processing is repeated. In step S28, if an end instruction is given, the process ends.
  • a general HOG is obtained as a set of histograms in the image gradient direction in units of small blocks. It will be.
  • each block has a histogram for each inclination direction in 12 directions for a range of 4 blocks ⁇ 4 blocks, the information is 4 It becomes ⁇ 4 ⁇ 12 192-dimensional information.
  • the original endoscopic image is smoothed by applying the LPF, and then the HOG is obtained so that a strong inclination is generated in a wide range. It becomes possible. Furthermore, in the smoothed image, the gradient intensity (frequency) histogram for the gradient direction of each block in the range of 4 blocks ⁇ 4 blocks is added, and only the sum of the gradient intensity up to the second highest rank is included.
  • the tilt bias feature amount By using the one-dimensional information as the tilt bias feature amount, it is possible to express the tilt bias as shown in the image P2 of FIG. For this reason, since it is possible to classify with feature quantities having a small number of dimensions, it is possible to reduce the amount of computation related to classification. In the images P1 and P2 in FIG.
  • the inclination direction and the inclination intensity in each block are represented by the thickness and length of the bar-shaped gauge and the inclination direction on the image.
  • hatching indicating that a surgical instrument is detected is applied to the forceps K portion.
  • the bar-shaped gauge on the image P2 indicated by the arrow from the square frame on the image P1 is an example in which the 192-dimensional tilt bias feature amount in the frame is expressed in one dimension.
  • the surgical instrument, gauze and the like that are relatively easy to classify are classified, and the biological tissue that is difficult to classify is excluded from the range where the classification is easy.
  • the endoscopic image picked up by the above it is possible to classify and present a range of living tissue with low delay while reducing the amount of calculation.
  • step S41 the image classification unit 38 receives the input of the relearning area on the image display unit 13 by operating the operation unit 41.
  • step S42 the image classification unit 38 reads a four-dimensional feature amount in a block belonging to the relearning area.
  • step S43 the image classification unit 38 receives an input of a correct label.
  • step S44 the image classification unit 38 controls the classifier 51 to classify the four-dimensional feature quantity, add it as necessary, and learn so that the correct label is obtained.
  • step S ⁇ b> 45 the image classification unit 38 controls the classifier 51 that has completed the relearning, classifies the image using the four-dimensional feature amount accepted as the relearning region, and classifies the classification result as the image processing unit 39. To supply.
  • step S46 the image processing unit 39 processes the image based on the classification result.
  • step S47 the image processing unit 39 supplies the image processing result to the display control unit 40, and controls the display on the image display unit 13.
  • step S48 the image classification unit 38 determines whether or not the re-learning process is finished. For example, if there is an error in classification, relearning is necessary again, the operation unit 41 is operated, and when this is instructed, the process returns to step S41, and the subsequent processes are repeated. Then, in step S48, when an end is instructed, the process ends.
  • the range Z11 is designated as the relearning region as a recognition error due to classification.
  • the normal display is stopped, the four-dimensional feature values of the blocks in the corresponding range are selected, and after re-learning by processing such as addition as necessary, it is indicated by a range Z21 of the image P13. As described above, it is possible to classify and hatch as a surgical instrument.
  • AE AE
  • AF blur correction of an endoscopic image
  • the image is not limited to an endoscopic image as long as the image is captured under the same conditions as the endoscopic image.
  • the same effect can be achieved with other images, and the same effect can be achieved with a microscopic image, for example.
  • AE, AF, and blur correction such as a surgical instrument and a gauze, are performed even in a so-called out-of-focus image or poor exposure state in which an object to be viewed in an endoscopic image is out of focus. It is possible to specify the position of the object that reduces the accuracy of the imaging control.
  • FIG. 16 shows a configuration example of a general-purpose personal computer.
  • This personal computer incorporates a CPU (Central Processing Unit) 1001.
  • An input / output interface 1005 is connected to the CPU 1001 via a bus 1004.
  • a ROM (Read Only Memory) 1002 and a RAM (Random Access Memory) 1003 are connected to the bus 1004.
  • the input / output interface 1005 includes an input unit 1006 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 1007 for outputting a processing operation screen and an image of the processing result to a display device, programs, and various types.
  • a storage unit 1008 including a hard disk drive for storing data, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 1009 that executes communication processing via a network represented by the Internet.
  • magnetic disks including flexible disks
  • optical disks including CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc)), magneto-optical disks (including MD (Mini Disc)), or semiconductors
  • a drive 1010 for reading / writing data from / to a removable medium 1011 such as a memory is connected.
  • the CPU 1001 is read from a program stored in the ROM 1002 or a removable medium 1011 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, installed in the storage unit 1008, and loaded from the storage unit 1008 to the RAM 1003. Various processes are executed according to the program.
  • the RAM 1003 also appropriately stores data necessary for the CPU 1001 to execute various processes.
  • the CPU 1001 loads the program stored in the storage unit 1008 to the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the computer (CPU 1001) can be provided by being recorded on the removable medium 1011 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 1008 via the input / output interface 1005 by attaching the removable medium 1011 to the drive 1010. Further, the program can be received by the communication unit 1009 via a wired or wireless transmission medium and installed in the storage unit 1008. In addition, the program can be installed in advance in the ROM 1002 or the storage unit 1008.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present disclosure can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this indication can also take the following structures.
  • a smoothing unit that smoothes a living body image generated by imaging a living body including a living tissue with a medical imaging device;
  • An image processing apparatus comprising: a classification unit that classifies each subject included in each region in the biological image based on the smoothed image obtained by smoothing the biological image by the smoothing unit.
  • the classification unit classifies each subject included in each region into the living tissue or something other than the living tissue based on the smoothed image.
  • the classification unit classifies the subjects included in the regions based on brightness, chromaticity, and luminance of the smoothed image.
  • ⁇ 4> a conversion unit that converts the pixel value of each pixel of the smoothed image into brightness, chromaticity, and luminance;
  • the classification unit classifies subjects in the biological image in units of blocks of a predetermined size in the biological image based on the brightness, the chromaticity, the inclination direction, and the inclination intensity ⁇ 3>.
  • the predetermined size block includes a plurality of small blocks having a size smaller than the predetermined size.
  • the image processing apparatus further including an inclination bias calculation unit that obtains movement addition of the histogram of inclination intensity in units of small blocks and obtains a histogram that becomes the movement addition as an inclination bias feature amount in units of small blocks.
  • the inclination bias calculation unit obtains a moving addition of a plurality of small block unit inclination intensity histograms for each block, and calculates an upper inclination intensity of the histogram as the moving addition for each block unit of the predetermined size. Calculate as tilt bias feature,
  • the image processing apparatus according to ⁇ 5>, wherein the classifying unit classifies a subject in the biological image based on the lightness, chromaticity, and tilt-bias feature amount in block units.
  • the inclination bias calculation unit calculates a sum of inclination intensities up to a predetermined higher rank in the histogram that is the moving addition as an inclination bias characteristic amount in units of the block of the predetermined size.
  • the classification unit is classified into any one of a surgical instrument, a gauze, a mask outside, a blood clot, or a high-luminance part in the biological image as other than the biological tissue.
  • Image processing device ⁇ 9>
  • the classification unit classifies each subject included in each region in the living body image as one of a surgical tool other than a living tissue, a gauze, a mask outside, a blood clot, or a high luminance portion.
  • the image processing apparatus wherein a subject in a region that is not classified as any of the above is classified as a biological tissue.
  • the classification unit includes a classifier using a neural network.
  • the classification unit includes a classifier using machine learning using boosting.
  • the image processing apparatus further including a focus adjustment unit that adjusts a focus in the medical imaging apparatus based on only information on the region classified as the biological tissue in the biological image. .
  • the image processing device further including a shake correction unit that corrects a shake of the biological image based on movement information of the region classified as the biological tissue in the biological image.
  • a display control unit Based on the classification result of the classification unit, an image processing unit that processes an image so as to hatch a position on the biological image corresponding to the type of the classified subject;
  • the image processing apparatus according to ⁇ 1>, further including: a display control unit that controls display of the biological image processed by the image processing unit.
  • the image processing device according to ⁇ 15>, wherein the classification unit performs relearning so as to classify a subject corresponding to the correct label in the relearning range.
  • the biological image is an endoscope image captured by an endoscope apparatus.
  • ⁇ 18> Smooth the image, Smoothing a living body image generated by imaging a living body including a living tissue with a medical imaging device, An image processing method comprising: classifying each subject included in each region in the biological image based on a smoothed image obtained by smoothing the biological image.
  • a smoothing unit that smoothes a living body image generated by imaging a living body including a living tissue with a medical imaging device
  • An image processing apparatus including: a classification unit that classifies each subject included in each region in the biological image based on the smoothed image obtained by smoothing the biological image by the smoothing unit;
  • a medical imaging system comprising: a medical imaging device including an imaging unit that captures the image.
  • Image processing device 12 Endoscope device, 13 Image display unit, 14 Patient, 31 Image reduction unit, 32 Image smoothing unit, 33 Luminance chromaticity conversion unit, 34 Luminance inclination calculation unit, 35 Inclination bias calculation unit, 36 feature generation unit, 37 normalization adjustment unit, 38 image classification unit, 39 image processing unit, 40 display control unit, 41 operation unit, 42 AE control unit, 43 AF control unit, 44 blur correction unit, 51 classifier, 71 input layer, 72 ReLu, 73 tanh, 74 Dropout + softmax

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Astronomy & Astrophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本開示は、内視鏡画像を視聴し易く表示できるようにする画像処理装置および画像処理方法、並びに医療用撮像システムに関する。 内視鏡装置により撮像された画像をLPFにより平滑化し、平滑化された画像より、明度I、色度r，g、および輝度Yを求める。輝度Yを用いてブロック単位でヒストグラムを求め、上位となる方向の頻度を傾斜偏り特徴量Bbとして求める。また、明度、および色度についても、ブロック単位でそれぞれ明度および色度の特徴量Ib，rb，gbとして求める。そして、Ib，rb，gb，Bbからなる４次元特徴量に基づいて、画像内の被写体の領域を分類器により術具やガーゼなどに分類し、いずれにも分類されない領域を生体組織として認識し、生体組織として認識された領域の情報でのみ、AE、AF、およびブレ補正を行う。本開示は、内視鏡システムや顕微鏡システム等に適用することができる。

Description

画像処理装置および画像処理方法、並びに医療用撮像システム
　本開示は、画像処理装置および画像処理方法、並びに医療用撮像システムに関し、特に、内視鏡装置等における画像を術者に視聴し易い画像にできるようにした画像処理装置および画像処理方法、並びに医療用撮像システムに関する。
　内視鏡装置により撮像された内視鏡画像を視聴しながら実施される内視鏡手術が一般に普及している。
　内視鏡装置により撮像される画像は、特殊な環境下で撮像される画像であるため、手術を行う術者にとって、視聴し易い画像へのニーズが高まっている。
　そこで、近年においては、内視鏡画像を解析し、２値化や３次元表示だけでは抽出しにくい部分を分類し、視覚的に分かり易く表示する技術が提案されている（特許文献１参照）。
特開平７－２８４０９０号公報
　ところで、内視鏡装置により撮像される内視鏡画像は、一般的な撮像と比べて特殊な環境下で撮像された画像であるため、内視鏡画像を用いて、例えば、AE（自動露出調整）やAF（自動焦点調整）を実行しようとすると適切な処理ができないことがあった。
　すなわち、内視鏡画像において、金属製の術具、ガーゼ、および体内の生体組織による壁面などは、光反射物であり、例えば、白飛びするといった現象が発生するため、適切にAEやAFを実現できない恐れがあった。
　また、術具、糸、針、臓器、指といったものが画像内に含まれるような場合、表示される術野内を頻繁に出入りすることにより、適切にAEやAFを実現できない恐れがあった。
　さらに、照明に近い糸、映り込み、術具のキズ、および被写体の凹凸などは高輝度エッジとして検出されることがあり、また、脂肪などの組織、煙、レンズの汚れ等はローコントラストになりがちなため、いずれにおいてもAFを適切に実現できない恐れがあった。
　また、同様に、内視鏡画像における術具やガーゼなどは、ブレ補正に不要な動き検出結果を生じさせることになるので、ブレ補正などを適切に実現できない恐れがあった。
　本開示は、このような状況に鑑みてなされたものであり、特に、内視鏡画像に対して適切にAE、AF、およびブレ補正を掛けることにより、術者に視聴し易い内視鏡画像を提示できるようにするものである。
　本開示の一側面の画像処理装置は、医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部とを含む画像処理装置である。
　前記分類部には、前記平滑化画像に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類させるようにすることができる。
　前記分類部には、前記平滑化画像の明度、色度、および輝度に基づいて、前記各領域に含まれる前記各被写体を分類させるようにすることができる。
　前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換部と、前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算部とをさらに含ませるようにすることができ、前記分類部には、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記生体画像内の被写体を分類させるようにすることができる。
　前記所定サイズのブロックは、前記所定のサイズよりも小さいサイズの複数の小ブロックから構成されるようにすることができ、前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムを前記小ブロック単位の傾斜偏り特徴量として求める傾斜偏り計算部をさらに含ませるようにすることができる。
　前記傾斜偏り計算部には、前記ブロック単位で、複数の前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムの上位の傾斜強度を前記所定サイズのブロック単位の傾斜偏り特徴量として計算させるようにすることができ、前記分類部には、ブロック単位の前記明度、前記色度、並びに、前記傾斜偏り特徴量に基づいて、前記生体画像内の被写体を分類させるようにすることができる。
　前記傾斜偏り計算部には、前記移動加算となるヒストグラムの所定の上位順位までの傾斜強度の和を前記所定サイズのブロック単位の傾斜偏り特徴量として計算させるようにすることができる。
　前記分類部には、前記生体組織以外のものとして、前記生体画像内の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類させるようにすることができる。
　前記分類部には、前記生体画像内の前記各領域に含まれる前記各被写体を生体組織以外の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類させるようにすることができ、いずれのものにも分類されない領域の被写体を生体組織として分類させるようにすることができる。
　前記分類部は、ニューラルネットワークを用いた分類器より構成されるようにすることができる。
　前記分類部は、ブースティングを用いた機械学習を用いた分類器より構成されるようにすることができる。
　前記生体画像のうち、前記生体組織として分類された前記領域の輝度の情報に基づいて、前記医療用撮像装置における露出を調整する露出調整部をさらに含ませるようにすることができる。
　前記生体画像内において、前記生体組織として分類された前記領域の情報のみに基づいて、前記医療用撮像装置における焦点を調整する焦点調整部をさらに含ませるようにすることができる。
　前記生体画像のうち、前記生体組織として分類された前記領域の動きの情報に基づいて、前記生体画像のブレを補正するブレ補正部をさらに含ませるようにすることができる。
　前記分類部の分類結果に基づいて、分類された被写体の種別に対応する、前記生体画像上の位置にハッチングを付するように画像を処理する画像処理部と、前記画像処理部により処理がなされた生体画像の表示を制御する表示制御部とをさらに含ませるようにすることができる。
　前記表示された生体画像上に、再学習が必要とされる再学習範囲を指定すると共に正解の被写体を示す正解ラベルを指定する操作部をさらに含ませるようにすることができ、前記分類部には、前記再学習範囲において、前記正解ラベルに対応する被写体を分類するように再学習させるようにすることができる。
　前記生体画像は、内視鏡装置により撮像される内視鏡画像とすることができる。
　本開示の一側面の画像処理方法は、画像を平滑化し、医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化し、前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類するステップを含む画像処理方法である。
　本開示の一側面の医療用撮像システムは、医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部とを含む画像処理装置と、前記画像を撮像する撮像部を含む医療用撮像装置とからなる医療用撮像システムである。
　本開示の一側面においては、医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像が平滑化され、前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体が分類される。
　本開示の一側面によれば、視聴し易い内視鏡画像を提示することが可能となる。
本開示の内視鏡システムの構成例を説明する図である。 図１の内視鏡システムによる表示処理を説明するフローチャートである。 BOXフィルタの例を説明する図である。 小ブロック単位での４次元特徴量を求める例を説明する図である。 ブロック単位での４次元特徴量を求める例を説明する図である。 ブロック単位での傾斜偏り特徴量を求める例を説明する図である。 ニューラルネットワークを用いた分類器の構成例を説明する図である。 TanhおよびReLuの特性を説明する図である。 画像表示部に表示される内視鏡画像の表示例を説明する図である。 画像表示部に表示される内視鏡画像の表示例を説明する図である。 画像表示部に表示される内視鏡画像の表示例を説明する図である。 画像表示部に表示される内視鏡画像の表示例を説明する図である。 本開示の画像処理装置による画像処理を説明する図である。 再学習処理を説明するフローチャートである。 再学習処理を説明する図である。 汎用のパーソナルコンピュータの構成例を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、以下の順序で説明を行う。
　　１．本開示の画像処理装置の概要
　　２．本開示の画像処理装置を用いた内視鏡システムの構成例
　　３．応用例
　＜＜１．本開示の画像処理装置の概要＞＞
　内視鏡装置により撮像される内視鏡画像に対してAE（Auto Exporsure）、AF（Auto Focus）、およびブレ補正といった処理を施すには、内視鏡画像の特徴に適した処理が必要となる。
　すなわち、内視鏡装置により撮像される内視鏡画像は、撮像面と被写体との距離が比較的近く、また、高強度の照明を用いた極狭い空間内で撮像される。
　このため、術具の柄や腔内壁面などが照明に近くなる、照明の投光方向が撮像方向であるとき、その正面に正対するように腔内壁面が存在する、または、白色のガーゼなどが強い照明に照らされるといった条件が揃うと、術具、腔内壁面、およびガーゼなどが照明の光を強く反射するといったことが生じてしまう。結果として、いわゆる、白飛びといわれる現象が生じて、明るさを適切に認識することができず、AEを適切に機能させることができなくなることがあった。
　また、腔内壁面、縫合糸、術具などは、局部的な範囲でコントラストが極度に強くなることがあるため、その部位に合焦してしまうことがあり、適切にAFを機能させることができないことがあった。また、電気メスなどの使用に伴った煙などが発生すると、その煙により被写体が低コントラストとなり、合焦できないことがあり、やはり、適切にAFを機能させることができなくなることがあった。
　さらに、術具やガーゼは、ブレ補正が必要とされる患部とは異なる動きをするため、ブレ補正には不要な動き検出をさせてしまうことがあり、結果として、術者である医師が視聴したい患部の撮像に対して適切なブレ補正を実現させることができないことがあった。
　また、術者である医師は、内視鏡画像を視聴する際、一般に、視聴対象である内視鏡画像内における患部となる生体組織を視聴したいという要求がある。
　このような要求から、一般的には、内視鏡画像に対してエンハンス処理などを施して、患部を検出できるような高画質化処理を施して、物体検出および物体識別により、患部を検出してAE、AF、およびブレ補正を行うといったことが考えられる。
　ところで、内視鏡手術を実施している状態で内視鏡画像を表示する上では、低遅延で内視鏡画像を提示することが必須となる。しかしながら、内視鏡画像に対してエンハンス処理を施した上で、物体検出および物体識別を実施するのは演算処理負荷が高く、内視鏡画像の提示を低遅延で実現するのは現実的ではない。
　内視鏡画像に対して、低遅延を維持しつつ、AE、AF、およびブレ補正を適切に施す技術を考える上では、まず、処理負荷の低いパラメータを選択する必要がある。
　より具体的には、AE、AF、およびブレ補正を実現する上で調整に利用できそうな内視鏡画像のパラメータとして、例えば、輝度情報、色度情報、ラベリング（面積・形状）、輪郭モデル（Snake等）、直線エッジ（HOUGH変換など）、パターン（HAA/LBP特徴量等）、画像勾配（傾斜）（HOG特徴量等）、ヒストグラム、および、テクスチャ等が考えられる。
　上述したパラメータのうちラベリング（面積・形状）、輪郭モデル（Snake等）、直線エッジ（HOUGH変換など）、パターン（HAA/LBP特徴量等）については、逐次演算や繰り返し演算が必要とされるため、処理負荷が大きく、内視鏡画像に対する処理に適したパラメータとは言えない。また、ヒストグラムについては、被写体の大きさが激しく変化する中で使用すると処理負荷が大きくなり得る。また、テクスチャについては、焦点が合っていない画像が多く、検出すること自体が困難であることが多いため、適切な処理を施すには遅延が生じる恐れがある。
　そこで、本開示の画像処理装置においては、AEの連動性が高い輝度情報、演算量が少量で、かつ、認識性能を学習により比較的高めることができる色度情報、および合焦に影響されることなく術具を検出できる画像勾配（傾斜）を用いてAE、AF、およびブレ補正を行う。
　ただし、これらのパラメータでは、高精度に生体組織を識別することは困難である。そこで、本開示の画像処理装置では、目的となる生体組織を直接検出、および識別するのではなく、比較的検出が容易な術具、ガーゼ、マスク外、血だまり、および高輝度領域といった視聴対象となる生体組織以外の領域を検出、および識別し、それら以外の領域を視聴対象となる生体組織の領域であるものとみなすようにする。
　この際、本開示の画像処理装置は、内視鏡装置により撮像された内視鏡画像に対してLPF（Low Pass Filter）を掛けて平滑化することにより、内視鏡画像の焦点が合っていない状態でも、術具部分等の生体組織以外の領域に対して画像傾斜に強い偏りが出るようにする。さらに、本開示の画像処理装置は、この画像傾斜の偏りを特徴量として抽出すると共に、特徴量の次元を縮退することにより、演算量を低減させて、処理負荷を低減しつつ、処理精度を向上させ、術者の視聴対象である内視鏡画像内の生体組織を低遅延で提示できるようにする。
　＜＜２．本開示の画像処理装置を用いた内視鏡システムの構成例＞＞
　図１を参照して、本開示の画像処理装置を用いた内視鏡システムの構成例について説明する。
　図１の内視鏡システムは、画像処理装置１１、内視鏡装置１２、および画像表示部１３から構成される。内視鏡装置１２の先端部には、撮像素子６２設けられている。すなわち、内視鏡装置１２は、その先端部が患者１４の体内に挿入された状態で、体内の内視鏡画像を撮像し、画像処理装置１１に供給する。画像処理装置１１は、内視鏡装置１２より供給されてきた内視鏡画像を処理して、術者に対して視聴し易い内視鏡画像を提示する。
　より詳細には、内視鏡装置１２は、棒状の装置であり、その先端部に設けられた複数のレンズ等からなる光学ブロック６１により撮像素子６２上で結像される像を、撮像素子６２が撮像する。
　より具体的には、内視鏡装置１２は、例えば、体内の画像を内視鏡画像として撮像し、2K画像（例えば、1920×1080程度）、4K画像（例えば、4096×2160程度、若しくは、3840×2160程度）、または、8K画像（例えば、7680×4320程度）といった高解像度画像として画像処理装置１１に出力する。
　尚、図示しないが、撮像素子６２には信号処理部が設けられており、所定の信号処理がなされて、画像が生成されて、生成された画像が出力される。また、内視鏡装置１２により撮像される画像の解像度は、これ以外の解像度の画像もよいものである。また、本実施の形態においては、特に断りがない限り、内視鏡装置１２により撮像される内視鏡画像は、4K画像であるものとして説明を進めるものとする。
　画像処理装置１１は、内視鏡装置１２より供給されてくる患者１４の体内の内視鏡画像を処理して、ユーザである術者に対して視聴し易い内視鏡画像を提示する。
　より詳細には、画像処理装置１１は、画像縮小化部３１、画像平滑化部３２、輝度色度変換部３３、輝度傾斜計算部３４、傾斜偏り計算部３５、特徴量生成部３６、正規化調整部３７、画像分類部３８、画像処理部３９、表示制御部４０、操作部４１、AE（Auto Exposure）制御部４２、AF（Auto Focus）制御部４３、およびブレ補正部４４を備えている。
　画像縮小化部３１は、内視鏡装置１２により撮像された、例えば、4K画像からなる高解像度の入力画像を、例えば、1024×540程度の解像度の画像に縮小化して画像平滑化部３２に供給する。
　画像平滑化部３２は、画像縮小化部３１により縮小された画像を、例えば、LPF（Low Pass Filter）をかけることにより平滑化して、後述する処理により、画像傾斜を取得し易い画像に変換し、輝度色度変換部３３に供給する。
　輝度色度変換部３３は、平滑化された画像に基づいて、各画素の値を明度I、輝度Yおよび色度r，gに変換して輝度傾斜計算部３４、および特徴量生成部３６に供給する。
　輝度傾斜計算部３４は、ソーベルオペレータを掛けることにより各画素における傾斜の方向（勾配方向）と傾斜強度を算出し、算出した傾斜強度で荷重した、勾配方向のヒストグラムHsbを生成して、傾斜偏り計算部３５に供給する。
　傾斜偏り計算部３５は、小ブロック単位で求められた勾配方向のヒストグラムHsbを移動加算して、複数の小ブロックからなるブロック単位の勾配方向の傾斜強度で荷重したヒストグラムHbを求める。さらに、傾斜偏り計算部３５は、ブロック単位のヒストグラムHbを用いて、上位2位までの傾斜強度で荷重した傾斜強度（勾配強度）を加算して、ブロック単位の傾斜偏り特徴量Bbとして特徴量生成部３６に供給する。
　特徴量生成部３６は、上述した小ブロック単位の明度Isb、および色度rsb，gsbを演算する。また、特徴量生成部３６は、小ブロック単位の明度Isb、および色度rsb，gsbより、複数の小ブロックからなるブロック単位の明度Ib、および色度rb，gbを演算する。また、特徴量生成部３６は、このブロック単位の傾斜偏り特徴量Bb、明度Ib、および色度rb，gbと共に４次元特徴量を構成して正規化調整部３７に供給する。
　正規化調整部３７は、４次元特徴量を正規化して調整し、画像分類部３８に供給する。
　画像分類部３８は、４次元特徴量に基づいて画像における被写体を分類する分類器５１を備えており、４次元特徴量に基づいて分類器５１により画像内の被写体を分類させ、分類結果を画像処理部３９に供給する。また、画像分類部３８は、表示された画像内における画像分類に誤りがある場合、ユーザの操作に応じて再学習するためのラベル等の入力を受け付けて、分類器５１に供給し、再学習させる。
　画像処理部３９は、内視鏡装置１２より供給されてくる画像に対して、画像分類部３８より供給されてくる分類結果に応じた画像処理を施し、表示制御部４０に供給すると共に、その画像をAE制御部４２、AF制御部４３、およびブレ補正部４４に供給する。表示制御部４０は、LCD（Liquid Crystal Display）等からなる画像表示部１３を制御して、供給された画像を、内視鏡画像として表示させる。
　すなわち、例えば、画像分類部３８は、例えば、画像内における術具、ガーゼ、マスク外、血だまり、および高輝度部をそれぞれ画像内の所定のブロック単位で分類する。そこで、画像処理部３９は、分類結果に基づいて、それぞれの分類結果対応する領域については、それぞれ対応する対象物毎に色分けしてハッチングを付すなどして視聴対象外であることを明示的に表示する。また、結果として、ハッチングが付されていない範囲が生体組織のみの画像として表示される。
　AE制御部４２は、内視鏡画像のうちの生体組織のみの領域の画像に基づいて、明るさを適切に制御して、内視鏡装置１２における、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる撮像素子６２のAEを制御する。これにより、適切なAEが実現される。尚、図１におけるAE制御部４２乃至撮像素子６２までの点線については、現実には、例えば、内視鏡装置１２から画像処理装置１１に内視鏡画像を送信する伝送ケーブルと同様の配線により実現される。
　AF制御部４３は、内視鏡画像のうちの生体組織のみの領域の画像に基づいて、内視鏡装置１２において、入射光を適切に撮像素子６２上に合焦させるように、複数のレンズ等からなる光学ブロック６１を制御して、AFを制御する。これにより、適切なAFが実現される。尚、図１におけるAF制御部４３乃至光学ブロック６１までの点線については、現実には、例えば、内視鏡装置１２から画像処理装置１１に内視鏡画像を送信する伝送ケーブルと同様の配線により実現される。
　ブレ補正部４４は、内視鏡画像のうちの生体組織のみの領域の画像に基づいて、動き検出し、検出した動きに応じて、ブレ補正を制御する。これにより、適切なブレ補正が実現される。
　＜表示処理＞
　次に、図２のフローチャートを参照して、内視鏡システムによる表示処理について説明する。
　ステップＳ１１において、内視鏡装置１２の撮像素子６２が、光学ブロック６１により結像される像を、例えば、4K画像からなる内視鏡画像として撮像し、画像処理装置１１に供給する。
　より詳細には、撮像素子６２は、撮像したRAW画像に簡易的な現像処理を施す、または、既に現像処理されたRGB画像をそのまま使用する。また、現像処理が必要な場合、ベイヤ構造のイメージセンサのとき、撮像素子６２は、デモザイク処理、ゲイン調整およびホワイトバランス処理、欠陥画素補正、リニアマトリクスによる色補正、信号の値を有効範囲内に収めるクリップ処理、並びにガンマ補正を施す。
　ステップＳ１２において、画像縮小化部３１は、内視鏡装置１２により撮像された内視鏡画像を縮小化する。より詳細には、画像縮小化部３１は、後段の平滑化処理において、タップ数の大きなBOXフィルタからなるLPFを4K画像に直接施すと演算量が大きくなるので、4K画像からなる内視鏡画像を、例えば、1024×540の解像度に縮小して、画像平滑化部３２に供給する。
　ステップＳ１３において、画像平滑化部３２は、所定のサイズのBOXフィルタからなるLPFを内視鏡画像の各画素に対して施して、内視鏡画像を平滑化し、輝度色度変換部３３に供給する。BOXフィルタとは、例えば、図３で示されるようなフィルタであり、図３の場合、5画素×5画素のフィルタの例が示されており、図中において色が付された中心の注目画素に対して、その周辺の5画素×5画素のそれぞれの各画素に対して係数1/25が乗じられ、それらの積和が求められることで、平滑化される。
　ステップＳ１４において、輝度色度変換部３３は、平滑化された内視鏡画像の各画素の画素値を明度、色度、および輝度に変換し、輝度を、輝度傾斜計算部３４に供給し、明度、および色度を特徴量生成部３６に供給する。
　より詳細には、輝度色度変換部３３は、画素(x,y)における画素値RGBを用いて、例えば、以下の式（１）乃至式（４）を演算することで、明度、色度、および輝度に変換する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　ここで、RGBは、赤色、緑色、青色の画素値であり、画素(x,y)のI(x,y)は明度であり、r(x,y)，g(x,y)は色度であり、Y(x,y)は輝度である。
　ステップＳ１５において、輝度傾斜計算部３４は、画素毎の輝度Yを用いて、画素単位の傾斜方向と傾斜強度とを算出し、傾斜偏り計算部３５に供給する。
　より具体的には、輝度傾斜計算部３４は、以下の式（５），式（６）で表されるような係数のSobelオペレータを施す。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　ここで、Sx，Syは、それぞれ座標(x,y)における画素の輝度Yに、それぞれ式（５），式（６）のSobelオペレータが掛けられた輝度である。
　さらに、輝度傾斜計算部３４は、以下の式（７），式（８）で表されるような演算により、各画素(x,y)の傾斜（勾配）方向ang(x,y)、および傾斜強度g(x,y)を演算する。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
　ここで、fx(x,y)，fy(x,y)は、それぞれ座標(x,y)の画素に上述した式（５），式（６）のSobelオペレータが掛けられたSx(x,y)，Sy(x,y)である。また、d(x,y)は、傾斜（勾配）角度（ラジアン）であり、ang(x,y)は、傾斜角度d(x,y)に基づいて割り付けられる傾斜（勾配）方向であり、整数精度に丸められた値である。さらに、BINは方向数であり、例えば、12である。
　ステップＳ１６において、傾斜偏り計算部３５は、小ブロック単位の上記傾斜強度で荷重した勾配方向のヒストグラムを計算する。
　より具体的には、図４で示されるように平滑化された内視鏡画像を、例えば、M画素×N画素の小ブロックに分割し、各小ブロックについて、以下の式（９）を演算する。
Figure JPOXMLDOC01-appb-M000009
　ここで、(sx,sy)は、小ブロックの座標を表している。Hsb(sx,sy)は、小ブロック単位の傾斜強度g(x,y)で重み付けした傾斜方向ang(x,y)のヒストグラムからなる特徴量である。すなわち、式（９）は、傾斜強度g(x,y)で重み付けした傾斜方向ang(x,y)の頻度を個別に算出することで、結果としてヒストグラムを生成することを表しており、生成されたヒストグラムの集合そのものが特徴量となる。この特徴量は、一般にHOG（Histograms of Oriented Gradients）と呼ばれるものである。
　尚、上述したように、内視鏡画像が、例えば、1024×540の解像度である場合、例えば、M＝８、N＝６であるときには、内視鏡画像は128×90個の小ブロックに分割されることになる。
　ステップＳ１７において、傾斜偏り計算部３５は、複数の小ブロックからなるブロック単位で、小ブロック単位の傾斜強度で荷重した勾配方向のヒストグラムHsb(sx,sy)を用いて、傾斜偏り特徴量Bbを計算し、計算結果を特徴量生成部３６に供給する。
　より具体的には、図５の太線枠で示されるように平滑化された内視鏡画像を、例えば、M小ブロック×N小ブロックのブロックに分割し、各ブロックについて、以下の式（１０）を演算する。
Figure JPOXMLDOC01-appb-M000010
　ここで、(bx,by)は、ブロックの座標を表している。Hb(bx,by)は、傾斜強度で荷重した勾配方向のヒストグラムあり、傾斜方向毎の傾斜強度の加算結果となるヒストグラムからなる特徴量である。
　さらに、傾斜偏り計算部３５は、ブロック単位の傾斜強度のヒストグラムHb(bx,by)に基づいて、以下の式（１１）を演算することにより、傾斜偏り特徴量Bbを算出する。
Figure JPOXMLDOC01-appb-M000011
　ここで、Bbは、傾斜偏り特徴量であり、maxQ(bx,by)は、ブロック(bx,by)における傾斜強度のヒストグラムのQ位を表している。すなわち、式（１１）は、実質的に、上位２位までの傾斜強度の和が、ブロック毎の傾斜偏り特徴量Bbとなる。
　所定のブロックにおいて、例えば、図６で示されるような傾斜強度のヒストグラムが求められている場合、傾斜強度（勾配強度）が最上位となる傾斜（勾配）方向Aの傾斜強度と、２位となる傾斜（勾配）方向Bの傾斜強度との和が、所定のブロックにおける傾斜偏り特徴量Bbとなる。
　尚、上述したように、内視鏡画像が、例えば、1024×540の解像度である場合、例えば、M＝４、N＝４であるときには、内視鏡画像は125×87個のブロックに分割されることになる。
　ステップＳ１８において、特徴量生成部３６は、図５のブロック単位の明度Ib、および色度rb，gbを算出し、傾斜偏り特徴量と併せて４次元特徴量を生成する。
　より詳細には、特徴量生成部３６は、まず、以下の式（１２）乃至式（１４）を演算して、上述した図４の小ブロック単位の明度Isb、および色度rsb，gsbを算出する。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　ここで、Isbは、小ブロック単位の明度の特徴量であり、rsb，gsbは、小ブロック単位の色度の特徴量である。
　次に、特徴量生成部３６は、以下の式（１５）乃至式（１７）を演算して、上述した図５のブロック単位の明度Ib、および色度rb，gbを算出する。
Figure JPOXMLDOC01-appb-M000015
Figure JPOXMLDOC01-appb-M000016
Figure JPOXMLDOC01-appb-M000017
　ここで、(bx,by)は、ブロックの座標を表している。Ibは、ブロック単位の明度の特徴量であり、rb，gbは、ブロック単位の色度の特徴量である。
　そして、特徴量生成部３６は、明度Ib(bx,by)、色度rb(bx,by)，gb(bx,by)、および傾斜偏り特徴量Bb(x,y)からなる４次元特徴量を生成して正規化調整部３７に供給する。
　尚、特徴量Bb(x,y)については、上位２位の２種類の方向が隣接していることが前提となるが、上述したステップＳ１３の処理により内視鏡画像は平滑化されており、傾斜偏りが強く表れる画像となっているので、上位の傾斜方向は隣接した方向となる。また、２位の傾斜方向については、傾斜強度が所定値よりも大きい場合に採用するようにしてもよく、この場合、２位の傾斜方向の傾斜強度が所定値よりも小さい場合には、最上位の傾斜方向の傾斜強度のみを採用するようにしてもよい。さらに、所定値よりも大きな傾斜方向に傾斜強度を全て足し合わせて採用するようにしてもよい。
　ステップＳ１９において、正規化調整部３７は、４次元特徴量を、後述する分類器５１に受け付けられる、例えば、０乃至１，－１乃至＋１の様な信号レベルに収めるために正規化すると共に、後述する分類器５１の効き方を調整したり、現像パラメータに合わせこむために調整し、画像分類部３８に供給する。より具体的には、正規化調整部３７は、例えば、以下の式（１８）乃至式（２１）を演算することにより、４次元特徴量を正規化すると共に調整する。
Figure JPOXMLDOC01-appb-M000018
Figure JPOXMLDOC01-appb-M000019
Figure JPOXMLDOC01-appb-M000020
Figure JPOXMLDOC01-appb-M000021
　ここで、Ib'(bx,by)，rb'(bx,by)，gb'(bx,by)，Bb'(bx,by)は、正規化され、かつ、調整された明度、色度、および傾斜偏り特徴量であり、iOffset，rOffset，gOffset，bOffsetは、明度、色度、および傾斜偏り特徴量のオフセット量であり、iGain，rGain，gGain，bGainは、ゲイン制御係数である。
　ステップＳ２０において、画像分類部３８は、分類器５１を制御して、正規化され、かつ、調整された４次元特徴量を用いて、画像内の被写体を分類し、分類結果を画像処理部３９に供給する。
　分類器５１は、例えば、ニューラルネットワークを用いた構成とするようにしてもよい。図７は、ニューラルネットワークを用いて構成された分類器５１の構成例を示している。図７の分類器５１は、入力層７１、ReLu７２、tanh７３、およびDropout+softmax７４より構成されている。
　入力層７１は、４次元特徴量を受け付けてランプ関数（ReLu）７２に供給する。
　ランプ関数（ReLu）７２は、例えば、図８の右部で示されるような関数であり、４次元特徴量に対して、この関数を用いた処理を施し、tanh７３に供給する。
　tanh７３は、例えば、図８の左部で示されるような関数であり、ランプ関数７２による処理が施された４次元特徴量に対して、図８の左部で示されるような関数による処理を施し、Dropout+softmax７４に供給する。
　Dropout+softmax７４は、Dropoutとsoftmaxとからなり、このうち、Dropoutは、学習時にネットワークの過学習を防ぐための関数であり、例えば、単純に素子の出力を半分にするといった処理を施す。また、softmaxは、主に分類機能を持ったニューラルネットワークの出力値を正規化するために用いられ、例えば、以下の式（２２）で表される。
Figure JPOXMLDOC01-appb-M000022
　これらの構成により、分類器５１は、４次元特徴量に基づいて、例えば、生体組織、術具、ガーゼ、マスク外、血だまり、および高輝度部を分類する。より詳細には、分類器５１は、４次元特徴量により、術具、ガーゼ、マスク外、血だまり、および高輝度部となる領域を分類し、それらに分類されない領域を生体組織であるものとして分類する。
　より具体的には、例えば、術具、ガーゼ、マスク外、血だまり、高輝度部、および生体組織を分類するような場合、分類器５１は、枠Ｆ１１単位で被写体を分類し、例えば、術具およびガーゼについては、マスク外と分類された図５のブロックが含まれず、ガーゼと判定されたブロックよりも、術具と判定されたブロックの方が多ければ術具であるものとみなし、その逆であればガーゼであるものとみなす。
　また、分類器５１は、例えば、各枠Ｆ１１のうち、マスク外、血だまり、および高輝度部と分類された図５のブロックが所定の割合以上であれば、それぞれマスク外、血だまり、および高輝度部であるものとみなす。そして、分類器５１は、術具、ガーゼ、マスク外、血だまり、および高輝度部のいずれにもみなされなかった枠Ｆ１１については、生体組織であるものとみなす。
　このような分類により、分類器５１の分類精度がそれほど高いものではなくても検出可能な術具、ガーゼ、マスク外、血だまり、および高輝度部を検出し、それ以外を生体組織として認識することで、類似に係る処理負荷を低減しつつ、高い精度で生体組織を分類することが可能となる。
　また、分類器５１の分類結果については、枠Ｆ１１毎に、術具、ガーゼ、マスク外、血だまり、高輝度部、および生体組織といった分類対象毎のスコアを計算して、スコアに応じて分類結果を決定するようにしてもよい。この場合、スコアが最上位の分類対象を分類結果とするようにしてもよいし、上位２位までの分類結果を提示して選択できるようにしてもよい。さらに、上位２位までの分類結果を提示するときには、２位となるスコアの分類対象については、所定のスコア以上であるときにのみ、上位２位までを提示して選択できるようにしてもよい。尚、本開示においては、ガーゼ、マスク外、血だまり、高輝度部、および生体組織を分類する例について説明してきたが、それ以外の被写体を分類するようにしてもよい。ただし、生体組織の分類に際しては、それ以外の被写体として分類されていない範囲であることは同様である。
　ステップＳ２１において、画像処理部３９は、分類結果に基づいて、撮像された内視鏡画像に画像処理を施し、処理結果をAE制御部４２、AF制御部４３、およびブレ補正部４４に供給する。
　より具体的には、例えば、図９で示されるように、画像処理部３８は、鉗子Ｋが存在する範囲が、術具として検出された場合、内視鏡画像の対応する範囲を、分類された術具であることを示す色や模様等でハッチングする。この他にも、AE、AF、およびブレ補正等に影響を及ぼす可能性があり、かつ、生体組織以外の領域を分類結果に応じた色や模様等でハッチングする。
　例えば、この他にもガーゼ、マスク外、血だまり、および高輝度部など、AE、AF、およびブレ補正等に影響を及ぼす可能性があり、かつ、生体組織以外の領域について、分類結果に応じた色や模様等でハッチングする。尚、生体組織の範囲は、ガーゼ、マスク外、血だまり、および高輝度部として認識された範囲外であるものとみなされる。
　尚、図９において、格子状に設けられた枠Ｆ１１は、AE制御部４２およびブレ補正部４４により、AEおよびブレ補正を制御するためのブロックであり、太線からなる単独の枠Ｆ１は、AF制御部４３によりAFが制御される範囲を示している。枠Ｆ１，Ｆ１１のいずれにおいても、AE制御、AF制御、およびブレ補正のそれぞれの制御に適したサイズに設定されていると共に、上述した図５のブロックよりも大きな範囲である。すなわち、図５のブロックは、枠Ｆ１，Ｆ１１を用いたAE、およびAFの処理における最小処理単位となる。
　例えば、枠Ｆ１１のサイズが、内視鏡画像に対して、例えば、１２個×５個分割するサイズの場合、ハッチングの範囲は、図１０の上段で示されるようなものとなるが、内視鏡画像に対して、例えば、４０個×３０個に分割するサイズの場合、ハッチングの範囲は、図１０の下段で示されるようなものとなる。すなわち、枠Ｆ１１のサイズは、図１０の下段で示されるようなより小さなサイズである場合、図１０の上段で示されるような大きなサイズであるよりも、より高い解像度で範囲を設定することが可能となる。
　尚、以上においては、分類器５１は、ニューラルネットワークにより構成する例について説明してきたが、分類器５１として機能すれば、他の構成でもよく、例えば、ブースティング（Boosting）などに代表される機械学習を用いたものでもよい。
　ステップＳ２２において、AE制御部４２は、生体組織であるものとみなされた範囲内における枠Ｆ１１単位の輝度情報を用いてAEを制御する。すなわち、このような処理により、金属製の術具などに反射した光で色飛びしてしまうような画素をも用いたAE制御とならないため、適切なAE制御を実現することが可能となる。
　すなわち、図１０の上段、または下段で示されるように、術具が撮像された範囲と、ガーゼが撮像された範囲が、それぞれ区別された色または模様等でハッチングされ、それ以外の範囲の枠Ｆ１１における輝度情報が利用されて、AEが実現される。結果として、生体組織が撮像された範囲の輝度情報のみが用いられた状態でAEが実現されるので、適切なAEを実現することが可能となる。尚、必要とされる輝度は、術式や診療科などにより異なる場合があるので、それぞれに適した輝度となるようにAEが制御される。
　ステップＳ２３において、AF制御部４３は、生体組織であるとみなされた範囲の画像を利用してAFを実現する。より詳細には、AF制御部４３は、内視鏡画像内の中心付近において、生体組織のみが含まれる位置になるまで、所定サイズの枠Ｆ１を画像内で移動させて、注目領域を探索する。このとき、もし、注目領域を検索できない場合、枠Ｆ１のサイズをより小さくして、注目領域が探索できるまで、繰り返し枠Ｆ１により注目領域を探索する。
　そして、注目領域が探索できたとき、AF制御部４３は、注目領域における画像を用いてAF制御を実現する。より具体的には、例えば、エッジ検出により焦点が合った状態を探索することで、AFの制御を実現する。
　すなわち、図１０の上部で示されるように、AF制御部４３は、ハッチングされた領域を含まない位置まで枠Ｆ１を移動させる。
　枠Ｆ１により注目領域が特定できたとき、AF制御部４３は、エッジが十分に検出されるように光学ブロック６１を制御することで、AF制御を実現する。このように生体組織のみからなる枠Ｆ１で特定される注目領域のエッジを検出することでAFを実現することにより、適切なAFの制御を実現することができる。
　ステップＳ２４において、ブレ補正部４４は、生体組織であるものとみなされた範囲内の動き情報を用いてブレを補正する。
　すなわち、ブレ補正部４４は、図１１で示されるように、術具が撮像された範囲と、ガーゼが撮像された範囲を検索すると、図１２で示されるように白色にハッチングする。そして、ブレ補正部４４は、ハッチングされた範囲以外の範囲の枠Ｆ２１における動き情報を利用して、ブレ補正を実現する。結果として、生体組織が撮像された範囲の動き情報のみが用いられた状態でブレが補正されるので、適切なブレ補正を実現することが可能となる。
　ステップＳ２５において、画像処理部３９は、処理を施した画像を表示制御部４０に供給し、画像表示部１３への表示を制御させる。ここで表示される画像については、AE、AF、およびブレ補正が施された状態の画像が表示されることになる。すなわち、以上のような処理により、適切なAE、AF、およびブレ補正が施された内視鏡画像を提示することが可能となり、術者である医師に対して、視聴対象となる生体組織を見易く提示することが可能となる。
　ステップＳ２６において、画像分類部３８は、操作部４１が操作されて再学習が指示されたか否かを判定し、再学習が指示された場合、処理は、ステップＳ２７に進む。
　ステップＳ２７において、画像分類部３８は、再学習処理を実行して、分類器５１を再学習させる。尚、再学習処理については、図１４のフローチャートを参照して、後述する。
　尚、ステップＳ２６において、再学習が指示されていない場合、ステップＳ２７の処理がスキップされる。
　ステップＳ２８において、画像処理装置１１は、終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１１に戻り、以降の処理が繰り返される。そして、ステップＳ２８において、終了が指示された場合、処理は終了する。
　ここで、図１３を参照して、以上の処理をまとめる。
　すなわち、術具である鉗子が生体組織の前に映し出された図１３の画像Ｐ１のような場合、ステップＳ１６において、一般的なHOGが、小ブロック単位の画像勾配方向のヒストグラムの集合として求められることになる。
　このため、図１３の画像Ｐ１の方形状の枠で示されるように、例えば、４ブロック×４ブロックの範囲について、各ブロックで１２方向の傾き方向別のヒストグラムを持つと、その情報は、４×４×１２の１９２次元の情報となる。
　ところが、本開示の画像処理装置１１においては、元の内視鏡画像に対してLPFを掛けて平滑化した上で、HOGを求めるようにすることで、広い範囲で強い傾きが生じるようにすることが可能となる。さらに、平滑化された画像内において、４ブロック×４ブロックの範囲の、それぞれのブロックの傾斜方向に対する傾斜強度（頻度）ヒストグラムを加算して、その上位２位までの傾斜強度の和のみからなる１次元の情報を傾斜偏り特徴量とすることで、図１３の画像Ｐ２で示されるような傾斜の偏りとして表現させることが可能となる。このため、少ない次元数の特徴量で分類することが可能となるので、分類に係る演算量を低減することが可能となる。尚、図１３の画像Ｐ１，Ｐ２においては、各ブロックにおける傾斜方向と傾斜強度が画像上において、棒状のゲージの太さ、および長さ、並びに、傾いた方向で表現されている。また、画像Ｐ２においては、鉗子Ｋの部分に術具が検出されていることを示すハッチングが施されている。さらに、画像Ｐ１上の方形状の枠より矢印で示される画像Ｐ２上の棒状のゲージが枠内の１９２次元の傾斜偏り特徴量を１次元で表現した例であることを示している。
　さらに、生体組織の範囲については、分類が比較的容易な術具、およびガーゼ等を分類し、分類が困難な生体組織については、分類が容易な範囲以外とすることで、内視鏡装置１２により撮像される内視鏡画像において、演算量を低減しつつ、生体組織となる範囲を低遅延で分類して、提示することが可能となる。
　＜再学習処理＞
　次に、図１４のフローチャートを参照して、再学習処理について説明する。
　ステップＳ４１において、画像分類部３８は、操作部４１が操作されて、画像表示部１３上における再学習領域の入力が受け付ける。
　ステップＳ４２において、画像分類部３８は、再学習領域に属するブロックにおける４次元特徴量を読み出す。
　ステップＳ４３において、画像分類部３８は、正解ラベルの入力を受け付ける。
　ステップＳ４４において、画像分類部３８は、分類器５１を制御して、４次元特徴量を分類し、必要に応じて追加し、正解ラベルが求められるように学習する。
　ステップＳ４５において、画像分類部３８は、再学習が完了した分類器５１を制御して、再学習領域として受け付けられた４次元特徴量を用いて、画像を分類し、分類結果を画像処理部３９に供給する。
　ステップＳ４６において、画像処理部３９は、分類結果に基づいて、画像を処理する。
　ステップＳ４７において、画像処理部３９は、画像処理結果を表示制御部４０に供給し、画像表示部１３への表示を制御させる。
　ステップＳ４８において、画像分類部３８は、再学習処理が終了か否かを判定する。例えば、分類に誤りがあり、再び再学習が必要であり、操作部４１が操作されて、その旨が指示されると、処理は、ステップＳ４１に戻り、以降の処理が繰り返される。そして、ステップＳ４８において、終了が指示されると、処理は、終了する。
　すなわち、図１５の画像Ｐ１１で示されるように、鉗子Ｋが存在する範囲Ｚ１がハッチングされておらず、術具として分類されていないような場合、術者である医師が、例えば、画像Ｐ１２で示されるように、分類による認識ミスであるものとして、再学習領域として範囲Ｚ１１が指定されるものとする。すると、通常の表示が停止されて、対応する範囲のブロックの４次元特徴量が選別され、また、必要に応じて追加されるといった処理により再学習がなされた後、画像Ｐ１３の範囲Ｚ２１で示されるように、術具として分類されてハッチングさせるようにすることが可能となる。
　尚、以上においては、内視鏡画像のAE、AF、およびブレ補正について説明してきたが、内視鏡画像と同様の条件で撮像されるような画像であれば、内視鏡画像に限らず、その他の画像であっても同様の効果を奏することができ、例えば、顕微鏡画像などであっても同様の効果を奏することができる。
　以上の如く、本開示によれば、内視鏡画像における視聴対象に焦点が合っていない、いわゆるピンボケの画像や露出不良状態であっても、術具やガーゼといった、AE、AF、およびブレ補正といった撮像制御の精度を低下させるような物体の位置を特定することが可能となる。
　これにより、物体の位置が特定された範囲以外を生体組織として分類することが可能となり、生体組織を対象にした、適切なAE、AFおよびブレ補正を実現することが可能となる。結果として、術者にとって視聴し易い内視鏡画像を低遅延で提示することが可能となる。
　また、分類に失敗が生じた場合については、その都度、再学習処理を実行させることで、正解ラベルに基づいた再学習させることが可能となるので、視聴し難い状態を迅速に解消させて、視聴し易い内視鏡画像を提示することが可能となる。
　＜＜３．応用例＞＞
　＜ソフトウェアにより実行させる例＞
　ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
　図１６は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
　入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
　CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　尚、本開示は、以下のような構成も取ることができる。
＜１＞　医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、
　前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部とを含む
　画像処理装置。
＜２＞　前記分類部は、前記平滑化画像に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類する
　＜１＞に記載の画像処理装置。
＜３＞　前記分類部は、前記平滑化画像の明度、色度、および輝度に基づいて、前記各領域に含まれる前記各被写体を分類する
　＜２＞に記載の画像処理装置。
＜４＞　前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換部と、
　前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算部とをさらに含み、
　前記分類部は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記生体画像内の被写体を分類する
　＜３＞に記載の画像処理装置。
＜５＞　前記所定サイズのブロックは、前記所定のサイズよりも小さいサイズの複数の小ブロックから構成され、
　前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムを前記小ブロック単位の傾斜偏り特徴量として求める傾斜偏り計算部をさらに含む
　＜４＞に記載の画像処理装置。
＜６＞　前記傾斜偏り計算部は、前記ブロック単位で、複数の前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムの上位の傾斜強度を前記所定サイズのブロック単位の傾斜偏り特徴量として計算し、
　前記分類部は、ブロック単位の前記明度、前記色度、並びに、前記傾斜偏り特徴量に基づいて、前記生体画像内の被写体を分類する
　＜５＞に記載の画像処理装置。
＜７＞　前記傾斜偏り計算部は、前記移動加算となるヒストグラムの所定の上位順位までの傾斜強度の和を前記所定サイズのブロック単位の傾斜偏り特徴量として計算する
　＜６＞に記載の画像処理装置。
＜８＞　前記分類部は、前記生体組織以外のものとして、前記生体画像内の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類する
　＜２＞に記載の画像処理装置。
＜９＞　前記分類部は、前記生体画像内の前記各領域に含まれる前記各被写体を生体組織以外の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類し、いずれのものにも分類されない領域の被写体を生体組織として分類する
　＜８＞に記載の画像処理装置。
＜１０＞　前記分類部は、ニューラルネットワークを用いた分類器より構成される
　＜１＞に記載の画像処理装置。
＜１１＞　前記分類部は、ブースティングを用いた機械学習を用いた分類器より構成される
　＜１＞に記載の画像処理装置。
＜１２＞　前記生体画像のうち、前記生体組織として分類された前記領域の輝度の情報に基づいて、前記医療用撮像装置における露出を調整する露出調整部をさらに含む
　＜２＞に記載の画像処理装置。
＜１３＞　前記生体画像内において、前記生体組織として分類された前記領域の情報のみに基づいて、前記医療用撮像装置における焦点を調整する焦点調整部をさらに含む
　＜２＞に記載の画像処理装置。
＜１４＞　前記生体画像のうち、前記生体組織として分類された前記領域の動きの情報に基づいて、前記生体画像のブレを補正するブレ補正部をさらに含む
　＜２＞に記載の画像処理装置。
＜１５＞　前記分類部の分類結果に基づいて、分類された被写体の種別に対応する、前記生体画像上の位置にハッチングを付するように画像を処理する画像処理部と、
　前記画像処理部により処理がなされた生体画像の表示を制御する表示制御部とをさらに含む
　＜１＞に記載の画像処理装置。
＜１６＞　前記表示された生体画像上に、再学習が必要とされる再学習範囲を指定すると共に正解の被写体を示す正解ラベルを指定する操作部をさらに含み、
　前記分類部は、前記再学習範囲において、前記正解ラベルに対応する被写体を分類するように再学習する
　＜１５＞に記載の画像処理装置。
＜１７＞　前記生体画像は、内視鏡装置により撮像される内視鏡画像である
　＜１＞に記載の画像処理装置。
＜１８＞　画像を平滑化し、
　医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化し、
　前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類するステップを含む
　画像処理方法。
＜１９＞　　医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、
　　前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部とを含む
　画像処理装置と、
　　前記画像を撮像する撮像部を含む
　医療用撮像装置とからなる
　医療用撮像システム。
　１１　画像処理装置，　１２　内視鏡装置，　１３　画像表示部，　１４　患者，　３１　画像縮小化部，　３２　画像平滑化部，　３３　輝度色度変換部，　３４　輝度傾斜計算部，　３５　傾斜偏り計算部，　３６　特徴量生成部，　３７　正規化調整部，　３８　画像分類部，　３９　画像処理部，　４０　表示制御部，　４１　操作部，　４２　AE制御部，　４３　AF制御部，　４４　ブレ補正部，　５１　分類器，　７１　入力層，　７２　ReLu，　７３　tanh，　７４　Dropout＋softmax

Claims (19)

  1. 　医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、
    　前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部とを含む
    　画像処理装置。
  2. 　前記分類部は、前記平滑化画像に基づいて、前記各領域に含まれる前記各被写体を前記生体組織又は前記生体組織以外のものに分類する
    　請求項１に記載の画像処理装置。
  3. 　前記分類部は、前記平滑化画像の明度、色度、および輝度に基づいて、前記各領域に含まれる前記各被写体を分類する
    　請求項２に記載の画像処理装置。
  4. 　前記平滑化画像の各画素の画素値より明度、色度、および輝度に変換する変換部と、
    　前記平滑化画像における各画素の輝度の傾斜方向および傾斜強度を求める輝度傾斜計算部とをさらに含み、
    　前記分類部は、前記生体画像における所定サイズのブロック単位で、前記明度、前記色度、並びに、前記傾斜方向および前記傾斜強度に基づいて、前記生体画像内の被写体を分類する
    　請求項３に記載の画像処理装置。
  5. 　前記所定サイズのブロックは、前記所定のサイズよりも小さいサイズの複数の小ブロックから構成され、
    　前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムを前記小ブロック単位の傾斜偏り特徴量として求める傾斜偏り計算部をさらに含む
    　請求項４に記載の画像処理装置。
  6. 　前記傾斜偏り計算部は、前記ブロック単位で、複数の前記小ブロック単位の傾斜強度のヒストグラムの移動加算を求め前記移動加算となるヒストグラムの上位の傾斜強度を前記所定サイズのブロック単位の傾斜偏り特徴量として計算し、
    　前記分類部は、ブロック単位の前記明度、前記色度、並びに、前記傾斜偏り特徴量に基づいて、前記生体画像内の被写体を分類する
    　請求項５に記載の画像処理装置。
  7. 　前記傾斜偏り計算部は、前記移動加算となるヒストグラムの所定の上位順位までの傾斜強度の和を前記所定サイズのブロック単位の傾斜偏り特徴量として計算する
    　請求項６に記載の画像処理装置。
  8. 　前記分類部は、前記生体組織以外のものとして、前記生体画像内の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類する
    　請求項２に記載の画像処理装置。
  9. 　前記分類部は、前記生体画像内の前記各領域に含まれる前記各被写体を生体組織以外の術具、ガーゼ、マスク外、血だまり、又は高輝度部のうちのいずれかに分類し、いずれのものにも分類されない領域の被写体を生体組織として分類する
    　請求項８に記載の画像処理装置。
  10. 　前記分類部は、ニューラルネットワークを用いた分類器より構成される
    　請求項１に記載の画像処理装置。
  11. 　前記分類部は、ブースティングを用いた機械学習を用いた分類器より構成される
    　請求項１に記載の画像処理装置。
  12. 　前記生体画像のうち、前記生体組織として分類された前記領域の輝度の情報に基づいて、前記医療用撮像装置における露出を調整する露出調整部をさらに含む
    　請求項２に記載の画像処理装置。
  13. 　前記生体画像内において、前記生体組織として分類された前記領域の情報のみに基づいて、前記医療用撮像装置における焦点を調整する焦点調整部をさらに含む
    　請求項２に記載の画像処理装置。
  14. 　前記生体画像のうち、前記生体組織として分類された前記領域の動きの情報に基づいて、前記生体画像のブレを補正するブレ補正部をさらに含む
    　請求項２に記載の画像処理装置。
  15. 　前記分類部の分類結果に基づいて、分類された被写体の種別に対応する、前記生体画像上の位置にハッチングを付するように画像を処理する画像処理部と、
    　前記画像処理部により処理がなされた生体画像の表示を制御する表示制御部とをさらに含む
    　請求項１に記載の画像処理装置。
  16. 　前記表示された生体画像上に、再学習が必要とされる再学習範囲を指定すると共に正解の被写体を示す正解ラベルを指定する操作部をさらに含み、
    　前記分類部は、前記再学習範囲において、前記正解ラベルに対応する被写体を分類するように再学習する
    　請求項１５に記載の画像処理装置。
  17. 　前記生体画像は、内視鏡装置により撮像される内視鏡画像である
    　請求項１に記載の画像処理装置。
  18. 　医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化し、
    　前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類するステップを含む
    　画像処理方法。
  19. 　　医療用撮像装置により生体組織を含む生体内を撮像して生成された生体画像を平滑化する平滑化部と、
    　　前記平滑化部により前記生体画像が平滑化された平滑化画像に基づいて、前記生体画像内の各領域に含まれる各被写体を分類する分類部とを含む
    　画像処理装置と、
    　　前記画像を撮像する撮像部を含む
    　医療用撮像装置とからなる
    　医療用撮像システム。
PCT/JP2017/021949 2016-06-28 2017-06-14 画像処理装置および画像処理方法、並びに医療用撮像システム Ceased WO2018003503A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018525034A JP6825625B2 (ja) 2016-06-28 2017-06-14 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム
CN201780038504.4A CN109310306B (zh) 2016-06-28 2017-06-14 图像处理装置、图像处理方法和医疗成像系统
EP17819863.6A EP3476272A4 (en) 2016-06-28 2017-06-14 IMAGE
US16/303,242 US11087461B2 (en) 2016-06-28 2017-06-14 Image processing device, image processing method, medical imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016127687 2016-06-28
JP2016-127687 2016-06-28

Publications (1)

Publication Number Publication Date
WO2018003503A1 true WO2018003503A1 (ja) 2018-01-04

Family

ID=60786241

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021949 Ceased WO2018003503A1 (ja) 2016-06-28 2017-06-14 画像処理装置および画像処理方法、並びに医療用撮像システム

Country Status (5)

Country Link
US (1) US11087461B2 (ja)
EP (1) EP3476272A4 (ja)
JP (2) JP6825625B2 (ja)
CN (1) CN109310306B (ja)
WO (1) WO2018003503A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009127A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2020039968A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
CN112367896A (zh) * 2018-07-09 2021-02-12 富士胶片株式会社 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序
WO2021182066A1 (ja) * 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
JP2022139447A (ja) * 2021-03-12 2022-09-26 株式会社Sukeru 打音検査システム及びその方法
JP2022159496A (ja) * 2019-03-08 2022-10-17 富士フイルム株式会社 内視鏡システム、内視鏡画像学習方法及びプログラム
CN115279247A (zh) * 2020-03-11 2022-11-01 奥林巴斯株式会社 处理系统、图像处理方法以及学习方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7048628B2 (ja) 2016-11-28 2022-04-05 アダプティブエンドウ エルエルシー 分離可能使い捨てシャフト付き内視鏡
US10799090B1 (en) 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
CN111091536B (zh) * 2019-11-25 2023-04-07 腾讯科技（深圳）有限公司 医学图像处理方法、装置、设备、介质以及内窥镜
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle
USD1051380S1 (en) 2020-11-17 2024-11-12 Adaptivendo Llc Endoscope handle
CN113011418B (zh) * 2021-02-09 2024-02-23 杭州海康慧影科技有限公司 确定图像中待处理区域的方法、装置、设备
USD1070082S1 (en) 2021-04-29 2025-04-08 Adaptivendo Llc Endoscope handle
USD1031035S1 (en) 2021-04-29 2024-06-11 Adaptivendo Llc Endoscope handle
CN113591961A (zh) * 2021-07-22 2021-11-02 深圳市永吉星光电有限公司 一种基于神经网络的微创医用摄像头图像识别方法
USD1066659S1 (en) 2021-09-24 2025-03-11 Adaptivendo Llc Endoscope handle
CN120316844B (zh) * 2025-03-28 2025-11-04 广东维创兴电子科技有限公司 一种触控屏幕生产优化方法及其系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014166298A (ja) * 2013-01-31 2014-09-11 Olympus Corp 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
WO2015052351A1 (en) * 2013-10-11 2015-04-16 Mauna Kea Technologies Method for characterizing images acquired through a video medical device
JP2016007273A (ja) * 2014-06-23 2016-01-18 オリンパス株式会社 内視鏡装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162191A (ja) * 1992-11-18 1994-06-10 Matsushita Electric Ind Co Ltd 図形判別方法
JPH06163191A (ja) 1992-11-18 1994-06-10 Mitsubishi Electric Corp 加速器およびこれを用いた半導体製造装置
JP3974946B2 (ja) 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
JP3955126B2 (ja) * 1997-05-14 2007-08-08 オリンパス株式会社 内視鏡の視野変換装置
JP4472631B2 (ja) * 2005-12-28 2010-06-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
JP4197008B2 (ja) * 2006-05-15 2008-12-17 セイコーエプソン株式会社 画像処理方法、プログラム及び画像処理装置
US7794396B2 (en) * 2006-11-03 2010-09-14 Stryker Corporation System and method for the automated zooming of a surgical camera
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
US8526719B2 (en) * 2009-12-29 2013-09-03 Postech Academy-Industry Foundation Method of converting color image into grayscale image and recording medium storing program for performing the same
JP5385163B2 (ja) * 2010-01-06 2014-01-08 オリンパスメディカルシステムズ株式会社 内視鏡システム
US8345930B2 (en) * 2010-01-22 2013-01-01 Sri International Method for computing food volume in a method for analyzing food
EP2476363A4 (en) * 2010-07-21 2014-06-25 Olympus Medical Systems Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN103442628B (zh) * 2011-03-16 2016-06-15 皇家飞利浦有限公司 用于检查宫颈的医疗器械
JP5865606B2 (ja) * 2011-05-27 2016-02-17 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5959168B2 (ja) * 2011-08-31 2016-08-02 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5962092B2 (ja) * 2012-03-16 2016-08-03 ソニー株式会社 画像処理装置と画像処理方法
CN103366177B (zh) * 2012-03-28 2016-12-07 佳能株式会社 对象检测分类器生成方法和设备、图像对象检测方法和设备
JP5413501B1 (ja) * 2012-12-07 2014-02-12 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
WO2014101970A1 (en) * 2012-12-31 2014-07-03 Instytut Badawczy Drog I Mostow A method for vehicle identification and a system for vehicle identification
CN103971361B (zh) * 2013-02-06 2017-05-10 富士通株式会社 图像处理装置和方法
JP2016000065A (ja) * 2014-06-11 2016-01-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、および内視鏡システム
WO2017077680A1 (ja) * 2015-11-05 2017-05-11 日本電気株式会社 画像処理システム、画像処理方法、および画像処理プログラム記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014166298A (ja) * 2013-01-31 2014-09-11 Olympus Corp 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
WO2015052351A1 (en) * 2013-10-11 2015-04-16 Mauna Kea Technologies Method for characterizing images acquired through a video medical device
JP2016007273A (ja) * 2014-06-23 2016-01-18 オリンパス株式会社 内視鏡装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020009127A1 (ja) * 2018-07-06 2020-01-09 ソニー株式会社 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
US12388960B2 (en) 2018-07-09 2025-08-12 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program
CN112367896A (zh) * 2018-07-09 2021-02-12 富士胶片株式会社 医用图像处理装置、医用图像处理系统、医用图像处理方法及程序
US11991478B2 (en) 2018-07-09 2024-05-21 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program
JP7079849B2 (ja) 2018-08-20 2022-06-02 富士フイルム株式会社 医療画像処理システム
JPWO2020039968A1 (ja) * 2018-08-20 2021-08-12 富士フイルム株式会社 医療画像処理システム
WO2020039968A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 医療画像処理システム
JP2022159496A (ja) * 2019-03-08 2022-10-17 富士フイルム株式会社 内視鏡システム、内視鏡画像学習方法及びプログラム
US11978550B2 (en) 2019-03-08 2024-05-07 Fujifilm Corporation Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
JP7526449B2 (ja) 2019-03-08 2024-08-01 富士フイルム株式会社 学習済みモデルの生成方法、内視鏡画像学習方法及びプログラム
US12362062B2 (en) 2019-03-08 2025-07-15 Fujifilm Corporation Endoscopic image learning device, endoscopic image learning method, endoscopic image learning program, and endoscopic image recognition device
JPWO2021182066A1 (ja) * 2020-03-11 2021-09-16
WO2021182066A1 (ja) * 2020-03-11 2021-09-16 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置および医療用観察システム
CN115279247A (zh) * 2020-03-11 2022-11-01 奥林巴斯株式会社 处理系统、图像处理方法以及学习方法
JP2022139447A (ja) * 2021-03-12 2022-09-26 株式会社Sukeru 打音検査システム及びその方法

Also Published As

Publication number Publication date
CN109310306A (zh) 2019-02-05
EP3476272A1 (en) 2019-05-01
EP3476272A4 (en) 2019-07-31
US20190206053A1 (en) 2019-07-04
CN109310306B (zh) 2021-09-24
US11087461B2 (en) 2021-08-10
JP2021065718A (ja) 2021-04-30
JPWO2018003503A1 (ja) 2019-04-18
JP6825625B2 (ja) 2021-02-03

Similar Documents

Publication Publication Date Title
JP6825625B2 (ja) 画像処理装置および画像処理装置の作動方法、並びに医療用撮像システム
JP7289653B2 (ja) 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
JP6899894B2 (ja) パターン検出
CN112639865A (zh) 图像处理系统、学习完毕模型和图像处理方法
US20120120216A1 (en) Endscope apparatus and program
Saint-Pierre et al. Detection and correction of specular reflections for automatic surgical tool segmentation in thoracoscopic images
CA2974777A1 (en) Diagnosis assisting device, and image processing method in diagnosis assisting device
JP6168876B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
KR101634228B1 (ko) 디지털 이미지 처리장치, 추적방법, 추적방법을 실행시키기위한 프로그램을 저장한 기록매체 및 추적방법을 채용한 디지털 이미지 처리장치
KR101385743B1 (ko) 수술 영상의 실시간 시각적 노이즈 자동 제거 장치, 방법 및 시스템
JP6150617B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
US20230255443A1 (en) Apparatuses, systems, and methods for discounting an object while managing auto-exposure of image frames depicting the object
CN111161852B (zh) 一种内窥镜图像处理方法、电子设备及内窥镜系统
Selka et al. Evaluation of endoscopic image enhancement for feature tracking: A new validation framework
CN119006401A (zh) 内窥镜摄像系统及其图像处理方法
WO2021171444A1 (ja) 教師データ生成装置、教師データ生成方法、記録装置及び記録方法
US20240259696A1 (en) Depth-based auto-exposure management
JP6653386B2 (ja) 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
CN116236147A (zh) 一种基于手术行为理解的内镜控制方法、装置及存储介质
Selka et al. Context-specific selection of algorithms for recursive feature tracking in endoscopic image using a new methodology
CN115115588B (zh) 一种手术器械定位方法、系统及存储介质
WO2025205058A1 (ja) 情報処理装置、情報処理方法およびプログラム
Hasan et al. Inpainting surgical occlusion from laparoscopic video sequences for robot-assisted interventions
Huo et al. Unsupervised confocal superficial eyelid image stitching: Flexible, accurate and smooth
US20210136257A1 (en) Endoscope apparatus, operating method of endoscope apparatus, and information storage medium

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018525034

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17819863

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017819863

Country of ref document: EP

Effective date: 20190128