[go: up one dir, main page]

WO2007119296A1 - 内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法 - Google Patents

内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法 Download PDF

Info

Publication number
WO2007119296A1
WO2007119296A1 PCT/JP2007/053587 JP2007053587W WO2007119296A1 WO 2007119296 A1 WO2007119296 A1 WO 2007119296A1 JP 2007053587 W JP2007053587 W JP 2007053587W WO 2007119296 A1 WO2007119296 A1 WO 2007119296A1
Authority
WO
WIPO (PCT)
Prior art keywords
insertion direction
endoscope
scene
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/053587
Other languages
English (en)
French (fr)
Inventor
Hideki Tanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to CN2007800136353A priority Critical patent/CN101420897B/zh
Priority to EP07714980.5A priority patent/EP2008571B1/en
Publication of WO2007119296A1 publication Critical patent/WO2007119296A1/ja
Priority to US12/253,707 priority patent/US8285016B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an endoscope insertion direction detecting device and an endoscope insertion direction detecting method for detecting an insertion direction of an endoscope.
  • endoscopes have come to be widely used in the medical field.
  • skill may be required to smoothly insert the endoscope into a complex bent portion such as the large intestine.
  • Japanese Patent Laid-Open No. 2004-167010 as a first conventional example describes a pixel having a predetermined density value such as halation related to detection of an endoscope insertion direction or a lumen structure based on an endoscope image.
  • An endoscope insertion direction detecting device provided with a pixel extracting means for extracting the image is disclosed.
  • the insertion direction of the endoscope is determined based on the extraction result.
  • Japanese Patent Laid-Open No. 2003-93328 as a second conventional example is an endoscope that determines a direction in which an insertion portion of an endoscope is inserted by detecting a brightness direction in an endoscope image.
  • a mirror insertion direction detection device and an endoscope insertion direction detection method are disclosed.
  • the technique described in the conventional example comprehensively determines the feature amount related to the insertion direction (lumen structure) in the scene of the endoscopic image as a means or method for determining the insertion direction. As a result, it is difficult to detect the insertion direction with high accuracy.
  • the technique described in the conventional example determines the insertion direction depending on the order of the extracted or detected feature quantities. For this reason, the conventional example has a drawback that it is difficult to detect the insertion direction with high accuracy because there is a possibility that the insertion direction detection processing may be performed for a feature quantity which is not main. [0004] Therefore, the present invention has been made in view of the above points, and can detect the insertion direction with high accuracy even in the case of a scene in which a plurality of feature amounts related to the endoscope insertion direction exist. It is an object of the present invention to provide an endoscope insertion direction detecting device and an endoscope insertion direction detecting method capable of performing the above.
  • the endoscope insertion direction detecting device of the present invention can detect the direction of the endoscope insertion direction in the body cavity with respect to the scene of the endoscope image of the moving image captured by the endoscope inserted into the body cavity.
  • Classification means for classifying into a plurality of feature quantity classes of different types related to detection, and provided for each of the feature quantity classes classified by the classification means, and calculating the insertion direction of the endoscope And an insertion direction calculating means.
  • the endoscope insertion direction detection method of the present invention is based on the endoscope insertion direction in the body cavity with respect to the scene of the endoscope image of the moving image captured by the endoscope inserted in the body cavity.
  • a classification step for classifying into a plurality of feature quantity classes having different types related to detection of the insertion, and an insertion for calculating the insertion direction of the endoscope corresponding to each of the feature quantity classes classified in the classification step comprising: a direction calculating step
  • FIG. 1 is an overall configuration diagram of an endoscope system including an insertion direction detecting device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of the insertion direction detecting device.
  • FIG. 3 is a view showing main functions of a CPU constituting the insertion direction detecting device.
  • FIG. 4 is a flowchart showing the processing contents of endoscope insertion direction detection.
  • FIG. 5 is a diagram showing an example in which a marker indicating the detected luminal dark area is displayed on the endoscopic image display screen.
  • FIG. 6 is a diagram showing an example in which an insertion direction force indicating the insertion direction is displayed on the endoscope image display screen by the detected eyelid.
  • FIG. 10 is a flowchart showing a processing procedure for calculating a feature amount.
  • FIG. 11 is a diagram showing an example of a subband image reduced by the discrete wavelet transform used when reducing the image of FIG.
  • FIG. 12 is a flowchart showing a processing procedure for calculating a feature amount in the first modification.
  • FIG. 13 is a flowchart showing a processing procedure for calculating a feature value in the second modified example.
  • FIG. 14 is a diagram showing an example of a subband image reduced by the discrete wavelet transform of FIG.
  • FIG. 15 is a flowchart showing the processing contents of endoscope insertion direction detection according to the second embodiment of the present invention.
  • FIG. 18 is a flowchart showing an outline of a processing procedure for detecting a dark area.
  • FIG. 19 is a flowchart showing details of the processing procedure of step S53 in FIG. 18.
  • FIG. 20 is an explanatory diagram for calculating the concentration gradient angle.
  • FIG. 21 is a flowchart showing the processing contents of the area detection of the luminal dark part according to the third embodiment of the present invention.
  • FIG. 22 is a diagram schematically showing an endoscopic image in which a dark part region and the like are mixed together with a luminal dark part region.
  • FIG. 23 is a diagram showing the concentration value along the cross section of the F—F ⁇ line in FIG.
  • FIG. 24 is a diagram showing small areas divided when the method of FIG. 21 is performed.
  • FIG. 25 is a diagram showing the direction of density gradient in the endoscopic image shown in FIG. 22 according to the method of FIG.
  • FIGS. 1 to 13 relate to the first embodiment of the present invention
  • FIG. 1 shows the overall configuration of an endoscope system including an insertion direction detection device
  • FIG. 2 shows the configuration of the insertion direction detection device
  • Fig. 3 shows the main functions of the CPU that constitutes the insertion direction detection device
  • Fig. 4 shows the processing contents of the insertion direction detection
  • Fig. 5 shows the luminal dark part detected on the display screen of the endoscopic image.
  • Fig. 6 shows an example of displaying a marker indicating a region
  • Fig. 6 shows an example of displaying an insertion direction marker indicating the insertion direction by a detected eye on the display screen of an endoscopic image
  • Fig. 7 shows an increase in scene feature amount.
  • FIG. 9 are explanatory diagrams of operations for calculating scene feature values
  • Fig. 10 is a process for calculating feature values.
  • Figure 11 shows the procedure
  • Figure 11 shows the discrete wavelet transform used to reduce the image in Figure 10.
  • FIG. 12 shows a processing procedure for calculating a feature value in the first modification
  • FIG. 13 shows a processing procedure for calculating a feature value in the second modification
  • FIG. An example of a subband image reduced by the discrete wavelet transform in Fig. 13 is shown.
  • an endoscope system 1 includes an endoscope apparatus 2 and a video of an endoscope image input from the endoscope apparatus 2.
  • An endoscope insertion direction detection device (hereinafter abbreviated as an insertion direction detection device) 3 that performs image processing for detecting the insertion direction with respect to a signal.
  • the endoscope apparatus 2 includes, for example, an endoscope 5 that is inserted into a large intestine 4 as a subject, a light source section 6 that supplies illumination light to the endoscope 5, and a control apparatus that includes a signal processing section 7. 8 and an observation monitor 9 for displaying a video signal output from the signal processing unit 7.
  • the video signal output from the signal processing unit 7 is input to the insertion direction detection device 3 that detects and displays the insertion direction.
  • the endoscope 5 includes an elongated insertion portion 11 inserted into the large intestine 4 and the like, an operation portion 12 provided at the rear end of the insertion portion 11, and a universal cable 13 extending from the operation portion 12. And have.
  • the connector 14 at the end of the universal cable 13 is detachably connected to the control device 8.
  • the light source unit 6 in the control device 8 includes a lamp 15 that generates illumination light.
  • the illumination light of the lamp 15 is incident on the incident end of the light guide 16 of the endoscope 5.
  • the illumination light incident on the incident end is transmitted to the light guide exit end of the distal end portion 17 of the insertion portion 11.
  • the illumination light transmitted from the light guide exit end is emitted to illuminate the inside of the large intestine 4 in which the insertion portion 11 is inserted.
  • the distal end portion 17 is provided with an observation window (imaging window) adjacent to the light guide emission end.
  • an objective lens 18 and, for example, a charge coupled device (abbreviated as CCD) 19 disposed at the image forming position are disposed.
  • CCD charge coupled device
  • a bendable bending portion 20 is provided at the rear end of the tip portion 17.
  • An operator such as an operator can bend the curved portion 20 in any direction, up and down, left and right, by rotating the bending knob 30 provided in the operation portion 12.
  • the CCD 19 is connected to a CCD drive circuit 21 constituting the signal processing unit 7 in the control device 8 via a signal line.
  • the CCD 19 When applied to the CCD drive signal power SCCD19 from the CCD drive circuit 21, the CCD 19 outputs a photoelectrically converted imaging signal.
  • This imaging signal is input to the signal processing circuit 22, and the signal processing circuit 22 generates, for example, a video signal of an analog RGB signal from the imaging signal.
  • This video signal is input to the observation monitor 9.
  • An endoscopic image formed on the imaging surface of the CCD 19 is displayed on the display surface of the observation monitor 9.
  • the insertion direction detection device 3 to which this video signal is input has a configuration as shown in FIG.
  • the insertion direction detection device 3 includes a computer 23 and a display device 24.
  • the analog RGB signal is converted into a digital RGB signal via an A / D converter 25 in the computer 23 and then input to an IZO control unit 26 that performs input / output control.
  • This control unit 26 is connected to a central processing unit (abbreviated as CPU) 27 that performs image processing for detecting the insertion direction, a storage device 28 that stores a main program 28a of the image processing of the CPU 27, and a display device 24.
  • the CPU 27 is used as a work area when performing image processing for detecting the insertion direction, and is connected to a main memory 29 that temporarily stores image information and the like.
  • the main program 28a is a series of processes associated with insertion direction detection in the present embodiment. It is a program that executes the logic.
  • the main program 28a makes a request for obtaining an image signal from the AZD converter 25 to the IZO control unit 26, a request for displaying an insertion direction detection processing result to the display device 24, and the like.
  • the CPU 27 has a processing function as shown in FIG.
  • the CPU 27 uses the scene feature amount calculation function 27a for calculating the scene feature amount of the endoscope image and the feature amount vector of the scene feature amount to detect the endoscope insertion direction in the body cavity.
  • Endoscope insertion direction in other words, the luminal structure in the body cavity
  • Discriminant analysis function that classifies into a plurality of different features (specifically, luminal dark part, hemorrhoids, etc. described later) (Classification function) 27b.
  • the CPU 27 has an insertion direction calculation (detection) function 27d for calculating an insertion direction corresponding to each of a plurality of classified classes of different feature amounts.
  • the classification function 27b includes a main class calculation function 27c that calculates a class of main feature quantities in a plurality of feature quantity classes in addition to the function of classifying. Including. The processing for actually calculating the insertion direction is performed only for the main feature class, thereby reducing the processing amount. If the processing amount is not reduced in this way, it will be described later (Fig. 14).
  • the CPU 27 of the insertion direction detecting device 3 acquires, for example, an R image in the RGB image of the endoscopic image as shown in step S1, and temporarily stores it in the main memory 29 or the storage device 28.
  • each scene may be a frame in an endoscopic image of a moving image, or may be a frame in a period of several frames.
  • the CPU 27 performs a discriminant analysis process of the calculated scene feature quantity.
  • the CPU 27 uses the calculated scene feature quantity as a feature quantity vector in the endoscope insertion direction (or lumen structure) with the luminal dark part, the eyelid, etc. using a statistical or non-statistical discriminator. Discriminant analysis is performed to classify (or classify) features into multiple closely related feature classes.
  • the CPU 27 calculates an index indicating the similarity of the teacher data ability prepared in advance as a reference in the class of the luminal dark part, hemorrhoid, and other feature amounts as shown in step S4. If there are multiple feature quantity classes, the major feature quantity classes are calculated.
  • the CPU 27 performs the following branch process according to the main feature class calculated in step S4.
  • the CPU 27 performs a process of detecting the luminal dark part region on the R image as shown in step S5a.
  • the process of detecting the luminal dark area is performed by detecting an area of a predetermined size or more with a threshold for dark area detection.
  • the luminal dark area is detected using the information used in the process of step S2 or S3.
  • the dark area detection method disclosed in Japanese Patent Publication No. 2710384 may be adopted.
  • the CPU 27 displays the luminal dark part marker Ma in the endoscope image as shown in FIG. 5 in the detected luminal dark part region.
  • an insertion direction marker Ma ⁇ may be displayed from the center of the endoscopic image toward the dark lumen.
  • step S4 the CPU 27 performs ⁇ detection processing from the R image as shown in step S5b, and then step As shown in S6b, a process of calculating the barycentric position of the heel is performed.
  • the process of detecting wrinkles and calculating the position of the center of gravity can be performed using the information used in the process of step S2 or S3.
  • the center of gravity position of the heel may be calculated based on the heel detection and heel center position detection method disclosed in Japanese Patent Publication No. 2680111.
  • step S7 the CPU 27 obtains the center of the lumen including the eyelid and displays the insertion direction marker Mb as shown in FIG.
  • the CPU 27 Force also detects the concentration gradient.
  • This concentration gradient detection process employs, for example, the concentration gradient detection method disclosed in Japanese Patent Laid-Open No. 2003-093328. Then, the CPU 27 obtains the density gradient of the endoscopic image based on this density gradient detection method. Then, an insertion direction marker as shown in FIG. 6 is displayed in the direction of the detected concentration gradient.
  • step S8 By performing the branching process for displaying the insertion direction marker and the like in this way, the branching process end in step S8 is performed. Then, the process returns to the first step S1, and the same process is repeated for the next scene.
  • the CPU 27 calculates the scene feature amount in each scene of the endoscopic image of the moving image, and further performs a discriminant analysis of the scene feature amount to Classify into luminal dark part, hemorrhoids, and other feature quantities that are closely related to the mirror insertion direction (in other words, the lumen structure), and detect the insertion direction based on the information on the main feature class. Then, processing for displaying information such as a marker in the insertion direction is performed.
  • the surgeon performs a bending operation according to the information on the insertion direction, so that the distal end side of the insertion portion 11 can be easily introduced into the dark portion of the lumen, and the insertion operation can be performed smoothly.
  • the method according to the present embodiment improves the disadvantage that the conventional example detects the insertion direction depending on the order of the feature quantities extracted or detected, and improves the accuracy of the insertion direction. Perform detection. Also, in this embodiment, when classified into a plurality of feature quantity classes, only in the case of a main feature quantity class that does not perform insertion direction detection corresponding to the classified feature quantities. CPU27 controls to reduce processing as is doing.
  • the CPU 27 calculates the insertion direction corresponding to the main feature amount and displays the calculated insertion direction so that the processing amount can be reduced.
  • an autocorrelation coefficient more specifically, a higher-order local autocorrelation coefficient is calculated to calculate a scene feature amount.
  • a higher-order local autocorrelation coefficient for example, O Plus E, Non-Patent Document 1, October 2003 ppl l30-1136 “Pattern recognition for scene understanding” Hase, Satoshi 11 explains.
  • the method for calculating the scene feature value is a method for obtaining the scene feature value of the texture in the image to be the scene.
  • FIG. 7 shows high-order local autocorrelation features as a two-dimensional reference pattern used in the calculation of scene feature values in the present embodiment.
  • the arrangement of the pixel portion indicated by “1” in the figure is characteristic.
  • the CPU 27 sets a local region of 3 ⁇ 3 for the R image, and adds the pixel values of the portions indicated by “1” in No. 1 to No. 25 in FIG.
  • the scene feature is calculated by performing processing corresponding to the calculation of the autocorrelation coefficient while shifting the 3 ⁇ 3 local area on the R image one pixel at a time.
  • FIGS. Figure 8 shows the first 3 X 3 local region set in the upper left corner of an image of a scene.
  • the pixel values a22 and a23 And a23 shown with the same sign as the pixel for simplicity). That is, the CPU 27 calculates the calorie calculation value a22 + a23.
  • the CPU 27 moves the 3 X 3 local area to the left by one pixel in parallel to set the 3 X 3 local area shown in Fig. 9, and sets the pixel value a23 + a24 in this case. Add to the added value obtained in Fig. 8.
  • the scene feature amount for the No. 2 feature is calculated. Force explained in case of No. 2 Other No Do the same for. In this way, 25 scene feature quantities can be calculated.
  • the scene feature quantity calculation process is performed by performing the image reduction process and calculating the scene feature quantity as shown in FIG. To speed up.
  • Fig. 10 shows the calculation of the scene feature value and the process of classifying the calculated scene feature value as a feature value vector.
  • the CPU 27 when the calculation of the scene feature amount starts, the CPU 27 performs a process of reducing the image as shown in step S11.
  • the CPU 27 cuts out the imaging region of the R image in the endoscopic image with a size of 512 ⁇ 512, and reduces the cut-out image to a size of 32 ⁇ 32, for example.
  • Figure 11 shows the decomposition level 2 transform coefficient group (subband image) in the discrete wavelet transform.
  • the subband images generated by the discrete wavelet transform are shown as HH1, LH1, HL1, HH2, LH2, HL2, and LL2.
  • HH1 represents an image component obtained by applying a high-pass filter in both the horizontal and vertical directions.
  • X of HHx indicates the decomposition level for the original image.
  • LH, HL, and LL are image components obtained by applying a low-pass filter in the horizontal direction and a high-pass filter in the vertical direction, a high-pass filter in the horizontal direction, and a low-pass filter in the vertical direction. The image component to which the filter is applied, the image component to which the low-pass filter is applied in the horizontal direction, and the low-pass filter in the vertical direction are shown.
  • LL2, HL2, LH2, and LL2 are derived by decomposing LL1 into subbands.
  • decomposition level 1 the image before decomposition is decomposed into four conversion coefficients HH1, LH1, HL1, and LL1 that reduce the size of the original image in the horizontal and vertical directions by half. (See Figure 14).
  • a 32 ⁇ 32 reduced image is generated by generating subband images by discrete wavelet transform up to decomposition level 4. And what is shown in step 312? 1; 27 calculates the higher-order local autocorrelation coefficient described above.
  • step S13 the sequence of 25 calculated scene feature values is regarded as a feature vector, and as shown in step S13, the CPU 27 determines whether to classify into the luminal dark part, the eyelid, and other feature value classes. Processing will be performed.
  • the CPU 27 when performing the classification determination process, refers to teacher data such as, for example, a pre-lumen dark part, a wrinkle, and a feature vector distribution region in other cases in the storage device 28.
  • the CPU 27 performs class calculation. Then, as described with reference to FIG. 4, the CPU 27 performs processing for detecting the insertion direction for the main feature class, and displays the detected insertion direction.
  • the scene feature amount is calculated using the autocorrelation coefficient.
  • a feature quantity closely related to the endoscope insertion direction (or lumen structure) can be calculated with high accuracy from the scene.
  • each scene feature amount is extracted, and the feature amounts such as a lumen dark part and a wrinkle are extracted.
  • the insertion direction is calculated and displayed using a processing algorithm corresponding to the main feature class.
  • the insertion direction is appropriately calculated not only in the case of a structure including only one feature quantity in the lumen dark part, the fold, etc., but also in the case where there are a plurality of structures. Therefore, the operator can smoothly perform the insertion work and the endoscopy.
  • FIG. 10 the image is reduced and the high-order local autocorrelation coefficient is calculated for the reduced image.
  • the first modification is a simplified processing method of the CPU 27, that is, the CPU 27 Calculates the average value of the pixels in the small area as the scene feature.
  • the CPU 27 determines the resolution of the endoscopic image in order to calculate the scene feature amount. The average value of the pixels in the small area, which can be said to be the conversion, is calculated.
  • FIG. 12 is a flowchart showing calculation of scene feature amounts according to the first modification.
  • the CPU 27 divides the captured R image into, for example, 8 ⁇ 8 small areas in step S31, and calculates the average value of the pixel values in the small area.
  • a reduced image is generated by setting the value.
  • the CPU 27 regards the small region pixel value in the reduced image as a constituent element of the scene feature amount, scans the small region pixel value, and uses the numerical sequence as a feature amount vector.
  • the scene feature amount to be calculated is calculated.
  • the CPU 27 performs discriminant analysis using this feature vector.
  • step S41 horizontal (HL1), vertical for each resolution image as shown in Figure 14
  • a subband image of each of the spectrum in the three directions (LH1) and diagonal (HH1) and the low frequency component (LL1) is obtained.
  • the CPU 27 calculates a histogram for the subband image. Then, in the next step S43, the CPU 27 performs class division (classification) by comparing the histograms.
  • class division classification
  • the subband image in the case of decomposition level 1 will be described, but it may be performed in the subband image of decomposition level 2 or the like.
  • Q is the i-th frequency value of the histogram to be compared (detected), and h is the i-th frequency value of the histogram of the teacher image.
  • a histogram of the teacher image corresponding to the feature quantity is prepared for each classified feature quantity class, and by obtaining the% 2 distribution of each, the feature quantity to which the teacher image with a smaller value belongs is obtained. Can be classified into classes. It is also possible to calculate the class of the main feature quantity to which the teacher image with the smallest% 2 distribution value belongs.
  • the present modification it is possible to calculate a feature amount such as a luminal dark portion related to the endoscope insertion direction (or luminal structure) using the histogram. Then, the main feature amount is calculated, and the insertion direction can be detected with high accuracy with respect to the main feature amount.
  • the correlation coefficient ( 2 q. 'H— ⁇ q. ⁇ ⁇ h.) / (( ⁇ q 2 - ⁇ q. ⁇ ⁇ q.) ⁇ ( ⁇ h 2 - ⁇ h - ⁇ h)) 1/2 , or the difference ⁇ min (q., h.) may be used as a comparison value! / ⁇
  • the endoscope insertion direction (or lumen structure) ) Can be calculated, and the insertion direction can be detected with high accuracy.
  • the feature quantities are classified, and the main classes are calculated during the classification.
  • the process for calculating the main class is not performed, and the branch process according to the result of the classification is performed.
  • FIG. 15 shows an endoscope insertion direction detection method according to the present embodiment.
  • step S4 ′ branches to processing according to the classification. Therefore, in the present embodiment, when a structure corresponding to a plurality of feature amounts exists in the scene, a plurality of insertion directions are detected according to the plurality of feature amounts, and the result Is displayed. In this case, if all of the plurality of insertion directions match, the accuracy of the insertion direction is high. On the other hand, when a plurality of insertion directions are different, the detection accuracy of the insertion direction is lower than when all the detection directions are coincident. In this case, the surgeon determines the insertion direction based on the display contents.
  • the detection result of the insertion direction is affected by the order of detection (extraction) of feature amounts in the conventional example.
  • information on the value of the index indicating the similarity to the teacher data prepared in advance is reflected in the display of the insertion direction. You may do it. For example, the size of the arrow indicating the insertion direction is changed according to the magnitude of the index value, and the operator is notified that the insertion direction displayed by the largest arrow is the most accurately detected insertion direction. You may make it do.
  • the lumen (for detection of the insertion direction) when the feature amount class of the lumen dark part is detected by the feature amount classification in this embodiment.
  • a detection method for accurately detecting the dark area will be described below.
  • the area detection of the luminal dark part in the present embodiment is an improvement of the content described in Japanese Patent Publication No. 2710384. The improvement in this case is briefly explained as follows.
  • the method described in the above publication is a pixel indicated by a solid line (resolution of a rectangle in the original image) at a resolution A detected as a region of a dark lumen.
  • the difference or ratio between the pixel value of (region) (the average value of the pixels included in the small region) and the pixel value of the adjacent pixel (small region indicated by the dotted line of resolution A) is within a predetermined threshold Merge the subregions.
  • this method uses a multi-resolution image of a quadtree structure that is divided into four, and merges adjacent small regions in the image of the immediately lower hierarchy to obtain a region of the luminal dark part. Find the outline of.
  • the pixel values of resolution A and resolution B use the average value of the pixel values of the original image included in the small area when the pixel is regarded as the small area.
  • the merge process is appropriately performed without performing the erroneous extraction (mismerge) as shown in FIG.
  • the CPU 27 of the present embodiment performs the processes as shown in FIGS.
  • step S51 in FIG. 18 the CPU 27 generates a plurality of images having different numbers of captured R image power pixels.
  • the CPU 27 inspects the lightness of each pixel in the image in the order of the image power with the smallest number of pixels in the plurality of images generated in the previous step S51. The dark area corresponding to the luminal dark area in several images is extracted.
  • next step S53 the CPU 27 detects the proximity of the dark area obtained in the previous step S52.
  • a merge process is performed for merging the adjacent area within the desired brightness range with the dark area obtained in the previous step S52. In this way, the CPU 27 detects the dark part region corresponding to the luminal dark part by performing the processing from step S51 to step S53.
  • FIG. 19 shows details of step S53 in the present embodiment.
  • the CPU 27 calculates the gray level (average value of R) of the extracted dark area.
  • the gray level average value of R
  • FIG. 16 an average value of R in the dark area (shown in the previous step S52) indicated by a solid line in an image of a certain resolution A is obtained as a gray level. .
  • the CPU 27 determines the gray level (that is, the average value of R) and the density gradient angle in an area close to the dark area (for example, an area surrounded by a dotted line at resolution A in FIG. 16). And the coefficient of variation (CV, standard deviation divided by average value).
  • the density gradient angle is calculated based on the gradient or difference information of the gray value of the third pixel from the pixel all in the 3 ⁇ 3 small region of interest, and the darkness in the X direction and the Y direction. It is calculated by the tangent of dancho S.
  • next step S 62 the CPU 27 checks whether or not the difference or ratio between the gray level of the area close to the gray level in the extracted area is within a predetermined range. If it is within the predetermined range, the process proceeds to the next step S63. On the other hand, if it falls within the predetermined range, the process proceeds to step S66.
  • step S63 CPU 27 checks whether or not the variation coefficient of the adjacent region is within a predetermined range. Then, the CPU 27 proceeds to the next step S64 if the variation coefficient of the adjacent region is within the predetermined range. On the other hand, if the variation coefficient of the adjacent area is not within the predetermined range, the CPU 27 proceeds to the process of step S66.
  • step S64 the CPU 27 checks whether or not the force in which the dispersion of the concentration gradient angle in the adjacent region is within a predetermined range. Then, the CPU 27 proceeds to the next step S65 if the dispersion of the concentration gradient angle in the adjacent region is within a predetermined range. On the other hand, CPU27 is close If the dispersion of the concentration gradient angle of the region to be entered falls within the predetermined range! /, If so, the process proceeds to step S66.
  • step S62 to step S64 If the conditions from step S62 to step S64 are satisfied, the CPU 27 merges the adjacent peripheral area with the already obtained dark area, and proceeds to step S61. Go back.
  • step S66 the CPU 27 determines whether or not a higher accuracy inspection is necessary. Judge. If the current resolution setting value is the same as the predetermined end resolution setting value, the CPU 27 ends this processing. Otherwise, the CPU 27 performs the same processing on the next tree level (resolution) image. For example, if the resolution is shown in FIG. 16, the CPU 27 performs the same determination process for the resolution B shown below. Then, the CPU 27 returns to step S61.
  • such a process is recursively performed on the dark area corresponding to the initial luminal dark area to widen the luminal dark area, and thereby the luminal dark area. Increase the accuracy of the outline (outline) of the area.
  • the comparison is performed in consideration of the variation in the pixel value of the adjacent region in addition to the pixel average value of the adjacent region, thereby making it almost uniform.
  • the region having the pixel value distribution is merged, so that the detection accuracy of the luminal dark region can be improved.
  • the regions having smooth gradients are merged by comparing the dispersion of the concentration gradient angles of the adjacent regions.
  • the detection accuracy of the luminal dark part region can be improved.
  • the form provides a method for detecting a luminal dark part with high accuracy.
  • the method for detecting the luminal dark part in the present embodiment is shown in the flowchart of FIG. 21, and this method is an improvement of the method disclosed in, for example, Japanese Patent Laid-Open No. 2003-93328.
  • the method disclosed in the conventional example of Japanese Patent Laid-Open No. 2003-93328 has a dark region D in addition to the luminal dark region C as in an endoscopic image as shown in FIG. In this case, it was difficult to accurately detect the area C of the luminal dark part to be detected.
  • the region C of the luminal dark part there are a light region and a dark region E due to bowel bowing and wrinkles.
  • FIG. 23 shows the density values on the line segments F and F ′ connecting the luminal dark region C and the dark region D in FIG.
  • the determined threshold is T
  • the area surrounded by E in Fig. 22 cannot be extracted.
  • the determined threshold value is T ′
  • a part of the dark area D is also extracted.
  • the luminal dark part region C is extracted by the detection method shown in the flowchart of FIG.
  • This detection method is a method of extracting only the luminal dark region C in FIG.
  • the CPU 27 divides the endoscopic image into small areas.
  • the CPU 27 divides the endoscopic image into small areas.
  • the CPU 27 obtains an average value bxy> of the pixel values of the respective small regions bxy.
  • an average value of R is obtained from the RGB color signals corresponding to the endoscopic image.
  • the CPU 27 approaches each small region bxy. Compare the average value of the pixel values in the direction (3 directions at the four corners and 5 directions in the small area along the outer circumference) with the average value of the pixel values of the target small area bxy bxy> (or the difference value Calculate the concentration gradient direction. If the average value of the pixel values of the small area bxy, bxy>, is the lowest value in the adjacent small areas to be compared, the density gradient direction is set to zero.
  • the concentration gradient direction is the direction in which the small region bll force small region b21 is counteracted. In this way, information on the distribution (array) in the concentration gradient direction as shown in FIG. 25 is obtained.
  • the concentration gradient direction is set to 0 as described above.
  • the concentration gradient direction 0.
  • step S75 the CPU 27 determines whether or not the small area in which the density gradient is not generated is extracted in the process of step S74, and if such a small area is not extracted, If this process ends and the process is extracted, the process proceeds to step S76.
  • step S76 determines that the determination result in step S76 is N, and returns to step S74.
  • the concentration gradients of all adjacent small areas are concentrated in the small area b42.
  • the CPU 27 treats the small region as a region dark region candidate. Mark as complement.
  • step S78 the CPU 27 determines whether it is the last small area in the small area having no density gradient. If not, the process returns to step S74 and goes to the last small area. If so, go to Step S79.
  • step S79 the CPU 27 determines a final luminal dark area from the luminal dark area candidates marked by the above processing.
  • a plurality of luminal dark area candidates may be marked.
  • the CPU 27 determines the luminal dark part region candidate having the lowest pixel average value among the plurality of luminal dark part region candidates as the luminal dark part region.
  • the force for making a rectangular small region obtained by dividing the image into 4 ⁇ 4 for example, non-rectangular region based on Voronoi diagram, multi-resolution image region integration as disclosed in Japanese Patent Publication No. 2710384, etc. Even if processing is performed using the resulting region, an effect corresponding to the object of the present embodiment can be obtained.
  • the image is divided into small areas, the density gradients of the small areas adjacent to each of the divided small areas are examined, and the small concentrations are concentrated so that all the density gradients are directed to one.
  • the region By setting the region as a luminal dark region candidate, it is possible to accurately detect the luminal dark region regardless of the threshold value. Therefore, according to the present embodiment, the accuracy of detecting the insertion direction of the endoscope is improved.
  • step S76 in FIG. 21 when it is determined whether or not the condition that the total concentration gradient is concentrated in one small area is satisfied, one corresponding small area exists. If not, it may be possible to display a small area where the concentration gradient is most concentrated as a possibility of a dark lumen candidate.
  • a scene feature amount in a scene of an endoscopic image captured by an endoscope inserted into a body cavity is calculated, and a luminal dark part related to the endoscope insertion direction is calculated.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

　内視鏡画像におけるＲ画像のシーンからシーン特徴量を算出し、シーン特徴量を特徴量ベクトルとして統計的又は非統計的識別器を用いて判別分析を行い、内視鏡挿入方向に密接に関係する管腔暗部、襞等の複数の特徴量のクラスに分類する。さらに、主要な特徴量のクラスを算出して、その特徴量に対応した挿入方向算出を行い、精度の良い挿入方向マーカ等を表示することで、複数の特徴量が存在するようなシーンの場合にも精度の高い挿入方向の検出ができる内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法を実現する。

Description

明 細 書
内視鏡揷入方向検出装置、及び内視鏡揷入方向検出方法
技術分野
[0001] 本発明は、内視鏡の挿入方向を検出する内視鏡挿入方向検出装置、及び内視鏡 挿入方向検出方法に関する。
背景技術
[0002] 近年、内視鏡は医療分野において広く用いられるようになった。内視鏡の挿入部を 体腔内に挿入して内視鏡検査を行う場合、大腸のように複雑に屈曲した部位に円滑 に挿入するためには、熟練を要する場合がある。
このため、経験の浅い術者の場合においても、挿入部を簡単に挿入できると、内視 鏡検査の時間の短縮が可能となり、そのメリットは大きい。
例えば、第 1の従来例としての特開 2004— 167010号公報は、内視鏡画像により 、内視鏡挿入方向の検出に関係、或いは管腔構造に関係するハレーション等、所定 の濃度値の画素を抽出する画素抽出手段等を備えた内視鏡挿入方向検出装置を 開示している。そして、この第 1の従来例は、抽出結果により、内視鏡の挿入方向を 決定する。
[0003] また、第 2の従来例としての特開 2003— 93328号公報は、内視鏡画像における明 暗方向を検出することにより、内視鏡の挿入部を挿入する方向を決定する内視鏡挿 入方向検出装置、及び内視鏡挿入方向検出方法を開示している。
し力しながら、従来例に記載される技術は、挿入方向を決定する手段若しくは方法 として、内視鏡画像のシーンにおける挿入方向（管腔構造）に関係する特徴量を総 合的に判断していないため、精度の高い挿入方向を検出することが困難になる欠点 かあつた。
例えば、複数の異なる特徴量に対応したシーンがあると、従来例に記載される技術 では、抽出若しくは検出された特徴量の順序に依存して挿入方向を決定する。この ため、従来例は、主要でない特徴量に対して挿入方向の検出処理を行う可能性があ り、精度の高い挿入方向を検出することが困難になる欠点があった。 [0004] そこで、本発明は、上述した点に鑑みてなされたもので、内視鏡挿入方向に関係す る複数の特徴量が存在するようなシーンの場合にも精度の高い挿入方向の検出がで きる内視鏡挿入方向検出装置及び内視鏡挿入方向検出方法を提供することを目的 とする。
発明の開示
課題を解決するための手段
[0005] 本発明の内視鏡挿入方向検出装置は、体腔内に挿入される内視鏡により撮像され た動画の内視鏡画像のシーンに対して、前記体腔内における内視鏡挿入方向の検 出に関係する種類が異なる複数の特徴量のクラスに分類する分類手段と、前記分類 手段により分類された特徴量のクラスそれぞれに対応して設けられ、前記内視鏡の 挿入方向を算出する挿入方向算出手段と、を具備したことを特徴とする。
また、本発明の内視鏡挿入方向検出方法は、体腔内に挿入される内視鏡により撮 像された動画の内視鏡画像のシーンに対して、前記体腔内における内視鏡挿入方 向の検出に関係する種類が異なる複数の特徴量のクラスに分類する分類ステップと 、前記分類ステップにより分類された特徴量のクラスそれぞれに対応して、前記内視 鏡の挿入方向を算出可能する挿入方向算出ステップと、を具備したことを特徴とする 図面の簡単な説明
[0006] [図 1]本発明の第 1の実施の形態に係る、挿入方向検出装置を備えた内視鏡システ ムの全体構成図。
[図 2]同、挿入方向検出装置の構成を示すブロック図。
[図 3]同、挿入方向検出装置を構成する CPUの主要な機能を示す図。
[図 4]同、内視鏡挿入方向検出の処理内容を示すフローチャート図。
[図 5]同、内視鏡画像の表示画面に検出された管腔暗部の領域を示すマーカを表示 した例を示す図。
[図 6]同、内視鏡画像の表示画面に検出された襞により挿入方向を示す挿入方向マ 一力を表示した例を示す図。
[図 7]同、シーン特徴量を高次局所自己相関係数の算出に用いられる基準となる 2次 元のパターンを示す図。
圆 8]同、シーン特徴量を算出する演算の説明をするための第 1の図。
圆 9]同、シーン特徴量を算出する演算の説明をするための第 2の図。
圆 10]同、特徴量を算出する処理手順を示すフローチャート図。
[図 11]同、図 10の画像を縮小する際に用いられる離散ウェーブレット変換による縮小 されたサブバンド画像例を示す図。
圆 12]同、第 1変形例における特徴量を算出する処理手順を示すフローチャート図。 圆 13]同、第 2変形例における特徴量を算出する処理手順を示すフローチャート図。
[図 14]同、図 13の離散ウェーブレット変換による縮小されたサブバンド画像例を示す 図。
[図 15]本発明の第 2の実施の形態に係る、内視鏡挿入方向検出の処理内容を示す フローチャート図。
圆 16]同、ある解像度の画像カゝらその周辺の画像の併合を行う場合等の説明をする ための第 1の図。
圆 17]同、ある解像度の画像カゝらその周辺の画像の併合を行う場合等の説明をする ための第 2の図。
[図 18]同、暗部領域を検出する処理手順の概略を示すフローチャート図。
[図 19]同、図 18におけるステップ S53の処理手順の詳細を示すフローチャート図。
[図 20]同、濃度勾配角の算出の説明図。
圆 21]本発明の第 3の実施の形態に係る、管腔暗部の領域検出の処理内容を示す フローチャート図。
[図 22]同、管腔暗部の領域と共に、暗部領域等が混在している内視鏡画像を模式的 に示す図。
[図 23]同、図 22における F—F^ 線の断面に沿った濃度値を示す図。
圆 24]同、図 21の方法を行う際に分割された小領域を示す図。
[図 25]同、図 22に示した内視鏡画像中に、図 21の方法に従って濃度勾配方向を示 した図。
発明を実施するための最良の形態 [0007] 以下、図面を参照して本発明の実施の形態を説明する。
(第 1の実施の形態）
図 1から図 13は、本発明の第 1の実施の形態に係り、図 1は挿入方向検出装置を 備えた内視鏡システムの全体構成を示し、図 2は挿入方向検出装置の構成を示し、 図 3は挿入方向検出装置を構成する CPUの主要な機能を示し、図 4は挿入方向検 出の処理内容を示し、図 5は内視鏡画像の表示画面に検出された管腔暗部の領域 を示すマーカを表示した例を示し、図 6は、内視鏡画像の表示画面に検出された襞 により挿入方向を示す挿入方向マーカを表示した例を示し、図 7はシーン特徴量を 高次局所自己相関係数の算出に用いられる基準となる 2次元のパターンを示し、図 8 、及び図 9はシーン特徴量を算出する演算の説明図を示し、図 10は特徴量を算出 する処理手順を示し、図 11は図 10の画像を縮小する際に用いられる離散ウェーブレ ット変換による縮小されたサブバンド画像例を示し、図 12は第 1変形例における特徴 量を算出する処理手順を示し、図 13は第 2変形例における特徴量を算出する処理 手順を示し、図 14は図 13の離散ウェーブレット変換による縮小されたサブバンド画 像例を示す。
[0008] 図 1に示すように、本発明の第 1の実施の形態の内視鏡システム 1は、内視鏡装置 2 と、この内視鏡装置 2から入力される内視鏡画像の映像信号に対して、挿入方向を 検出する画像処理を行う内視鏡挿入方向検出装置 (以下、挿入方向検出装置と略 記） 3と、から構成される。
内視鏡装置 2は、被検体としての例えば、大腸 4に挿入される内視鏡 5と、この内視 鏡 5に照明光を供給する光源部 6、及び信号処理部 7を備えた制御装置 8と、信号処 理部 7から出力される映像信号を表示する観察用モニタ 9と、から構成される。
この信号処理部 7から出力される映像信号は、挿入方向を検出及び表示する挿入 方向検出装置 3に入力される。
[0009] 内視鏡 5は、大腸 4等に挿入される細長の挿入部 11と、この挿入部 11の後端に設 けられた操作部 12と、操作部 12から延出されるユニバーサルケーブル 13と、を有し ている。このユニバーサルケーブル 13の末端のコネクタ 14は、制御装置 8に着脱自 在に接続される。 制御装置 8内の光源部 6は、照明光を発生するランプ 15を有し、このランプ 15の照 明光は内視鏡 5のライトガイド 16の入射端に入射される。この入射端に入射された照 明光は、挿入部 11の先端部 17のライトガイド出射端に伝送される。そして、このライト ガイド出射端カゝら伝送された照明光が出射され、挿入部 11が挿入された大腸 4内部 を照明する。
[0010] 先端部 17には、ライトガイド出射端に隣接して観察窓 (撮像窓）が設けられている。
この観察窓には、対物レンズ 18と、その結像位置に配置された例えば電荷結合素子 (CCDと略記） 19とが配置されている。
なお、先端部 17の後端には、湾曲自在の湾曲部 20が設けられている。術者等の 操作者は、操作部 12に設けられた湾曲ノブ 30を回動等する操作を行うことにより、湾 曲部 20を上下、左右の任意の方向に湾曲することができる。
上記 CCD19は、制御装置 8内の信号処理部 7を構成する CCDドライブ回路 21と 信号線を介して接続されている。この CCDドライブ回路 21からの CCDドライブ信号 力 SCCD19に印加されることにより、 CCD19は、光電変換した撮像信号を出力する。 この撮像信号は、信号処理回路 22に入力され、この信号処理回路 22は撮像信号 から、例えばアナログ RGB信号の映像信号を生成する。
[0011] この映像信号は、観察用モニタ 9に入力される。この観察用モニタ 9の表示面には、 CCD19の撮像面に結像された内視鏡画像が表示される。また、この映像信号が入 力される挿入方向検出装置 3は、図 2に示すような構成である。
この挿入方向検出装置 3は、コンピュータ 23と、表示装置 24とから構成される。ァ ナログ RGB信号は、コンピュータ 23内の A/D変換器 25を介してデジタルの RGB 信号に変換された後、入出力制御を行う IZO制御部 26に入力される。
この ΙΖΟ制御部 26は、挿入方向検出の画像処理を行う中央処理装置 (CPUと略 記） 27と、 CPU27の画像処理のメインプログラム 28aを記憶した記憶装置 28と、表 示装置 24とに接続されている。また、 CPU27は、挿入方向検出の画像処理を行う際 のワークエリアとして使用され、画像情報等を一時記憶するメインメモリ 29と接続され ている。
[0012] メインプログラム 28aは、本実施の形態における挿入方向検出にともなう一連の処 理を実行するプログラムである。このメインプログラム 28aは、 IZO制御部 26に対す る AZD変換器 25からの画像信号の取得要求、表示装置 24への挿入方向検出処 理結果表示要求等を行うようになって!/、る。
本実施の形態においては、 CPU27は、図 3に示すような処理機能を有する。つまり 、 CPU27は、内視鏡画像のシーン力もシーン特徴量を算出するシーン特徴量算出 機能 27aと、シーン特徴量の特徴量ベクトルに基づき、内視鏡挿入方向を検出する ために体腔内における内視鏡挿入方向 (換言すると体腔内の管腔構造）〖こ密接に関 係する複数の異なる特徴量 (具体的には後述する管腔暗部、襞、その他)のクラスに 分類する判別分析機能 (クラス分け機能) 27bと、を有する。
[0013] また、この CPU27は、分類された複数の異なる特徴量のクラスそれぞれに対応し て挿入方向を算出する挿入方向算出 (検出)機能 27dを有している。
従って、本実施の形態では、内視鏡画像における内視鏡挿入方向を検出する場合 に用いられる内視鏡画像の各シーンにおいて、複数の異なる特徴量、或いはこれら の特徴量に対応した構造が存在するような場合にも、クラス分けにより複数の特徴量 に分類し、かつ分類された各特徴量に対応した挿入方向の算出を行う。このこと〖こよ り、本実施の形態では、適切に挿入方向の算出を行うことができるようにしている。 なお、本実施の形態において、図 3に示すようにクラス分け機能 27bは、クラス分け する機能の他に、複数の特徴量のクラスにおける主要な特徴量のクラスを算出する 主要クラス算出機能 27cを含む。そして、実際に挿入方向の算出を行う処理は、主要 な特徴量のクラスに対してのみ行う構成にして、処理量を削減している。このように処 理量を削減しな 、場合にっ 、ては後述（図 14)する。
[0014] 次に本実施の形態の（内視鏡)挿入方向検出方法による作用を図 4のフローチヤ一 トを参照して説明する。
挿入方向検出装置 3の CPU27は、ステップ S1に示すように内視鏡画像の RGB画 像における、例えば、 R画像を取得し、メインメモリ 29、或いは記憶装置 28に一時格 納する。
そして、次のステップ S2において、 CPU27は、取り込んだ R画像のシーンに対して 、管腔暗部、襞等を含むシーン特徴量の算出処理を行う。このシーン特徴量の算出 については、後述する。また、各シーンは、動画の内視鏡画像における各フレームの 場合でも良 、し、数フレーム周期における 1フレームの場合でも良 、。
次のステップ S3において、 CPU27は、算出したシーン特徴量の判別分析の処理 を行う。
[0015] 判別分析の処理は、例えば、特開 2002— 165757号公報にて開示されているもの を採用することができる。
CPU27は、算出されたシーン特徴量を特徴量ベクトルとして、統計的、若しくは非 統計的識別器を用いて管腔暗部、襞、その他との、内視鏡挿入方向（或いは管腔構 造）に密接に関係する複数の特徴量のクラスにクラス分け (或いはクラス分類)する判 別分析を行う。
また、 CPU27は、このクラス分けした後、ステップ S4に示すように、管腔暗部、襞、 その他の各特徴量のクラスにおける基準として予め用意された教師データ力もの類 似度を示す指標も算出し、複数の特徴量のクラスが存在する場合、主要な特徴量の クラスを算出する。
そして、 CPU27は、ステップ S4で算出された主要な特徴量のクラスに応じて、次の 分岐処理を行う。
[0016] 主要なクラスとして、管腔暗部が算出された場合には、ステップ S5aに示すように C PU27は、 R画像に対して管腔暗部領域の検出の処理を行う。管腔暗部領域の検出 の処理は、暗部検出用の閾値で、所定サイズ以上の領域を検出することにより行う。 または、ステップ S2、或いは S3の処理に用いた情報を用いて管腔暗部領域の検出 を行う。或いは、例えば、特公 2710384号公報の暗部領域検出手法を採用して行う ようにしても良い。
この管腔暗部領域の検出の後、ステップ S6aに示すように CPU27は、検出された 管腔暗部領域に図 5に示すように管腔暗部マーカ Maを内視鏡画像に表示する。或 いは図 5における点線で示すように内視鏡画像の中心から管腔暗部方向に向く挿入 方向マーカ Ma^ を表示しても良い。
一方、ステップ S4において、主要なクラスとして、襞が算出された場合には、ステツ プ S5bに示すように CPU27は、 R画像から襞の検出の処理を行い、その後ステップ S6bに示すように、襞の重心位置を算出する処理を行う。
[0017] 襞の検出及び重心位置の算出の処理は、ステップ S2、或いは S3の処理に用いた 情報を用いて行うことができる。或いは、特公 2680111号公報の襞検出及び襞の重 心位置検出手法に基づいて襞の重心位置を算出しても良い。
そして、ステップ S7に示すように CPU27は、襞を含んだ管腔の中心を求めて、図 6 に示すように挿入方向マーカ Mbを表示する。
一方、ステップ S4において主要なクラスとして、その他のクラスに分類された場合（ つまり、管腔暗部や襞が十分に算出できないシーンの場合）には、ステップ S5cに示 すように CPU27は、 R画像力も濃度勾配の検出を行う。この濃度勾配の検出の処理 は、例えば特開 2003— 093328号公報の濃度勾配検出手法を採用する。そして C PU27は、この濃度勾配検出手法に基づいて内視鏡画像の濃度勾配を求める。そし て、検出された濃度勾配の方向に、図 6に示すような挿入方向マーカを表示する。
[0018] このようにして、挿入方向マーカ等の表示を行う分岐処理を行うことにより、ステップ S8の分岐処理エンドとなる。そして、最初のステップ S1に戻り、次のシーンに対して 同様の処理を繰り返す。
本実施の形態では、図 4に示したように、 CPU27は、動画の内視鏡画像の各シー ンにおける、そのシーン特徴量を算出し、さらにシーン特徴量の判別分析を行って、 内視鏡挿入方向 (換言すると管腔構造)に密接に関係する特徴量としての管腔暗部 、襞、その他の特徴量にクラス分けし、主要な特徴量のクラスの情報に基づいて挿入 方向を検出し、挿入方向のマーカ等の情報を表示する処理を行う。
従って、術者は、挿入方向の情報に従って、湾曲操作を行うことにより、挿入部 11 の先端側を管腔暗部に導入することが容易となり、挿入作業を円滑に行うことが可能 となる。
[0019] このように本実施の形態における方法は、従来例が抽出又は検出された特徴量の 順序に左右された挿入方向の検出を行ってしまう欠点を改善し、精度の高い挿入方 向の検出を行う。また、本実施の形態では、複数の特徴量のクラスに分類した場合、 分類された複数の特徴量に対応した挿入方向の検出をそれぞれ行うことなぐ主要 な特徴量のクラスの場合に対してのみ行うように、 CPU27が処理を低減する制御を している。
[0020] つまり、 CPU27は、主要な特徴量に対応した挿入方向の算出及び算出された挿 入方向の表示を行うようにして、処理量を低減できるようにして 、る。
[0021] 次に、シーン特徴量の算出、及びシーン特徴量の判別分析 (クラス分け）について 説明する。本実施の形態では、自己相関係数、より具体的には高次局所自己相関 係数を算出してシーン特徴量の算出を行う。この高次局所自己相関係数に関して、 例えば、非特許文献 1の O Plus E 2003年 10月 ppl l30〜1136「シーン理解の ためのパターン認識」長谷〗 11に解説がある。
シーン特徴量を算出する手法は、シーンとなる画像内のテクスチャーのシーン特徴 量を求める手法である。高次局所自己相関係数をシーン特徴量とする手法は、局所 領域 (具体的には 3 X 3画素領域）内の n点（一般的には n= 3が使用される)までで 限定した自己相関関数を定義し、これを画像全体に適用することによりシーン特徴量 を統計的に算出する手法である。
[0022] 図 7は、本実施の形態におけるシーン特徴量の算出において使用する 2次元の基 準パターンとしての高次局所自己相関特徴を示す。ここで、図中「1」で示す画素部 分の配置が特徴となっている。そして、 CPU27は、 R画像に対して、 3 X 3の局所領 域を設定し、図 7の No. 1から No. 25におけるそれぞれ図中「1」で示す部分の画素 値を加算する局所の自己相関係数の算出に対応した処理を、 R画像上で 3 X 3の局 所領域を 1画素ずつずらしながら行うことにより、シーン特徴量を算出する。
この場合、例えば図 7における No. 2の特徴に対する特徴量を算出する例を、図 8 、及び図 9に示す。図 8は、あるシーンの画像における左上隅に設定した最初の 3 X 3の局所領域を示し、 No. 2の特徴に対するシーン特徴量を算出する場合には、画 素 a22と a23の画素値 a22と a23 (簡単ィ匕のため画素と同じ符号で示す)を加算する 。つまり、 CPU27は、カロ算値 a22 + a23を算出する。
[0023] そして、 CPU27は、この 3 X 3の局所領域を左側に 1画素分平行に移動して図 9に 示す 3 X 3の局所領域を設定して、この場合の画素値 a23 + a24を図 8で求めた加算 値に加算する。このような処理を各シーンの画像全てに対して行うことにより、 No. 2 の特徴に対するシーン特徴量を算出する。 No. 2の場合で説明した力 その他の No .の場合にも同様に行う。このようにして、 25個のシーン特徴量を算出することができ る。
本実施の形態では、図 7に示す 25個の特徴を適用する場合、図 10に示すように画 像の縮小処理を行って、シーン特徴量を算出することにより、シーン特徴量の算出処 理を高速化する。
図 10は、シーン特徴量の算出と、算出されたシーン特徴量を特徴量ベクトルとみな してクラス分けを行う処理を示す。
[0024] 図 10に示すように、シーン特徴量の算出が開始すると、ステップ S11に示すように CPU27は、画像を縮小する処理を行う。この場合、 CPU27は、内視鏡画像におけ る R画像の撮像領域を 512 X 512のサイズで切り出し、この切り出した画像を、例え ば 32 X 32のサイズに縮小する。
この画像を縮小 (換言すると解像度を変換)する縮小方法としては、公知の技術で ある例えば離散ウェーブレット変換を使用する。図 11は、離散ウェーブレット変換に おいて、分解レベル 2の変換係数群 (サブバンド画像)を示す。離散ウェーブレット変 換により生成されたサブバンド画像を HH1、 LH1、 HL1、 HH2、 LH2、 HL2、 LL2 で示している。
[0025] ここで、例えば HH1は、水平、垂直方向共に、高域通過フィルタを適用して得られ る画像成分を示している。また、 HHxの Xは、原画像に対する分解レベルを示す。さ らに、 LH、 HL、 LLは、それぞれ水平方向に低域通過型フィルタ、垂直方向に高域 通過型フィルタを適用した画像成分、水平方向に高域通過型フィルタ、垂直方向に 低域通過型フィルタを適用した画像成分、水平方向に低域通過型フィルタ、垂直方 向に低域通過型フィルタを適用した画像成分を示す。
また、 LL2、 HL2、 LH2、 LL2は、 LL1をサブバンドに分解することで導出される。 なお、分解レベル 1の場合には、分解前の画像は、原画像の水平及び垂直方向の サイズが 1/2となる 4つの変換係数 HH1、 LH1、 HL1、 LL1に分解されることにな る（図 14参照)。
[0026] このようにして、離散ウェーブレット変換によるサブバンド画像の生成を分解レベル 4まで行うことにより 32 X 32の縮小画像が生成される。 そして、ステップ 312に示すょぅにじ？1；27は、上述した高次局所自己相関係数の 算出を行う。
そして、算出された 25個のシーン特徴量の数列を特徴量ベクトルとみなして、ステ ップ S13に示すように CPU27は、管腔暗部、襞、その他の特徴量のクラスにクラス分 けする判別処理を行うことになる。
この場合、 CPU27は、クラス分けの判別処理を行う場合、例えば記憶装置 28に予 め管腔暗部、襞、その他の場合が有する特徴量ベクトルの分布領域等の教師データ を参照して行う。
[0027] また、管腔暗部、襞、その他の教師データとの類似度を示す指標を算出することに より、複数の特徴量のクラスが存在した場合には、 CPU27は、主要な特徴量のクラス の算出を行う。そして、 CPU27は、図 4にて説明したように主要な特徴量のクラスに 対して挿入方向を検出する処理を行い、検出された挿入方向を表示する。
このような処理を行う本実施の形態は、外乱などでノイズが発生或 、は混入しても、 自己相関係数を用いてシーン特徴量を算出するため、ノイズの影響を殆ど受けない で各シーンから内視鏡挿入方向 (又は管腔構造)に密接に関係する特徴量を精度良 く算出することができる。
また、本実施の形態では、管腔暗部、襞等の複数の構造が内視鏡画像中に存在し ても、各シーン特徴量を抽出すると共に、それらを管腔暗部、襞等の特徴量のクラス にクラス分けし、主要な特徴量のクラスに対応した処理アルゴリズムで挿入方向を算 出して表示する。
[0028] 従って、本実施の形態では、管腔暗部、襞等における 1つの特徴量のみを含むよう な構造の場合はもとより、複数の構造が存在する場合にも、適切に挿入方向を算出 して表示するので、術者は挿入作業や、内視鏡検査を円滑に行うことができる。 次に図 10に対する第 1変形例を説明する。図 10においては、画像を縮小して、縮 小した画像に対して高次局所自己相関係数の算出を行っていたが、第 1変形例は、 簡略化した CPU27の処理方法、つまり、 CPU27は、小領域の画素の平均値をシー ン特徴量として算出する。
本変形例では、 CPU27は、シーン特徴量の算出のために、内視鏡画像の解像度 の変換とも言える小領域の画素の平均値を算出する。
[0029] 図 12は、第 1変形例によるシーン特徴量の算出等を示すフローチャートを示す。シ ーン特徴量の算出処理が開始すると、 CPU27は、ステップ S31において、撮像され た R画像を例えば 8 X 8の小領域に分割し、小領域内の画素値の平均値を小領域画 素値とすることにより縮小画像を生成する。
[0030] 次のステップ S32において、 CPU27は、この縮小画像における小領域画素値をシ ーン特徴量の構成要素とみなして、その小領域画素値をスキャンしてその数列を特 徴量ベクトルとするシーン特徴量を算出する。
次のステップ S33において、 CPU27は、この特徴量ベクトルを用いて判別分析を 行う。
本変形例では、図 10に示した処理方法よりも簡単な処理で特徴量のクラス分けを 行うことができる。
次に、図 13に示すフローチャートを参照して図 10の第 2変形例を説明する。本変 形例では、 CPU27がヒストグラムを利用する処理方法である。
本変形例では、シーン特徴量を回転、及び平行移動に依存せずに行うために、画 像の画素値または周波数特性のヒストグラムを、教師画像のヒストグラムと比較する手 法を採用する。
[0031] 周波数特性に関しては、前述の離散ウェーブレット変換を使用する。
[0032] そして、シーン特徴量の算出が開始すると、最初のステップ S41において、 CPU2
7は、 R画像に対して、前述の離散ウェーブレット変換を行う。
ステップ S41により、図 14に示すように各解像度の画像ごとに、水平 (HL1)、垂直
(LH1)、斜め（HH1)の 3方向のスペクトルと低周波成分 (LL1)の各々のサブバンド 画像が得られる。
次のステップ S42において、 CPU27は、サブバンド画像に対してヒストグラム算出 を行う。そして、次のステップ S43において、 CPU27は、ヒストグラムの比較により、ク ラス分け (分類)を行う。なお、ここでは、分解レベル 1の場合のサブバンド画像の場 合で説明するが、分解レベル 2等のサブバンド画像で行っても良 、。
[0033] ヒストグラムを比較する方法としては、例えば X 2分布を用いた手法を採用する。この 場合、 K個のヒストグラムを比較する場合には、以下の公式（1)により κ個の％ 2分布 の値を求め、式（2)により比較値 COMPを求める。
Figure imgf000015_0001
COMP= (l/K)∑ ( 2 ) (2)
ここで、∑ は、 α = 1から Kまでの総和を、∑は、 iの総和を示す。また、 qは、比較 (検出）対象のヒストグラムの i番目の頻度値であり、 hは、教師画像のヒストグラムの i 番目の頻度値である。
よって、各分類された特徴量のクラスに、その特徴量に対応する教師画像のヒストグ ラムを用意しておき、各々の％ 2分布を求めることにより、その値が小さい教師画像が 属する特徴量のクラスに分類できる。また、 ％ 2分布の値が最も小さい教師画像が属 する主要な特徴量のクラスを算出することもできる。
[0035] このように本変形例によれば、ヒストグラムを利用して、内視鏡挿入方向（或いは管 腔構造）に関係する管腔暗部等の特徴量を算出することができる。そして、主要な特 徴量を算出して、その主要な特徴量に対して精度の高い挿入方向の検出ができる。 なお、 X 2分布ではなぐ相関係数（∑ q. 'h—∑ q. ·∑ h.) / ( (∑ q 2-∑ q. ·∑ q.) · (∑h 2-∑h -∑h ) ) 1/2、或いは差分∑ min (q., h.)を比較値として使用してもよ!/ヽ このように変形例の場合においても、内視鏡挿入方向（或いは管腔構造）に関係し た特徴量を算出でき、精度の高い挿入方向の検出が可能となる。
[0036] (第 2の実施の形態）
次に図 15から図 20を参照して本発明の第 2の実施の形態を説明する。第 1の実施 の形態においては、シーン特徴量の判別分析を行った後、特徴量のクラス分けを行 い、このクラス分けの際に、主要なクラスの算出を行った。本実施の形態では、主要 なクラスを算出する処理を行わな 、で、クラス分けした結果に応じた分岐処理を行う ようにしたものである。
図 15は、本実施の形態の内視鏡挿入方向検出方法を示す。図 16は、図 4におけ るステップ S4の主要なクラスを算出する代わりに、クラス分けに応じた処理に分岐す るステップ S4' としている。 [0037] 従って、本実施の形態では、シーンにぉ 、て複数の特徴量に対応する構造が存在 した場合には、複数の特徴量に応じて、複数の挿入方向を検出して、その結果を表 示する。この場合、複数の挿入方向が全て一致していると、その挿入方向の精度が 高いことになる。これに対して、複数の挿入方向が異なる場合には、全て一致して検 出された場合よりは挿入方向の検出精度が低くなる。この場合には、その表示内容 カゝら挿入方向を術者が判断する。
従って、本実施の形態では、シーンにおいて複数の特徴量に対応する構造が存在 した場合にも、従来例における特徴量の検出（抽出）の順序により挿入方向の検出結 果が影響されてしまうような欠点を解消する。
[0038] なお、本実施の形態の変形例として、第 1の実施の形態で説明したように予め用意 された教師データとの類似度を示す指標の値の情報を、挿入方向の表示に反映す るようにしても良い。例えば指標の値の大きさに応じて、挿入方向を示す矢印の大き さを変え、術者に対して、最も大きな矢印で表示される挿入方向が最も精度良く検出 された挿入方向であると告知するようにしても良い。
また、第 1の実施の形態にも適用できるが、本実施の形態における特徴量のクラス 分けにより管腔暗部の特徴量のクラスが検出された場合における (挿入方向の検出 のための)管腔暗部の領域部分を精度良く検出する検出方法を以下に説明する。 本実施の形態における管腔暗部の領域検出は、特公 2710384号公報に記載され た内容を改良したものである。この場合の改良点を簡単に説明すると、以下のように なる。
[0039] 特公 2710384号公報に記載の方法は、多重の解像度の画像を生成し、上位 Z下 位の階層間の明度平均値を比較することにより、領域の分割、併合を行い、所定の 明度範囲を持つ暗部領域を検出する。
しかし、この方法は、滑らかな明度変化を持つ暗部の場合におけるその境界を検出 することが難し力つた。また、この方法は、明度平均値のみの比較であるため、分散 の大きい小領域、テクスチャーのある小領域を誤検出してしまう可能性があった。 より具体的に説明すると、上記公報記載の方法は、図 16に示すように管腔暗部の 領域として検出された解像度 Aにおける実線で示す画素 (原画像における矩形の小 領域)の画素値 (小領域内に含まれる画素の平均値)と、隣接する画素 (解像度 Aの 点線で示す小領域)の画素値との差または比が、所定の閾値内である場合に、その 小領域を併合する。
[0040] また、この方法は、 4分割する 4分木構造の多重の解像度の画像を利用して、直近 の下位の階層の画像をおける近接した小領域を併合して、管腔暗部の領域の外形 線を求める。
[0041] つまり、直近の下位の階層の画像（図 17に示すように解像度 Aの下位となる解像度 Bの画像）について、解像度 Aにおける管腔暗部の領域の画素と同じ位置に存在す る画素（図 16における解像度 Bの太い実線で示す 4つの小領域）に近接する、点線 で示す画素 (解像度 Bの点線で示す小領域)の画素値との差または比が、所定の閾 値内である場合に、その小領域を併合する。
このように上記公報の方法は、解像度 A、解像度 Bの画素値は、画素を小領域とみ なす場合の、小領域内に含まれる原画像の画素値の平均値を使用している。
[0042] しかし、図 17に示すように、小領域内にエッジやテクスチャーが存在する場合や濃 度勾配が存在する場合には正確な判定ができず、誤った管腔暗部の領域を抽出し てしまう、という問題があった。例えば、図 17の右側の 3つの各小領域内の画素値平 均値は、全て同一である。このため、上記方法はこれらを同じ平均値を持っために併 合する処理を行い、誤った管腔暗部の領域を抽出してしまう可能性がある。
このため、本実施の形態においては、図 17のような誤抽出（誤併合)を行わないで 、適切に併合処理を行うようにする。このため、本実施の形態の CPU27は、図 18、 及び図 19のような処理を行う。
管腔暗部の検出が開始すると、図 18のステップ S51において、 CPU27は、取り込 んだ R画像力 画素数の異なる複数の画像を生成する。
[0043] そして、次のステップ S52において、 CPU27は、前のステップ S51によって生成さ れた複数の画像において、画素数の少ない画像力 順に、その画像における各画素 の明度を検査し、所定の画素数の画像における管腔暗部に相当する暗部領域を抽 出する。
[0044] 次のステップ S53において、 CPU27は、前のステップ S52で求めた暗部領域の近 傍の領域であって、求める明度範囲内の領域を、前のステップ S52で求めた暗部領 域に併合する併合処理を行う。このようにして、 CPU27は、ステップ S51からステップ S 53の処理を行うことにより、管腔暗部に相当する暗部領域の検出を行う。
また、本実施の形態におけるステップ S53の詳細を図 19に示す。ステップ S53の処 理が開始すると、ステップ S61において CPU27は、抽出された暗部領域のグレーレ ベル (Rの平均値)を算出する。この場合、例えば図 16に示したような、ある解像度 A の画像にぉ ヽて実線で示す暗部領域 (前のステップ S52で抽出）内のグレーレベル として、その領域内の Rの平均値を求める。
[0045] また、 CPU27は、この暗部領域に近接する領域 (例えば、図 16の解像度 Aにおけ る点線で囲まれた領域）における、グレーレベル (つまり、 Rの平均値）と、濃度勾配 角の分散と、変動係数 (C. V.、標準偏差を平均値で割った値)を求める。
濃度勾配角は、図 20に示すように対象とする 3 X 3の小領域における画素 al lから 3画素目の濃淡値の勾配或いは差分情報をもとにして、 X方向濃淡勾配と Y方向濃 淡勾酉 Sのタンジェントにより求める。
具体的には、図 20のように画素を表した場合、濃度勾配角 Θは、 Θ =arc tan (a31 — all)Z(al3— all)で算出される。また、濃度勾配角の分散とは、領域内に含ま れる画素の位置の濃度勾配角の分散である。
[0046] 次のステップ S62において、 CPU27は、抽出された領域内のグレーレベルに近接 する領域のグレーレベルとの差分または比が所定の範囲内にある力否かを検査する 。そして、所定の範囲内にあれば次のステップ S63に進む。一方、所定の範囲内に 入って ヽな 、場合には、ステップ S66の処理に移る。
続くステップ S63において、 CPU27は、近接する領域の変動係数が所定の範囲内 にある力否かを検査する。そして、 CPU27は、近接する領域の変動係数が所定の範 囲内にあれば次のステップ S64に進む。一方、 CPU27は、近接する領域の変動係 数が所定の範囲内に入っていない場合には、ステップ S66の処理に移る。
[0047] 続くステップ S64において、 CPU27は、近接する領域の濃度勾配角の分散が所定 の範囲内にある力否かを検査する。そして、 CPU27は、近接する領域の濃度勾配角 の分散が所定の範囲内にあれば次のステップ S65に進む。一方、 CPU27は、近接 する領域の濃度勾配角の分散が所定の範囲内に入って!/、な 、場合には、ステップ S 66の処理に移る。
ステップ S62からステップ S64までの条件を満たす場合には、ステップ S65にお!/ヽ て、 CPU27は、その近接する周辺の領域を既に得られた暗部領域に併合して、ステ ップ S 61〖こ戻る。
一方、ステップ S62からステップ S64に示す条件のいずれかを満たさない場合には 、ステップ S66に示すように、 CPU27は、より高い精度の検査が必要力否かを、現在 の解像度の設定値カゝら判定する。 CPU27は、現在の解像度の設定値が所定の終 端解像度の設定値と同一であれば、この処理を終了する。そうでなければ、 CPU27 は、次のツリーレベル (解像度）の画像に対して同様の処理を行う。例えば、図 16の 解像度で行っていた場合には、 CPU27は、その下に示す解像度 Bについて同様の 判定処理を行う。そして、 CPU27は、ステップ S61に戻る。
[0048] 本実施の形態では、このような処理を、初期の管腔暗部に相当する暗部領域に対 して再帰的に処理することによって管腔暗部の領域を広げて 、き、管腔暗部の領域 の外形線 (輪郭)の精度を高める。
以上のように本実施の形態では、近接する領域との併合処理において、近接領域 の画素平均値だけではなぐ近接領域の画素値の変動を考慮して比較することによ り、ほぼ一様な画素値分布を持った領域を併合することになり、管腔暗部の領域の検 出精度を向上できる。
[0049] また、本実施の形態では、近接する領域との併合処理にお!、て、近接する領域の 濃度勾配角の分散を比較することにより、滑らかな勾配を持った領域を併合すること になり、管腔暗部の領域の検出精度を向上できる。
このような併合処理を行うため、例えば図 17に示したように単にグレーレベルが所 定の範囲内に入るような場合に併合してしまう誤併合を防止して精度の高い管腔喑 部の領域を検出できる。従って、本実施の形態では、管腔暗部の領域の検出精度の 向上により、内視鏡挿入方向の検出の精度が向上する。
[0050] (第 3の実施の形態）
次に図 21から図 25を参照して本発明の第 3の実施の形態を説明する。本実施の 形態も第 2の実施の形態と同様に、精度良く管腔暗部を検出する方法を提供する。 本実施の形態における管腔暗部を検出する方法は、図 21のフローチャートに示すも のであり、この方法は、例えば特開 2003— 93328号公報に開示されている方法を 改良したものである。
この場合、特開 2003— 93328号公報の従来例に開示された方法は、例えば図 22 に示すような内視鏡画像のように管腔暗部の領域 C以外にも、暗部領域 Dが存在し た場合、検出しょうとする管腔暗部の領域 Cを精度良く検出することが困難であった。 なお、この例では、管腔暗部の領域 C内には、その奥方に腸管湾曲や襞による明領 域と暗領域 Eが存在して 、る。
そして、図 22における管腔暗部の領域 Cと暗部領域 Dを結ぶ線分 F, F' 上の濃度 値を示すと図 23のようになる。
[0051] 上記従来例においては、管腔暗部の領域 Cを検出する閾値を一意に決定する必 要がある。その決定方法は、全画面内の画素値のヒストグラムの解析などが広く使用 される。
もし決定された閾値が Tである場合には、図 22の Eで囲まれた領域しカゝ抽出できな い。また、決定された閾値が T'である場合には、暗部領域 Dの一部も抽出してしまう 。このように従来例では、画像ごとに最適な閾値を決定することが必要になり、管腔喑 部の領域 Cを精度良く検出することが困難になるという問題があった。
このため、本実施の形態では、図 21に示すフローチャートに示す検出方法によつ て、管腔暗部の領域 Cを抽出する。この検出方法は、図 22における管腔暗部の領域 Cのみを抽出する手法となる。
[0052] 図 21に示すように、 CPU27は、最初のステップ S71において、内視鏡画像を小領 域に分割する。本実施の形態では、説明を簡単にするために、図 25に示すように 4 4個の矩形の小領域1^ = 1〜4, y= l〜4)に分割した例で説明する。
次のステップ S72において、 CPU27は、各小領域 bxyの画素値の平均値く bxy> を求める。本実施の形態では、内視鏡画像に対応する RGB色信号のうち Rの平均値 を求める。
次のステップ S73において、 CPU27は、各々の小領域 bxyについて、近接する 8 方向（4隅では 3方向、外周に沿った小領域では 5方向）の画素値の平均値と、処理 対象の自小領域 bxyの画素値の平均値く bxy >とを比較 (或いは差分値を算出）し て、濃度勾配方向を求める。もし、自小領域 bxyの画素値の平均値く bxy >が比較 する近接小領域の中の最低値であれば、濃度勾配方向は 0とする。
[0053] 具体的には、最初の小領域 bl lの場合には、差分値で表現すると、 <b21 > - < bl l >、 <b22>— <bl l >、 <bl2>— <bl l >の差分値力 S負となる場合で、 つ、その絶対値が最も大きくなる方向を濃度勾配方向とする。
この小領域 bl lの場合には、く b21 >の平均値が最も小さいため、濃度勾配方向 は小領域 bl l力 小領域 b21〖こ向力う方向となる。このようにして、図 25に示すような 濃度勾配方向の分布 (配列）の情報が得られる。
なお、上記のような差分値を算出した場合、その値の全てが正となる場合には、上 記のように濃度勾配方向は 0とする。図 25における小領域 b21、 b42 (b21等の符号 は図 22参照）では、濃度勾配方向 =0の小領域となって 、る。
次のステップ S 74において、 CPU27は、近接小領域への濃度勾配が生じていな い、すなわち濃度勾配方向 =0である小領域を順次抽出する。
[0054] そして、次のステップ S75において、 CPU27は、ステップ S74の処理で濃度勾配 が生じていない小領域が抽出された力否かの判定を行い、そのような小領域が抽出 されない場合にはこの処理を終了し、抽出された場合には、ステップ S76の処理に進 む。
ステップ S76の処理にぉ 、て CPU27は、濃度勾配が生じて ヽな ヽ (濃度勾配方向 =0の）小領域に対して、その小領域に近接する全ての小領域の濃度勾配力 1つの 小領域への濃度勾配方向に集中している条件を満たす力どうか判定する。
図 25における例えば小領域 b21に関しては、下、右下、右の近接小領域の濃度勾 配がこの小領域 b21に向いていない。このため、 CPU27では、ステップ S76の判定 結果で Nと判定され、ステップ S74に戻る。
[0055] 一方、小領域 b42に介しては、全ての近接小領域の濃度勾配が小領域 b42に集中 している。このように、全ての近接小領域の濃度勾配力^つの小領域に集中している 場合には、ステップ S77に示すように、 CPU27は、その小領域を管腔暗部の領域候 補としてマークする。
図 25の内視鏡画像の場合には、小領域 b42が管腔暗部の領域候補としてマークさ れることとなる。そして、ステップ S78において、 CPU27は、濃度勾配のない小領域 における最後の小領域であるかを判定し、最後の小領域でな 、場合にはステップ S7 4に戻り、最後の小領域まで行った場合にはステップ S79に進む。
ステップ S79において、 CPU27は、以上の処理によりマークされた管腔暗部の領 域候補から最終的な管腔暗部の領域を決定する。この場合、複数の管腔暗部の領 域候補がマークされる場合がある。その場合には、 CPU27は、複数の管腔暗部の領 域候補における画素平均値が最も低 、値の管腔暗部の領域候補を、管腔暗部の領 域と決定する。
なお、本実施の形態では、画像を 4 X 4に分割した矩形の小領域とした力 例えば 、ボロノィ線図による非矩形領域、特公 2710384号公報にあるような多重解像度画 像の領域統合の結果として得られる領域を利用して処理を行っても、本実施の形態 の目的に対応する効果が得られる。
[0056] 本実施の形態では、画像を小領域に分割し、分割した各小領域に対して近接する 小領域の濃度勾配を調べ、濃度勾配が全て 1つに向くように集中している小領域を 管腔暗部の領域候補とすることにより、閾値によらないで正確な管腔暗部の領域の 検出を行える。従って、本実施の形態によれば、内視鏡挿入方向検出の精度が向上 する。
[0057] 図 21における、ステップ S76の判定において、全濃度勾配が 1つの小領域に集中 している条件を満たす力否かの判定を行った場合には、 1つも該当する小領域が存 在しない場合には、最も濃度勾配が集中している小領域を管腔暗部の候補の可能 性があると表示するようにしても良 、。
[0058] 上述の各実施の形態に記載した本発明の内視鏡挿入方向検出装置の構成によれ ば、内視鏡挿入方向に関係する複数の特徴量が存在するようなシーンの場合にも精 度の高 ヽ挿入方向の検出ができるようにして!/、る。
[0059] 上述のステップを備えた本発明の内視鏡挿入方向検出方法の構成によれば、内視 鏡挿入方向に関係する複数の特徴量が存在するようなシーンの場合にも精度の高 ヽ揷入方向の検出ができるようにして!/、る。
[0060] すなわち、本発明によれば、内視鏡挿入方向に関係する複数の特徴量が存在する ようなシーンの場合にも精度の高い挿入方向の検出ができる。
[0061] 詳しくは、本発明では、体腔内に挿入される内視鏡により撮像された内視鏡画像の シーンにおけるシーン特徴量を算出して、内視鏡挿入方向に関係する管腔暗部、襞 等の特徴量のクラスに分類し、分類された特徴量に応じた挿入方向を検出することに より、複数の特徴量が混在するような内視鏡画像の場合にも、精度の良い挿入方向 の検出ができる。
[0062] また、本発明は、以上述べた実施形態のみに限定されるものではなぐ発明の要旨 を逸脱しな 、範囲で種々変更可能である。

Claims

請求の範囲
[1] 体腔内に挿入される内視鏡により撮像された動画の内視鏡画像のシーンに対して
、前記体腔内における内視鏡挿入方向の検出に関係する種類が異なる複数の特徴 量のクラスに分類する分類手段と、
前記分類手段により分類された特徴量のクラスそれぞれに対応して設けられ、前記 内視鏡の挿入方向を算出する挿入方向算出手段と、
を具備したことを特徴とする内視鏡挿入方向検出装置。
[2] さらに前記特徴量分類手段により分類された特徴量のクラスから、主要な特徴量の クラスを判定する判定手段を有し、該判定手段は、前記挿入方向算出手段が主要な 特徴量のクラスに対応した挿入方向の算出のみを行うように制御することを特徴とす る請求項 1に記載の内視鏡挿入方向検出装置。
[3] 前記分類手段は、前記内視鏡画像のシーンに対して、シーン特徴量を算出するシ ーン特徴量算出手段と、前記シーン特徴量に対応する特徴量ベクトルから前記複数 の特徴量のクラスを算出するクラス算出手段とを有することを特徴とする請求項 1に記 載の内視鏡挿入方向検出装置。
[4] 前記シーン特徴量算出手段は、複数の基準パターンを用いて前記内視鏡画像の シーンの自己相関係数を算出することを特徴とする請求項 3に記載の内視鏡挿入方 向検出装置。
[5] 前記分類手段は、ヒストグラムを利用して前記複数の特徴量のクラスに分類すること を特徴とする請求項 1に記載の内視鏡挿入方向検出装置。
[6] 前記分類手段は、内視鏡画像のシーンを複数に分割された小領域の画像から前 記複数の特徴量のクラスに分類することを特徴とする請求項 1に記載の内視鏡挿入 方向検出装置。
[7] 前記分類手段は、内視鏡画像のシーンの解像度を変換した変換画像に対して前 記複数の特徴量のクラスに分類することを特徴とする請求項 1に記載の内視鏡挿入 方向検出装置。
[8] 前記分類手段は、前記複数の特徴量としての管腔暗部、襞、その他のクラスに分 類することを特徴とする請求項 1に記載の内視鏡挿入方向検出装置。
[9] 体腔内に挿入される内視鏡により撮像された動画の内視鏡画像のシーンに対して 、前記体腔内における内視鏡挿入方向の検出に関係する種類が異なる複数の特徴 量のクラスに分類する分類ステップと、
前記分類ステップにより分類された特徴量のクラスそれぞれに対応して、前記内視 鏡の挿入方向を算出可能する挿入方向算出ステップと、
を具備したことを特徴とする内視鏡挿入方向検出方法。
[10] さらに前記分類ステップにより分類された特徴量のクラスカゝら主要な特徴量のクラス を算出する算出ステップを有し、
前記挿入方向算出ステップは主要な特徴量のクラスのみに対応して、前記内視鏡 の挿入方向を算出することを特徴とする請求項 9に記載の内視鏡挿入方向検出方法
[11] 前記挿入方向算出ステップは、算出した挿入方向の情報を表示する挿入方向表 示ステップを有することを特徴とする請求項 9に記載の内視鏡挿入方向検出方法。
[12] 前記分類ステップは、前記内視鏡画像のシーンに対して、シーン特徴量を算出す るシーン特徴量算出ステップと、前記シーン特徴量に対応する特徴量ベクトル力 前 記複数の特徴量のクラスを算出するクラス算出ステップと、を有することを特徴とする 請求項 9に記載の内視鏡挿入方向検出方法。
PCT/JP2007/053587 2006-04-17 2007-02-27 内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法 Ceased WO2007119296A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2007800136353A CN101420897B (zh) 2006-04-17 2007-02-27 内窥镜插入方向检测装置以及内窥镜插入方向检测方法
EP07714980.5A EP2008571B1 (en) 2006-04-17 2007-02-27 Endoscope insertion direction detecting device and endoscope insertion direction detecting method
US12/253,707 US8285016B2 (en) 2006-04-17 2008-10-17 Endoscope insertion direction detecting device and endoscope insertion direction detecting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006113794A JP5094036B2 (ja) 2006-04-17 2006-04-17 内視鏡挿入方向検出装置
JP2006-113794 2006-04-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/253,707 Continuation US8285016B2 (en) 2006-04-17 2008-10-17 Endoscope insertion direction detecting device and endoscope insertion direction detecting method

Publications (1)

Publication Number Publication Date
WO2007119296A1 true WO2007119296A1 (ja) 2007-10-25

Family

ID=38609112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/053587 Ceased WO2007119296A1 (ja) 2006-04-17 2007-02-27 内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法

Country Status (5)

Country Link
US (1) US8285016B2 (ja)
EP (1) EP2008571B1 (ja)
JP (1) JP5094036B2 (ja)
CN (1) CN101420897B (ja)
WO (1) WO2007119296A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113616A (ja) * 2008-11-07 2010-05-20 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012016454A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
US8167792B2 (en) 2009-01-29 2012-05-01 Olympus Medical Systems Corp. Endoscope system having passage position setting section and passage position correction section
US8211009B2 (en) 2007-11-29 2012-07-03 Olympus Medical Systems Corp. Endoscope bending control apparatus and endoscope system
US20210160489A1 (en) * 2011-10-07 2021-05-27 Texas Instruments Incorporated Method, System and Apparatus for Intra-Prediction in a Video Signal Processing

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123651B (zh) * 2009-01-15 2014-02-26 奥林巴斯医疗株式会社 内窥镜系统
US8665326B2 (en) 2009-01-30 2014-03-04 Olympus Corporation Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method
EP2438555B1 (en) 2009-06-02 2017-03-08 Sofast GmbH Superresolution optical fluctuation imaging (sofi)
JP4884567B2 (ja) * 2009-11-06 2012-02-29 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2011055613A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5800468B2 (ja) * 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5555097B2 (ja) * 2010-08-24 2014-07-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
CN103747718B (zh) * 2012-03-21 2016-03-30 奥林巴斯株式会社 图像处理装置
JP5903305B2 (ja) * 2012-03-26 2016-04-13 東芝デジタルメディアエンジニアリング株式会社 画像処理装置及び画像処理方法
CN110167417B (zh) 2017-01-26 2022-01-07 奥林巴斯株式会社 图像处理装置、动作方法和存储介质
WO2018188466A1 (en) * 2017-04-12 2018-10-18 Bio-Medical Engineering (HK) Limited Automated steering systems and methods for a robotic endoscope
TW201902411A (zh) * 2017-06-09 2019-01-16 多田智裕 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
JP7093833B2 (ja) * 2018-04-26 2022-06-30 オリンパス株式会社 移動支援システム及び移動支援方法
CN111317426A (zh) * 2018-12-13 2020-06-23 杭州海康慧影科技有限公司 一种内窥镜参数自适应调整方法和装置
CN113518576A (zh) * 2019-03-25 2021-10-19 奥林巴斯株式会社 移动辅助系统、移动辅助方法以及移动辅助程序
WO2021048925A1 (ja) * 2019-09-10 2021-03-18 オリンパス株式会社 内視鏡制御装置、内視鏡制御装置の作動方法及びプログラム
CN110969603B (zh) * 2019-11-26 2021-01-05 联博智能科技有限公司 病变位置的相对定位方法、装置及终端设备
JP2021049314A (ja) * 2019-12-04 2021-04-01 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム
JP7254742B2 (ja) 2020-03-26 2023-04-10 Hoya株式会社 プログラム、情報処理方法、情報処理装置及び診断支援システム
US12369997B2 (en) * 2021-01-04 2025-07-29 The Regents Of The University Of Colorado, A Body Corporate Autonomous navigation and intervention in the gastrointestinal tract
JP7638365B2 (ja) * 2021-02-25 2025-03-03 オリンパスメディカルシステムズ株式会社 内視鏡画像処理装置および内視鏡画像処理方法
WO2024028924A1 (ja) * 2022-08-01 2024-02-08 日本電気株式会社 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2680111B2 (ja) 1988-12-31 1997-11-19 オリンパス光学工業株式会社 内視鏡の挿入方向の検出方法
JP2710384B2 (ja) 1988-11-16 1998-02-10 オリンパス光学工業株式会社 内視鏡の挿入方向の検出方法
JP2002165757A (ja) 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
JP2003093328A (ja) 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2004167010A (ja) 2002-11-20 2004-06-17 Olympus Corp 内視鏡挿入方向検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5018509A (en) * 1989-02-21 1991-05-28 Olympus Optical Co., Ltd. Endoscope insertion controlling apparatus
GB2238440B (en) * 1989-11-24 1994-07-27 Olympus Optical Co Methods of detecting endoscope insertion direction
JP2962528B2 (ja) * 1991-03-22 1999-10-12 オリンパス光学工業株式会社 内視鏡装置
JP2002000546A (ja) * 2000-06-19 2002-01-08 Olympus Optical Co Ltd 内視鏡装置
JP3917885B2 (ja) * 2002-04-08 2007-05-23 オリンパス株式会社 カプセル内視鏡システム
JP4409166B2 (ja) * 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
CN101065052B (zh) * 2004-12-27 2010-12-22 奥林巴斯株式会社 医疗图像处理装置和医疗图像处理方法
EP2215960B1 (en) * 2007-11-29 2017-12-27 Olympus Corporation Endoscope curve control apparatus
WO2011055613A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2710384B2 (ja) 1988-11-16 1998-02-10 オリンパス光学工業株式会社 内視鏡の挿入方向の検出方法
JP2680111B2 (ja) 1988-12-31 1997-11-19 オリンパス光学工業株式会社 内視鏡の挿入方向の検出方法
JP2002165757A (ja) 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
JP2003093328A (ja) 2001-09-25 2003-04-02 Olympus Optical Co Ltd 内視鏡挿入方向検出方法及び内視鏡挿入方向検出装置
JP2004167010A (ja) 2002-11-20 2004-06-17 Olympus Corp 内視鏡挿入方向検出装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HASEGAWA: "Pattern Recognition for Understanding of Scene", 0 PLUS E, October 2003 (2003-10-01), pages 1130 - 1136
See also references of EP2008571A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8211009B2 (en) 2007-11-29 2012-07-03 Olympus Medical Systems Corp. Endoscope bending control apparatus and endoscope system
JP2010113616A (ja) * 2008-11-07 2010-05-20 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
US8768017B2 (en) 2008-11-07 2014-07-01 Olympus Corporation Image processing apparatus, computer readable recording medium storing therein image processing program, and image processing method
US8167792B2 (en) 2009-01-29 2012-05-01 Olympus Medical Systems Corp. Endoscope system having passage position setting section and passage position correction section
JP2012016454A (ja) * 2010-07-07 2012-01-26 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
US9053533B2 (en) 2010-07-07 2015-06-09 Olympus Corporation Image processing apparatus, image processing method, and computer-readable recording medium for extracting a dark portion area from an intraluminal image
US20210160489A1 (en) * 2011-10-07 2021-05-27 Texas Instruments Incorporated Method, System and Apparatus for Intra-Prediction in a Video Signal Processing
US11611745B2 (en) * 2011-10-07 2023-03-21 Texas Instmments Incorporated Method, system and apparatus for intra-prediction in a video signal processing
US11936857B2 (en) 2011-10-07 2024-03-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in a video signal processing

Also Published As

Publication number Publication date
CN101420897A (zh) 2009-04-29
EP2008571B1 (en) 2015-01-28
EP2008571A1 (en) 2008-12-31
EP2008571A4 (en) 2013-04-03
JP5094036B2 (ja) 2012-12-12
CN101420897B (zh) 2011-04-13
US20090041320A1 (en) 2009-02-12
US8285016B2 (en) 2012-10-09
JP2007282857A (ja) 2007-11-01

Similar Documents

Publication Publication Date Title
WO2007119296A1 (ja) 内視鏡挿入方向検出装置、及び内視鏡挿入方向検出方法
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8131054B2 (en) Computerized image analysis for acetic acid induced cervical intraepithelial neoplasia
WO2021147429A1 (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN101489466B (zh) 医疗用图像处理装置
TWI432168B (zh) 內視鏡導航方法以及內視鏡導航系統
JP6405138B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20090220133A1 (en) Medical image processing apparatus and medical image processing method
JP6840263B2 (ja) 内視鏡システム及びプログラム
Ratheesh et al. Advanced algorithm for polyp detection using depth segmentation in colon endoscopy
US20230414066A1 (en) Endoscope image processing apparatus, endoscope image processing method, and endoscope image processing program
CN111161852B (zh) 一种内窥镜图像处理方法、电子设备及内窥镜系统
GB2456487A (en) Image processing using RGB local mean and mapping of candidate colour components onto a possible dynamic range
KR102380560B1 (ko) 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법
WO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
CN119494838B (zh) 基于ai和细胞内镜的大肠病变辅助诊断系统
US20250285268A1 (en) Medical image processing device, hierarchical neural network, medical image processing method, and program
CN119313725A (zh) 内镜图像区域的实时定位方法、融合显示方法以及装置
HK40024082B (en) Method and apparatus for displaying endoscopic image, computer device and storage medium
CN120918551A (zh) 一种病灶边界联合定位方法、装置、介质和设备
HK40024082A (en) Method and apparatus for displaying endoscopic image, computer device and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07714980

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2007714980

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 200780013635.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE