[go: up one dir, main page]

WO2025027815A1 - 内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラム - Google Patents

内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラム Download PDF

Info

Publication number
WO2025027815A1
WO2025027815A1 PCT/JP2023/028220 JP2023028220W WO2025027815A1 WO 2025027815 A1 WO2025027815 A1 WO 2025027815A1 JP 2023028220 W JP2023028220 W JP 2023028220W WO 2025027815 A1 WO2025027815 A1 WO 2025027815A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
speed
image
lumen
endoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/028220
Other languages
English (en)
French (fr)
Inventor
明広 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to PCT/JP2023/028220 priority Critical patent/WO2025027815A1/ja
Publication of WO2025027815A1 publication Critical patent/WO2025027815A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof

Definitions

  • the present invention relates to an endoscopic diagnosis support method, an inference model, an endoscopic image processing device, an endoscopic image processing system, and an endoscopic image processing program.
  • Endoscopes have been widely used in the medical and industrial fields. For example, in the medical field, surgeons can view endoscopic images of the inside of a subject displayed on a display device, identify diseased areas, and perform treatment on the diseased areas using treatment tools.
  • CAD computer-aided detection/diagnosis
  • Patent Document 1 presents a medical image processing device that aims to prevent lesions from being overlooked by highlighting information about lesions, etc. according to the real-time nature of medical images.
  • the conventional diagnostic support function described in Patent Document 1 and the like cannot highlight abnormal areas, such as lesions, unless it can detect the abnormal areas in the first place. Furthermore, the conventional diagnostic support function does not detect areas that require careful observation before the abnormal area, such as a lesion, is detected, and does not prevent the abnormal area, such as a lesion, from being overlooked.
  • the present invention has been made in consideration of the above circumstances, and aims to provide an endoscopic diagnosis support method, an inference model, an endoscopic image processing device, an endoscopic image processing system, and an endoscopic image processing program that detect areas that require careful observation and notify the surgeon to observe carefully so as not to miss abnormal areas such as lesions.
  • An endoscopic diagnostic support method is a diagnostic support method for an endoscope having an imaging unit at a tip for acquiring an image of a lumen, which detects an acquisition position, which is the position within the lumen at which the tip acquires the image, detects the speed at which the tip of the endoscope advances and retreats through the lumen, and determines whether the speed of the tip of the endoscope passing through a region of attention that can be determined based on predetermined conditions is within a range of appropriate observation speeds.
  • the endoscopic diagnosis support method, inference model, endoscopic image processing device, endoscopic image processing system, and endoscopic image processing program of the present invention can detect areas that require careful observation and notify the surgeon to observe carefully to avoid overlooking abnormal areas such as lesions.
  • FIG. 1 is a diagram showing an endoscope system according to a first embodiment.
  • 1A and 1B are diagrams illustrating shape observation of an endoscope by an observation device.
  • FIG. 2 is a functional block diagram of the endoscope system.
  • 4 is a functional block diagram of an attention area detection unit of the endoscope system.
  • FIG. 13 is a diagram illustrating an example of an attention area determination table.
  • FIG. 13 is a diagram illustrating an example of a speed limit determination table.
  • FIG. 13 is a diagram illustrating an example of a composite image.
  • 4 is a flowchart of the endoscope system.
  • FIG. 11 is a functional block diagram of an endoscope system according to a second embodiment.
  • 4 is a functional block diagram of a speed determination unit in the endoscope system.
  • FIG. FIG. 4 is a conceptual diagram of an inference model of the speed determination unit.
  • FIG. 1 An endoscope system 500 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 8.
  • FIG. 1 An endoscope system 500 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 8.
  • FIG. 1 An endoscope system 500 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 8.
  • FIG. 1 An endoscope system 500 according to a first embodiment of the present invention will be described with reference to FIGS. 1 to 8.
  • FIG. 1 is a diagram showing an endoscope system 500 .
  • the endoscope system (endoscopic image processing system) 500 includes an endoscope 100, an image processing processor device 200, a light source device 300, a display device 400, and an observation device 600.
  • the image processing processor device 200 and the light source device 300 may be an integrated device (image control device).
  • the light source device 300 has a light source 310 such as an LED, and controls the light source to control the amount of illumination light transmitted to the endoscope 100 via the light guide 161.
  • a light source 310 such as an LED
  • the display device 400 is a device that displays images generated by the image processing processor device 200 and various information related to the endoscope system 500.
  • the display device 400 is, for example, a liquid crystal monitor.
  • FIG. 2 is a diagram for explaining shape observation of the endoscope 100 by the observation device 600.
  • the observation device 600 is a device that uses a magnetic field to observe the insertion shape of the endoscope 100.
  • the observation device 600 receives, for example, a magnetic field generated from a magnetic coil 112 built into the insertion section 110 of the endoscope 100 by a magnetic antenna 610.
  • the observation result of the observation device 600 is acquired by the image processing processor device 200.
  • the image processing processor device 200 uses a technology called UPD (Endoscope Position Detecting) to calculate the three-dimensional position of the magnetic coil 112 from the strength of the received magnetic field, connects the three-dimensional positions of the magnetic coil 112 with a smooth curve, and further performs graphic processing to make the three-dimensional position of the magnetic coil 112 easier to see, thereby generating an image of the insertion shape of the endoscope 100.
  • UPD Endoscope Position Detecting
  • the endoscope 100 is a device for observing and treating the inside of the body of a patient lying on, for example, an operating table T.
  • the endoscope 100 includes an elongated insertion section 110 that is inserted into the body of the patient, an operation section 180 that is connected to the base end of the insertion section 110, and a universal cord 190 that extends from the operation section 180.
  • the insertion section 110 has a tip section 120, a freely bendable bending section 130, and a long, flexible flexible tube section 140.
  • the tip section 120, the bending section 130, and the flexible tube section 140 are connected in that order from the tip side.
  • the flexible tube section 140 is connected to the operation section 180.
  • FIG. 3 is a functional block diagram of the endoscope system 500.
  • the tip portion 120 has an imaging section 150, an illumination section 160, and a sensor 170.
  • the imaging unit 150 has an optical system, an imaging element that converts optical signals into electrical signals, and an AD conversion circuit that converts analog signals output by the imaging element into digital signals.
  • the imaging unit 150 captures an image of a subject and generates an imaging signal.
  • the imaging signal is acquired by the image processing processor device 200 via an imaging signal cable 151.
  • the illumination unit 160 irradiates the subject with illumination light transmitted by the light guide 161.
  • the light guide 161 is connected to the light source device 300 by inserting the insertion unit 110, the operation unit 180, and the universal cord 190.
  • the illumination unit 160 may have a light source such as an LED, or an optical element such as a phosphor having a wavelength conversion function.
  • the sensor 170 detects the position of the tip 120 and the speed and direction of the tip 120.
  • the sensor 170 is, for example, an acceleration sensor, a gyro sensor, or a combination of an acceleration sensor and a gyro sensor.
  • the output of the sensor 170 is acquired by the image processing processor device 200 via a signal cable 171.
  • the operation unit 180 (see FIG. 1) accepts operations on the endoscope 100.
  • the operation unit 180 has an ankle knob 181 that controls the bending portion 130, an air/water supply button 182, a suction button 183, and a release button 184. Operations input to the air/water supply button 182, the suction button 183, and the release button 184 are acquired by the image processing processor 200.
  • the release button 184 is a push button that inputs an operation to save the captured image acquired from the imaging unit 150.
  • the ankle knob 181 is a rotating handle that bends the bending portion 130. Bending the bending portion 130 makes it easier to insert and remove the insertion portion 110.
  • the universal cord 190 (see FIG. 1) connects the endoscope 100 and the image processor device 200.
  • the universal cord 190 is a cable through which the imaging signal cable 151, the light guide 161, the signal cable 171, etc. are inserted.
  • the image processor device 200 includes an image acquisition section 210 , an abnormal region detection section 220 , an endoscopic diagnosis support section 230 , and an image synthesis section 290 .
  • the image processor device 200 is a computer capable of executing programs and equipped with a processor such as a CPU, a memory, a recording unit, etc.
  • the functions of the image processor device 200 are realized by the processor executing a program (such as an endoscopic image processing program). At least some of the functions of the image processor device 200 may be realized by a dedicated logic circuit implemented in an ASIC or FPGA.
  • the image processor device 200 may further include components other than the processor, memory, and recording unit.
  • the image processor device 200 may further include an image calculation unit that performs part or all of the image processing and image recognition processing.
  • the image processor device 200 can execute specific image processing and image recognition processing at high speed.
  • the image calculation unit may be a calculator provided in a cloud server connected via the Internet.
  • the recording unit is a non-volatile recording medium that stores the above-mentioned program and data necessary for executing the program.
  • the recording unit is composed of, for example, a writable non-volatile memory such as a ROM or a flash memory, a portable medium such as a CD-ROM, or a storage device such as a hard disk or SSD built into a computer system.
  • the recording unit may also be a storage device provided in a cloud server connected via the Internet.
  • the above program may be provided by a "computer-readable recording medium” such as a flash memory.
  • the program may be transmitted from a computer that holds the program to a memory or a recording unit via a transmission medium, or by transmission waves in the transmission medium.
  • a "transmission medium” that transmits a program is a medium that has the function of transmitting information.
  • Media that have the function of transmitting information include networks (communication networks) such as the Internet and communication lines (communication lines) such as telephone lines.
  • the above program may realize some of the functions described above.
  • the above program may be a difference file (difference program).
  • the functions described above may be realized by combining a program already recorded in the computer with a difference program.
  • the image acquisition unit 210 acquires an imaging signal from the imaging unit 150 of the endoscope 100 via an imaging signal cable 151.
  • the image acquisition unit 210 performs imaging signal processing on the imaging signal acquired from the imaging unit 150 to generate an image D.
  • the imaging signal processing includes image adjustments (image construction) such as demosaicing, gain adjustment, white balance adjustment, gamma correction, noise reduction, contrast enhancement, and color change processing.
  • the image acquisition unit 210 outputs the acquired captured image D to the image synthesis unit 290. It also outputs the acquired captured image D to the abnormal region detection unit 220 and the endoscopic diagnosis support unit 230.
  • the abnormal region detection unit 220 detects abnormal regions (areas of interest, areas of concern) from the captured image D.
  • the abnormal regions detected by the abnormal region detection unit 220 are as follows:
  • the abnormal region detection unit 220 detects, for example, a lesion as an abnormal region (region A). Detection of a lesion includes lesion detection (lesion location detection, lesion differentiation, lesion progression determination, etc.).
  • the abnormal region detection unit 220 detects a lesion from the captured image D, for example, by a machine learning model for lesion detection generated by machine learning using the captured image D for learning.
  • the machine learning model for lesion detection may be trained for each condition, such as the part of the subject and the light source used (normal light source and special light source), and a machine learning model may be generated for each condition.
  • the abnormal region detection unit 220 detects, for example, regions with color abnormalities such as residue or bleeding as abnormal regions. Residue has a lot of ochre components. Bleeding has a lot of red components. Based on these characteristics, the abnormal region detection unit 220 detects regions with color abnormalities as abnormal regions.
  • the abnormal region detection unit 220 detects, for example, a region where air supply is insufficient as an abnormal region.
  • the abnormal region detection unit 220 may detect a region where air supply is insufficient from the captured image D using a machine learning model that has been trained in advance to detect a region where air supply is insufficient from the width of the lumen, the degree of wrinkles, etc. in the captured image D.
  • the abnormal region detection unit 220 detects, for example, a peristaltic region as an abnormal region. For example, based on information from the captured image D and the sensor 170, the abnormal region detection unit 220 determines that a region that moves at a predetermined speed or faster is a peristaltic region.
  • the abnormal area detection unit 220 When the abnormal area detection unit 220 detects an abnormal area, it outputs information about the abnormal area (the position and contents of the abnormal area) to the attention area detection unit 240 and the image synthesis unit 290.
  • the endoscopic diagnosis support unit 230 detects areas of interest that should be observed carefully from the captured image D, and notifies the surgeon to carefully observe the areas of interest.
  • the endoscopic diagnosis support unit 230 also generates diagnosis support information for the areas of interest.
  • the "area of interest” is an area that can be determined under predetermined conditions, and includes at least one of an abnormal area (area A) such as a lesion, and a structural area (area B) that should be noted and is determined by the divided structure (site) in the lumen.
  • the structural area (area B) that should be noted and is determined by the divided structure (site) in the lumen is, for example, an area (area B1) where abnormal areas such as lesions are likely to occur, an area with a complex structure such as a bend that is likely to be overlooked (area B2), an area with many parts that should be observed (area B3), etc.
  • the endoscopic diagnosis support unit 230 may be a device (hereinafter also referred to as an "endoscopic diagnosis support device") separate from the image processing processor device 200.
  • the endoscopic diagnosis support device may be a computing device provided in a cloud server connected via the Internet.
  • the endoscopic diagnosis support unit 230 includes an attention area detection unit 240, a speed detection unit 250, a direction detection unit 260, a speed determination unit 270, and a diagnosis support information generation unit 280.
  • FIG. 4 is a functional block diagram of the attention area detection unit 240.
  • the attention region detection unit 240 acquires the detection result of an abnormal region (region A) such as a lesion from the abnormal region detection unit 220, and detects the abnormal region (region A) as an attention region.
  • the attention region detection unit 240 also detects a structural region (region B) that requires attention, which is determined by a divided structure (site) in a lumen, as an attention region.
  • the attention region detection unit 240 has a structure detection unit 241, a table recording unit 242, and a determination unit 245.
  • the structure detection unit 241, the table recording unit 242, and the determination unit 245 detect the structural region (region B) that requires attention.
  • the structure detection unit 241 detects the position in the lumen where the tip 120 of the endoscope 100 acquires the captured image D (hereinafter also referred to as the "acquisition position").
  • acquisition position the position in the lumen where the tip 120 of the endoscope 100 acquires the captured image D
  • the structure detection unit 241 identifies the acquisition position of the captured image D by the "divided structures (parts) in the large intestine" such as the cecum, ascending colon, transverse colon, descending colon, sigmoid colon, and rectosigmoid portion.
  • the structure detection unit 241 identifies the acquisition position of the captured image D by the "divided structures (parts) in the stomach” such as the pharynx, esophagus, and inside the stomach. Note that the acquisition position identified by the structure detection unit 241 is not limited to the "divided structures (parts) in the lumen" and may be a coordinate value, etc.
  • the structure detection unit 241 may (1) detect the acquisition position of the captured image D based on the captured image D, (2) detect the acquisition position of the captured image D based on the output of the sensor 170, or (3) detect the acquisition position of the captured image D based on the insertion shape of the endoscope 100 detected by the observation device 600.
  • the detection methods (1) to (3) are described below.
  • the structure detection unit 241 may identify the structure of the lumen contained in the captured image D by pattern matching. For example, the structure detection unit 241 compares the captured image D with images of each part recorded in advance, and identifies the structure of the lumen contained in the captured image D based on the similarity to each part recorded in advance.
  • the structure detection unit 241 may infer and identify the structure (parts) of the lumen contained in the captured image D using an inference model.
  • the inference model is obtained by machine learning using images of each part recorded in advance as training data.
  • the structure detection unit 241 may identify the structure of the lumen contained in the captured image D based on the output of the sensor 170 (the speed, direction, posture, etc. of the tip portion 120).
  • the structure detection unit 241 may identify the structure of the lumen included in the captured image D based on the insertion shape of the endoscope 100 detected by the observation device 600. Specifically, the structure detection unit 241 detects the position of the tip portion 120 of the endoscope 100 based on the three-dimensional shape of the insertion portion 110 detected by the observation device 600, and identifies the structure of the lumen included in the captured image D.
  • the structure detection unit 241 may identify the structure of the lumen contained in the captured image D by combining the detection methods (1) to (3) described above.
  • the structure detection unit 241 transmits the acquisition position within the lumen (the divided structure within the lumen) at which the tip portion 120 of the endoscope 100 acquires the captured image D to the determination unit 245.
  • the determination unit 245 determines the attention area level of the acquired position in the lumen (the divided structure in the lumen) acquired from the structure detection unit 241 based on a predetermined condition. Specifically, the determination unit 245 determines whether the acquired position in the lumen (the divided structure in the lumen) acquired from the structure detection unit 241 is a low speed area L1, a normal speed area L2, or a judgment-free area L3.
  • the low speed area L1 is an attention area, and is an area in which the tip 120 of the endoscope 100 needs to be moved at a low speed.
  • the normal speed area L2 is an area other than the attention area, and is an area in which the tip 120 of the endoscope 100 can be operated at a normal speed or without speed restrictions.
  • the judgment-free area L3 is, for example, an area through which the insertion section 110 of the endoscope 100 passes when inserting it into a lumen, and is an area where it is not necessary to determine whether it is an attention area or not.
  • the conditions for determining the attention area level can be changed by the user.
  • the determination unit 245 transmits the structure (part) of the lumen contained in the captured image D and the attention area level to the speed determination unit 270.
  • the determination unit 245 may determine the attention area level in more detail based on the attention area determination table 243 recorded in the table recording unit 242.
  • the table recording unit 242 is part of the recording unit described above, and is a non-volatile recording medium.
  • the table recording unit 242 records the attention area determination table 243.
  • FIG. 5 is a diagram showing an example of the attention area determination table 243.
  • the attention area determination table 243 is data associating the structure of the lumen with the probability (attention area probability) P (%) that the structure is an attention area.
  • the "attention area probability P" is, for example, the probability that the area is an area where abnormal areas such as lesions are likely to occur (probability P1), the probability that the area is an area with a complex structure such as a bent part and is likely to be overlooked (probability P2), the probability that the area has many parts to be observed (probability P3), etc.
  • the attention area probability P may be a combination of two or more of the above probabilities P1 to P3.
  • P1, P2, and P3 may all be 100%.
  • the determination unit 245 refers to the attention area determination table 243 and determines the "attention area probability P (%)" corresponding to the luminal structure included in the captured image D acquired from the structure detection unit 241.
  • the determination unit 245 transmits the luminal structure (part) included in the captured image D and the probability P that it is an attention area to the speed determination unit 270.
  • the determination unit 245 When the determination unit 245 obtains a detection result of an abnormal area (area A) such as a lesion from the abnormal area detection unit 220, it sets the attention area probability P that the structure in question will be an attention area to 100%.
  • the speed detection unit 250 detects the speed at which the tip 120 of the endoscope 100 advances and retreats through the lumen.
  • the speed detection unit 250 may (1) detect the speed of the tip 120 based on the output of the sensor 170, (2) detect the speed of the tip 120 based on the captured image D, or (3) detect the speed of the tip 120 based on a positional change in the insertion shape of the endoscope 100 detected by the observation device 600.
  • the detection methods (1) to (3) are described below.
  • the speed detection unit 250 may detect the speed at which the tip portion 120 of the endoscope 100 advances and retreats through the lumen based on the output of the sensor 170. Specifically, the speed detection unit 250 calculates the speed at which the tip portion 120 advances and retreats through the lumen from the output of the sensor 170 (acceleration sensor, gyro sensor, etc.) mounted on the tip portion 120.
  • the sensor 170 acceleration sensor, gyro sensor, etc.
  • the speed detection unit 250 may detect the speed at which the tip 120 of the endoscope 100 advances and retreats through the lumen based on the captured image D. Specifically, the speed detection unit 250 detects the speed from the movement of the object (optical flow) between frames (frames) of the captured image D. For example, the speed detection unit 250 can detect the speed at which the tip 120 advances and retreats through the lumen by detecting how the characteristics of the observed area (e.g., blood vessel pattern and thickness) change between frames (frames). The speed detection unit 250 can calculate the speed of the tip 120 based on the angle of view (determined by the image sensor size and optical system) from the amount of movement between frames (frames) of a characteristic point such as a specific blood vessel.
  • the speed detection unit 250 can calculate the speed of the tip 120 based on the angle of view (determined by the image sensor size and optical system) from the amount of movement between frames (frames) of a characteristic point such as a specific blood vessel.
  • the speed detection unit 250 may detect the speed of the tip portion 120 by combining the detection methods (1) to (3) described above.
  • the detected speed of the tip 120 of the endoscope 100 is obtained by the speed determination unit 270.
  • the direction detection unit 260 detects the direction of advancement and retreat (insertion direction, removal direction) of the tip 120 of the endoscope 100 in the lumen.
  • the direction detection unit 260 may (1) detect the direction of advancement and retreat of the tip 120 based on the output of the sensor 170, (2) detect the direction of advancement and retreat of the tip 120 based on the captured image D, or (3) detect the direction of advancement and retreat of the tip 120 based on a positional change in the insertion shape of the endoscope 100 detected by the observation device 600.
  • the detection methods (1) to (3) are described below.
  • the direction detection unit 260 may detect the moving direction of the tip 120 of the endoscope 100 based on the output of the sensor 170. Specifically, the speed detection unit 250 detects the moving direction of the tip 120 from the output of the sensor 170 (acceleration sensor, gyro sensor, etc.) mounted on the tip 120.
  • the sensor 170 acceleration sensor, gyro sensor, etc.
  • the direction detection unit 260 may detect the moving direction of the tip 120 of the endoscope 100 based on the captured image D. Specifically, the speed detection unit 250 detects the direction from a log (history) of the observed structure (parts) of the lumen. For example, when the observed order of stomach parts is pharynx ⁇ esophagus ⁇ stomach, the direction detection unit 260 detects that the moving direction of the tip 120 is the "insertion direction.” When the observed order of stomach parts is stomach ⁇ esophagus, the direction detection unit 260 detects that the moving direction of the tip 120 is the "removal direction.”
  • the direction detection unit 260 may detect the advancement/retraction direction of the tip 120 of the endoscope 100 based on the positional change of the insertion shape of the endoscope 100 detected by the observation device 600.
  • the structure detection unit 241 detects the positional change of the tip 120 of the endoscope 100 based on the three-dimensional shape of the insertion section 110 detected by the observation device 600, and detects the advancement/retraction direction of the tip 120.
  • the direction detection unit 260 may detect the direction of movement of the tip 120 by combining the detection methods (1) to (3) described above.
  • the detected direction of movement of the tip 120 of the endoscope 100 is obtained by the speed determination unit 270.
  • the speed determination unit 270 determines whether the speed of the tip 120 of the endoscope 100 passing through the attention area of the lumen is within a range of appropriate observation speeds based on the detection results of the attention area detection unit 240, the speed detection unit 250, and the direction detection unit 260.
  • the speed determination unit 270 selects the range of appropriate observation speeds that correspond to the attention area levels (low speed area L1, normal speed area L2, judgment-free area L3).
  • the range of appropriate observation speeds that corresponds to the low speed area L1 is a speed range that is slower than the range of appropriate observation speeds that corresponds to the normal speed area L2.
  • the range of appropriate observation speeds that corresponds to the judgment-free area L3 is not set.
  • the speed determination unit 270 determines the upper limit speed Vmax of the range of appropriate speeds for observation, for example, as shown in Equation 1.
  • P is the attention area probability P (%).
  • NVmax is the upper limit speed of the range of speeds appropriate for observing normal areas that are not attention areas.
  • ⁇ is an arbitrary coefficient.
  • the upper limit speed Vmax of the range of appropriate speeds for observation becomes lower as the attention area probability P becomes higher.
  • the upper limit speed NVmax may be set to a different speed for each lumen structure.
  • the speed determination unit 270 may set a low upper limit speed NVmax for a lumen structure through which it is difficult to insert the endoscope 100, regardless of whether or not there is a caution area.
  • the speed determination unit 270 may adjust the coefficient ⁇ according to the proficiency of the surgeon to adjust the upper limit speed Vmax of the range of appropriate observation speeds. For example, the speed determination unit 270 may adjust the coefficient ⁇ so that when a surgeon with a low level of proficiency operates the endoscope 100, the upper limit speed Vmax is lower than when a surgeon with a high level of proficiency operates the endoscope 100.
  • the speed determination unit 270 may determine the upper limit speed Vmax of the range of appropriate observation speeds, for example, as shown in Equation 2.
  • P is the attention area probability P (%).
  • V1 and V2 are predetermined speeds (V1>V2).
  • Pth is the threshold of the attention area probability P.
  • ⁇ is an arbitrary coefficient.
  • the upper limit speed Vmax of the range of appropriate observation speeds determined based on Equation 2 is lower when the attention area probability P is equal to or greater than the threshold Pth, compared to when the attention area probability P is less than the threshold Pth.
  • the number of thresholds for the attention area probability P may be 2 or more.
  • FIG. 6 is a diagram illustrating an example of the upper limit speed determination table.
  • the speed determination unit 270 may determine the upper limit speed Vmax of the range of appropriate observation speeds from the type of structure of the lumen based on, for example, an upper limit speed determination table as shown in FIG.
  • the speed determination unit 270 determines whether the speed of the tip 120 of the endoscope 100 passing through the attention area of the lumen is within the range of appropriate observation speeds based on the range of appropriate observation speeds (including the upper limit speed Vmax) determined by the method described above. When the speed of the tip 120 of the endoscope 100 is outside the range of appropriate observation speeds, the speed determination unit 270 notifies the diagnosis support information generation unit 280 of that fact.
  • FIG. 7 is a diagram showing an example of the composite image S1.
  • the diagnostic assistance information generating unit 280 When the speed of the tip 120 of the endoscope 100 passing through the attention region is outside the range of appropriate observation speeds, the diagnostic assistance information generating unit 280 generates diagnostic assistance information for the attention region.
  • the diagnostic assistance information is information displayed in a diagnostic assistance image S2 that is a part of a composite image S1 shown in FIG.
  • the diagnostic assistance information includes endoscope position information 281, alert information 282, and speed information 283.
  • Endoscope position information 281 is information that indicates the position of the tip 120 of the endoscope 100. As shown in FIG. 7, endoscope position information 281 may be displayed as a diagram that visualizes the position of the tip 120 in the lumen.
  • Alert information 282 is information that warns that the tip 120 of the endoscope 100 is located in a caution area.
  • the alert information 282 may be displayed as text as shown in FIG. 7, or may be notified by voice.
  • the speed information 283 is information indicating the speed of the tip 120 of the endoscope 100 and the range of appropriate speeds for observation. As shown in FIG. 7, the speed information 283 may be displayed as speed information in which the speed of the tip 120 of the endoscope 100 and the range of appropriate speeds for observation are visualized using a speed meter.
  • the endoscopic diagnosis support unit 230 does not have to have the diagnosis support information generation unit 280.
  • the endoscopic diagnosis support unit 230 does not have the diagnosis support information generation unit 280, when the speed determination unit 270 detects that the speed of the tip 120 of the endoscope 100 is outside the range of appropriate observation speeds, the surgeon is notified, for example, by sound or the like.
  • the means by which the endoscopic diagnosis support unit 230 notifies the surgeon is not limited to display means, but may be sound, vibration, or other means.
  • the image synthesis unit 290 generates a synthetic image S1 that includes the captured image D, information about the abnormal area, and diagnostic support information.
  • the image synthesis unit 290 obtains information about an abnormal area from the abnormal area detection unit 220, it superimposes a highlight using a marker at the position where the abnormal area is detected, for example.
  • the image synthesis unit 290 acquires the diagnostic assistance information from the diagnostic assistance information generation unit 280, it displays the captured image D and the diagnostic assistance image S2 side by side, as shown in FIG. 7, for example.
  • step S110 the endoscopic diagnosis support unit 230 detects the insertion direction of the endoscope 100.
  • the direction detection unit 260 acquires the output of the sensor 170 and detects the advancement/retraction direction (insertion direction, removal direction) of the tip portion 120 of the endoscope 100 based on the output of the sensor 170.
  • the speed detection unit 250 may detect the advancement/retraction direction of the endoscope 100 from the captured image D. If the insertion direction of the endoscope is the insertion direction, the endoscopic system 500 next executes step S120. If the insertion direction of the endoscope is the removal direction, the endoscopic system 500 next executes step S140.
  • step S120 the endoscopic diagnosis support unit 230 detects the structure of the large intestine.
  • the structure detection unit 241 detects the structure of the large intestine contained in the captured image D from the captured image D.
  • the endoscope system 500 then executes step S130.
  • the endoscope system 500 may perform a preliminary diagnosis in step S120.
  • a preliminary diagnosis is a process of detecting abnormal areas or structural areas requiring attention in advance based on an image D captured when the endoscope 100 is inserted.
  • the results of the preliminary diagnosis are used in step S140.
  • step S130 the endoscopic diagnosis support unit 230 determines whether the tip 120 of the endoscope 100 has reached the cecum. Specifically, the structure detection unit 241 determines whether the detected structure of the large intestine is the cecum. If the detected structure of the large intestine is not the cecum, the endoscopic system 500 continues with step S120. If the detected structure of the large intestine is the cecum, the endoscopic system 500 executes step S140.
  • Step S140 When the advancing/retracting direction of the endoscope 100 is the removal direction or when the tip portion 120 of the endoscope 100 has reached the cecum, the surgeon is observing and treating the inside of the large intestine. Therefore, in step S140, the endoscopic diagnosis support unit 230 detects a region of interest.
  • the endoscopic diagnosis support unit 230 can detect the area of interest in step S140 before the tip 120 of the endoscope 100 actually passes through the area of interest.
  • step S150 the endoscopic diagnosis support unit 230 determines whether the speed of the endoscope is within a range of appropriate observation speeds. If the speed of the tip portion 120 of the endoscope 100 is within the appropriate observation speed range, the endoscopic system 500 then executes step S160. If the speed of the tip portion 120 of the endoscope 100 is outside the appropriate observation speed range, the endoscopic system 500 then executes step S170.
  • step S160 the endoscopic diagnosis support unit 230 notifies the surgeon of the diagnosis support information.
  • the endoscope system 500 then executes step S180.
  • step S170 the endoscopic diagnosis support unit 230 notifies the surgeon of diagnosis support information including a warning, and urges the surgeon to observe carefully so as not to overlook an abnormal region.
  • the endoscope system 500 then executes step S180.
  • step S180 the endoscopic diagnosis support unit 230 determines whether the procedure has ended. If the endoscopic diagnosis support unit 230 determines that the procedure has not ended, it executes step S140 and subsequent steps. If the endoscopic diagnosis support unit 230 determines that the procedure has ended, it executes step S190 and ends the control flow shown in FIG. 8.
  • the image synthesis unit 290 for example, superimposes a highlight using a marker on the position where the abnormal region is detected.
  • the endoscopic diagnosis support unit 230 may also generate diagnosis support information for the abnormal region.
  • the endoscopic diagnosis support unit 230 can detect an attention area that should be observed carefully and notify the surgeon to observe carefully so as not to miss an abnormal area such as a lesion.
  • an endoscopic image processing device 200 and an endoscopic image processing system 500 are illustrated that are characterized by including an image information acquisition unit 210 that acquires image information from an endoscope 100 having an imaging unit 150 that acquires an image of a lumen at the tip 120, a lumen advancement/retraction speed detection unit 250 that detects the speed at which the tip 120 of the endoscope 100 advances/retracts (passes through) the lumen, and an appropriate observation speed determination unit 270 that determines whether the speed of the tip 120 of the endoscope 100 passing through a predetermined intraluminal attention area is within the range of an appropriate observation speed.
  • This intraluminal attention area can be determined or inferred under predetermined conditions by detecting the acquisition position, which is the position in the lumen where the tip 120 of the endoscope 100 acquires the image.
  • these functions can be realized by software, and specifically, they can be realized by an endoscopic image processing program that causes a computer to execute an image information acquisition step of acquiring image information from an endoscope 100 having an imaging unit 150 at its tip 120 that acquires images of the lumen, a lumen advancement/retraction speed detection step of detecting the speed at which the tip 120 of the endoscope 100 advances/retracts through the lumen, and an appropriate observation speed determination step of determining whether the speed at which the tip 120 passes through a specific intraluminal area of interest is within the range of appropriate observation speeds.
  • FIG. 9 is a functional block diagram of an endoscope system 500B according to the second embodiment.
  • the endoscope system 500B includes an endoscope 100, an image processing processor device 200B, a light source device 300, and a display device 400.
  • the image processing device 200B includes an image acquisition unit 210, an abnormal area detection unit 220, an endoscopic diagnosis support unit 230B, and an image synthesis unit 290.
  • the endoscopic diagnosis support unit 230B detects areas of interest that should be observed carefully from the captured image D, and notifies the surgeon to carefully observe the areas of interest.
  • the endoscopic diagnosis support unit 230B also generates diagnostic support information for the areas of interest.
  • the endoscopic diagnosis support unit 230B includes a speed determination unit 270B and a diagnostic support information generation unit 280.
  • FIG. 10 is a functional block diagram of the speed determination unit 270B.
  • the speed determination unit 270B detects image features of an attention area that should be observed carefully from the captured image D of the lumen, and determines whether the speed of the tip 120 of the endoscope 100 passing through the attention area of the lumen is within a range of an appropriate observation speed.
  • the speed determination unit 270B has an image buffer 276, a model recording unit 277, and an inference unit 279.
  • the image buffer 276 is part of the recording unit described above and is a non-volatile recording medium.
  • the image buffer 276 is part of the memory described above and may be a volatile recording medium.
  • the image buffer 276 records the multiple captured images D that are transferred.
  • a plurality of captured images D are recorded in the image buffer 276.
  • the plurality of captured images D recorded in the image buffer 276 may be captured images D of consecutive frames, or may be captured images D in which a plurality of frames have been thinned out from consecutive frames.
  • the model recording unit 277 is part of the recording unit described above, and is a non-volatile recording medium.
  • the model recording unit 277 records the inference model 278.
  • FIG. 11 is a conceptual diagram of an inference model 278.
  • the inference model 278 is a model obtained by machine learning using as training data image frames (learning captured images) of the endoscope 100 in a plurality of cases, and results of determining whether the image frames are overlooked, determining areas that are likely to be overlooked using the image frames, and annotating the inspection speed appropriate for inspecting the areas.
  • the inference model 278 is, for example, a neural network, and is learned by deep learning. Note that the inference model 278 is not limited to a neural network, and may be another machine learning model that can output information for an input image.
  • the input of the inference model 278 is the captured image D, which is preferably a plurality of captured images (image frames) arranged in chronological order.
  • the output of the inference model 278 is a determination as to whether the speed of the tip 120 of the endoscope 100 is within a range of appropriate observation speeds.
  • the inference model 278 may output the structure of the lumen contained in the image frames and the range of optimal observation speeds.
  • FIG. 12 is a diagram illustrating the teacher data.
  • the training data a video (a series of still images) obtained in endoscopic examinations of multiple cases is used.
  • the training data is a combination of image frames (learning captured images) and the results of determining whether the image frames are overlooked, determining areas that are likely to be overlooked using the image frames, and annotating the examination speed appropriate for the examination of the areas.
  • the inference model 278 is a model that has been trained to output a corresponding annotation for the input image frame (learning captured image).
  • the inference model 278 can predict that there is an attention area in the image frame three frames after the image core three frames before where the attention area appears, making it possible to alert the user early on. Also, image frames with "there is an attention area (continuous) that contains an unclear part” are examples that are easy to select as training data.
  • the inference model 278's ability to make good inferences depends on whether a wealth of training data is collected.
  • the training data shown in FIG. 12 has the advantage that it can easily select suitable images as training data from a group of images using conventional lesion detection technology and image degradation assessment technology.
  • annotations included in the training data may be annotations such as an image frame that is likely to contain a lesion following an image frame that contains a specific feature, or annotations such as an image core that is difficult to reconstruct in three dimensions and should not be overlooked.
  • FIG. 13 is a flowchart showing the teacher data acquisition process.
  • step S210 endoscopic images prepared for learning are sequentially judged.
  • an endoscopic image has an abnormal area such as a lesion (step S220) or has a problem such as reduced visibility (step S230)
  • the endoscopic image is acquired as teacher data.
  • the presence of the abnormal area or the problem such as reduced visibility is also acquired as an annotation.
  • a workaround for avoiding the problem may also be recorded as an annotation.
  • FIG. 14 is a flowchart showing the training process of the inference model 278.
  • the learning of the inference model 278 is performed by a learning device.
  • the learning device may be the image processor device 200 or an external computing device other than the image processor device 200.
  • step S310 the above-mentioned teacher data is input to the learning device.
  • step S320 the learning device creates an inference model 278 using the teacher data.
  • step S310 the learning device performs inference using the inference model 278 on test data (data similar to the teacher data, but not used for learning) to check whether the inference of the inference model 278 is reliable. If the inference of the inference model 278 is not reliable, the learning device performs step S310 again. At this time, at least a portion of the teacher data is replaced to improve the inference model 278 to a more reliable one.
  • the endoscopic diagnosis support unit 230B generates the inference model 278 using intraluminal image information obtained during the intraluminal insertion process of endoscopic examination in multiple cases, and can output diagnosis support information when detecting images of specific target areas that require attention during examination.
  • the inference unit 279 inputs the captured image D stored in the image buffer 276 to the inference model 278 to obtain a judgment as to whether the speed of the tip 120 of the endoscope 100 is within the range of an appropriate observation speed.
  • the inference unit 279 outputs the judgment result to the diagnosis support information generation unit 280.
  • the inference unit 279 may use general-purpose calculation processing circuits such as a CPU or FPGA (Field Programmable Gate Array), but since much of the processing in neural networks involves matrix multiplication, it may also use something called a GPU (Graphic Processing Unit) or Tensor Processing Unit (TPU), which are specialized for matrix calculations.
  • a GPU Graphic Processing Unit
  • TPU Tensor Processing Unit
  • AI artificial intelligence
  • NPUs neural network processing units
  • the endoscopic diagnosis support unit 230B (endoscopic diagnosis support device) can detect areas that require careful observation and notify the surgeon to observe carefully so as not to miss abnormal areas such as lesions.
  • the endoscopic diagnostic support unit performs diagnostic support on images from a medical endoscope.
  • the diagnosis target of the endoscopic diagnostic support unit is not limited to images from a medical endoscope.
  • the endoscopic diagnostic support unit may perform diagnostic support on captured images acquired from other imaging devices such as cameras, video cameras, industrial endoscopes, microscopes, robots with image acquisition functions, smartphones, mobile phones, smartwatches, tablet terminals, notebook PCs, and other mobile devices.
  • the present invention can be applied to endoscope systems, etc.
  • 500, 500B Endoscope system (endoscopic image processing system) 400 Display device 300 Light source device 100 Endoscope 110 Insertion section 120 Tip section 150 Imaging section 170 Sensor 180 Operation section 190 Universal cord 200 Image processing processor device (endoscopic image processing device) 210 Image acquisition unit 220 Abnormal region detection unit 230 Endoscopic diagnosis support unit (endoscopic diagnosis support device) 240 Attention area detection unit 241 Structure detection unit 242 Table recording unit 243 Attention area determination table 245 Determination unit 250, 250B Speed detection unit 260 Direction detection unit 270 Speed determination unit 276 Image buffer 277 Model recording unit 278 Inference model 279 Inference unit 280 Diagnosis support information generation unit 281 Endoscope position information 282 Alert information 283 Speed information 290 Image synthesis unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡診断支援方法は、先端部に管腔の画像を取得する撮像部を有する内視鏡の診断支援方法において、前記先端部が前記画像を取得している前記管腔内の位置である取得位置を検出し、前記内視鏡の前記先端部が前記管腔を進退する速度を検出し、予め定められた条件で判定できる注意領域を通過する前記内視鏡の前記先端部の前記速度が適切な観察適切速度の範囲内であるかを判定する。

Description

内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラム
　本発明は、内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラムに関する。
　従来から医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を認定して、病変部に対する処置具を用いた処置を実施できる。
　近年、術者が病変部を見落すことを抑制するために、内視鏡画像に対して病変部の候補の位置を示したり鑑別情報を表示したりするコンピュータ支援画像診断（ＣＡＤ：Computer Aided Detection/Diagnosis）が開発されている。例えば、ＣＡＤにより病変部が発見されると、内視鏡画像上に枠などのマーカによる強調表示を提示することで、病変部が存在することを術者に報知する診断支援機能が提案されている。
　このような診断支援機能は、病変部などの異常領域を確認するために有効である。しかし、診断支援機能を用いたとしても、内視鏡の操作状況や内視鏡画像の内容によっては、術者が病変部などの異常領域を見落とす可能性がある。そこで、例えば、特許文献１では医療画像のリアルタイム性に応じて病変等の情報を強調表示することよって、病変等の見落としを防止しようとする医療画像処理装置が提示されている。
特開２０２３―０２６４８０号公報
　しがしながら、特許文献１等に記載された従来の診断支援機能は、そもそも病変部などの異常領域を検出できなければ、異常領域に対する強調表示を提示することができない。さらに、従来の診断支援機能は、病変部などの異常領域が検出される前に、注意して観察すべき注意領域を検出して、病変部などの異常領域の見逃しを防止するものではない。
　本発明は、このような事情に鑑みてなされたもので、注意して観察すべき注意領域を検出して、病変部などの異常領域の見逃しが発生しないように術者に丁寧に観察するように報知する内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラムを提供することを目的とする。
　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様に係る内視鏡診断支援方法は、先端部に管腔の画像を取得する撮像部を有する内視鏡の診断支援方法において、前記先端部が前記画像を取得している前記管腔内の位置である取得位置を検出し、前記内視鏡の前記先端部が前記管腔を進退する速度を検出し、予め定められた条件で判定できる注意領域を通過する前記内視鏡の前記先端部の前記速度が適切な観察適切速度の範囲内であるかを判定する。
　本発明の内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラムは、注意して観察すべき注意領域を検出して、病変部などの異常領域の見逃しが発生しないように術者に丁寧に観察するように報知できる。
第一実施形態に係る内視鏡システムを示す図である。 観察装置による内視鏡の形状観察を説明する図である。 同内視鏡システムの機能ブロック図である。 同内視鏡システムの注意領域検出部の機能ブロック図である。 注意領域判定テーブルの一例を示す図である。 限速度判定テーブルの一例を示す図である。 合成画像の一例を示す図である。 同内視鏡システムのフローチャートである。 第二実施形態に係る内視鏡システムの機能ブロック図である。 同内視鏡システムにおける速度判定部の機能ブロック図である。 同速度判定部の推論モデルの概念図である。 教師データを説明する図である。 教師データ取得工程を示すフローチャートである。 推論モデルの学習工程を示すフローチャートである。
（第一実施形態）
　本発明の第一実施形態に係る内視鏡システム５００について、図１から図８を参照して説明する。
[内視鏡システム５００]
　図１は、内視鏡システム５００を示す図である。
　内視鏡システム（内視鏡画像処理システム）５００は、内視鏡１００と、画像処理プロセッサ装置２００と、光源装置３００と、表示装置４００と、観察装置６００と、を備える。画像処理プロセッサ装置２００と光源装置３００とは、一体の装置（画像制御装置）であってもよい。
　光源装置３００は、ＬＥＤなどの光源３１０を有しており、光源を制御してライドガイド１６１を経由して内視鏡１００に伝送する照明光の光量を制御する。
　表示装置４００は、画像処理プロセッサ装置２００により生成された画像や、内視鏡システム５００に関する各種情報等を表示する装置である。表示装置４００は、例えば液晶モニタである。
　図２は、観察装置６００による内視鏡１００の形状観察を説明する図である。
　観察装置６００は、磁界を利用し内視鏡１００の挿入形状を観察する装置である。観察装置６００は、例えば、内視鏡１００の挿入部１１０に内蔵された磁気コイル１１２から発生する磁気を磁気アンテナ６１０により受信する。観察装置６００の観察結果は、画像処理プロセッサ装置２００に取得される。画像処理プロセッサ装置２００は、ＵＰＤ（Endoscope Position Detecting）と呼ばれる技術を用いて、受信した磁界の強さから磁気コイル１１２の３次元位置を算出し、磁気コイル１１２の３次元位置を滑らかな曲線で結び、さらに磁気コイル１１２の３次元位置を見やすくするためにグラフィック処理を施して、内視鏡１００の挿入形状の画像を生成できる。生成された内視鏡１００の挿入形状の画像は、表示装置４００に表示される。
［内視鏡１００］
　内視鏡１００は、例えば手術台Ｔに横たわる患者の体内を観察および処置する装置である。内視鏡１００は、患者の体内に挿入される細長い挿入部１１０と、挿入部１１０の基端に接続された操作部１８０と、操作部１８０から延出するユニバーサルコード１９０と、を備える。
　挿入部１１０は、先端部１２０と、湾曲自在な湾曲部１３０と、長尺で可撓性を有する可撓管部１４０と、を有する。先端部１２０と、湾曲部１３０と、可撓管部１４０と、は先端側から順に接続されている。可撓管部１４０は、操作部１８０に接続されている。
　図３は、内視鏡システム５００の機能ブロック図である。以降、図３に示す内視鏡システム５００の機能ブロックを、図１に示す内視鏡システム５００の構成に言及しつつ説明する。先端部１２０は、撮像部１５０と、照明部１６０と、センサ１７０と、を有する。
　撮像部１５０は、光学系と、光信号を電気信号に変換する撮像素子と、撮像素子が出力するアナログ信号をデジタル信号に変換するＡＤ変換回路と、を有する。撮像部１５０は、被写体を撮像して撮像信号を生成する。撮像信号は、撮像信号ケーブル１５１を経由して画像処理プロセッサ装置２００により取得される。
　照明部１６０は、ライドガイド１６１によって伝送された照明光を被写体に照射する。ライドガイド１６１は、挿入部１１０、操作部１８０およびユニバーサルコード１９０を挿通して、光源装置３００と接続される。なお、照明部１６０はＬＥＤなどの光源や波長変換機能を有する蛍光体等の光学素子等を有していてもよい。
　センサ１７０は、先端部１２０の位置や、先端部１２０の速度および方向を検出する。センサ１７０は、例えば、加速度センサや、ジャイロセンサや、加速度センサとジャイロセンサの組み合わせ等である。センサ１７０の出力は、信号ケーブル１７１を経由して画像処理プロセッサ装置２００により取得される。
　操作部１８０（図１参照）は、内視鏡１００に対する操作を受け付ける。操作部１８０は、湾曲部１３０を制御するアンクルノブ１８１と、送気送水ボタン１８２と、吸引ボタン１８３と、レリーズボタン１８４と、を有する。送気送水ボタン１８２、吸引ボタン１８３、およびレリーズボタン１８４に入力された操作は、画像処理プロセッサ装置２００によって取得される。レリーズボタン１８４は、撮像部１５０から取得した撮像画像を保存する操作が入力される押しボタンである。アンクルノブ１８１は、湾曲部１３０を湾曲させる回転ハンドルである。湾曲部１３０を湾曲させることで挿入部１１０の挿入や抜去が容易になる。
　ユニバーサルコード１９０（図１参照）は、内視鏡１００と画像処理プロセッサ装置２００とを接続する。ユニバーサルコード１９０は、撮像信号ケーブル１５１、ライドガイド１６１、および信号ケーブル１７１等が挿通するケーブルである。
［画像処理プロセッサ装置２００］
　画像処理プロセッサ装置（内視鏡画像処理装置）２００は、図３に示すように、画像取得部２１０と、異常領域検出部２２０と、内視鏡診断支援部２３０と、画像合成部２９０と、を備える。
　画像処理プロセッサ装置２００は、ＣＰＵなどのプロセッサ、メモリ、および記録部等を備えたプログラム実行可能なコンピュータである。画像処理プロセッサ装置２００の機能はプログラム（内視鏡画像処理プログラムなど）をプロセッサが実行することにより実現される。画像処理プロセッサ装置２００の少なくとも一部の機能は、ＡＳＩＣやＦＰＧＡに実装された専用の論理回路によって実現されていてもよい。
　画像処理プロセッサ装置２００は、プロセッサ、メモリおよび記録部以外の構成をさらに有してもよい。例えば、画像処理プロセッサ装置２００は、画像処理や画像認識処理の一部または全部を行う画像演算部をさらに有してもよい。画像演算部をさらに有することで、画像処理プロセッサ装置２００は、特定の画像処理や画像認識処理を高速に実行できる。画像演算部は、インターネットを経由して接続されるクラウドサーバに設けられた演算器であってもよい。
　記録部は、上述したプログラムおよびプログラムの実行に必要なデータを記憶する不揮発性の記録媒体である。記録部は、例えばＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクやＳＳＤなどの記憶装置等で構成される。記録部は、インターネットを経由して接続されるクラウドサーバに設けられた記憶装置等であってもよい。
　上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波によりメモリや記録部に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。
　画像取得部２１０は、内視鏡１００の撮像部１５０から撮像信号ケーブル１５１を経由して撮像信号を取得する。画像取得部２１０は、撮像部１５０から取得した撮像信号に対して撮像信号処理を実施して撮像画像Ｄを生成する。撮像信号処理は、例えば、デモザイキング、ゲイン調整、ホワイトバランス調整、ガンマ補正、ノイズリダクション、コントラスト強調、色変更処理等の画像調整（画像構築）などである。
　画像取得部２１０は、取得した撮像画像Ｄを画像合成部２９０に出力する。また、取得した撮像画像Ｄを異常領域検出部２２０および内視鏡診断支援部２３０に出力する。
　異常領域検出部２２０は、撮像画像Ｄから異常領域（注目領域、関心領域）を検出する。異常領域検出部２２０が検出する異常領域は、以下のような領域である。
　異常領域検出部２２０は、例えば、病変部を異常領域（領域Ａ）として検出する。病変部の検出は、病変検出（病変位置検出、病変鑑別、病変進行度判別等）を含む。異常領域検出部２２０は、例えば、学習用の撮像画像Ｄを用いた機械学習により生成した病変検出用の機械学習モデルにより、撮像画像Ｄから病変部を検出する。病変検出用の機械学習モデルの学習は、被写体となる部位や使用する光源（通常光源と特殊光源）といった条件毎に行い、条件毎の機械学習モデルを生成してもよい。
　異常領域検出部２２０は、例えば、残渣や出血等の色味異常がある領域を異常領域として検出する。残渣は、黄土色成分が多い。出血は、赤み成分が多い。このような特徴に基づいて、異常領域検出部２２０は、色味異常がある領域を異常領域として検出する。
　異常領域検出部２２０は、例えば、送気不十分である領域を異常領域として検出する。異常領域検出部２２０は、撮像画像Ｄにおける管腔の広さやしわ具合等から送気不十分である領域を検出できるように予め学習した機械学習モデルにより、撮像画像Ｄから送気不十分である領域を検出してもよい。
　異常領域検出部２２０は、例えば、蠕動領域を異常領域として検出する。異常領域検出部２２０は、例えば、撮像画像Ｄとセンサ１７０との情報に基づいて、所定の速度以上で動く領域を蠕動領域と判断する。
　異常領域検出部２２０は、異常領域を検出したとき、異常領域に関する情報（異常領域の位置や内容）を注意領域検出部２４０と画像合成部２９０に出力する。
　内視鏡診断支援部２３０は、撮像画像Ｄから注意して観察すべき注意領域を検出して、術者に注意領域を丁寧に観察するように報知する。また、内視鏡診断支援部２３０は、注意領域に対する診断支援情報を生成する。ここで、「注意領域」は、予め定められた条件で判定できる領域であり、病変部等の異常領域（領域Ａ）と、管腔内の区分された構造（部位）によって決まる注意すべき構造領域（領域Ｂ）と、の少なくとも一方を含む。管腔内の区分された構造（部位）によって決まる注意すべき構造領域（領域Ｂ）は、例えば、病変部等の異常領域が発生しやすい領域（領域Ｂ１）、屈曲部など構造が複雑な領域であり、見落としが発生しやすい領域（領域Ｂ２）、観察すべき箇所が多い領域（領域Ｂ３）等である。
　内視鏡診断支援部２３０は、画像処理プロセッサ装置２００から分離した装置（以降、「内視鏡診断支援装置」ともいう）であってもよい。内視鏡診断支援装置は、インターネットを経由して接続されるクラウドサーバに設けられた演算装置であってもよい。
　内視鏡診断支援部２３０は、図３に示すように、注意領域検出部２４０と、速度検出部２５０と、方向検出部２６０と、速度判定部２７０と、診断支援情報生成部２８０と、を備える。
　図４は、注意領域検出部２４０の機能ブロック図である。
　注意領域検出部２４０は、異常領域検出部２２０から病変部等の異常領域（領域Ａ）の検出結果を取得して、異常領域（領域Ａ）を注意領域として検出する。また、注意領域検出部２４０は、管腔内の区分された構造（部位）によって決まる注意すべき構造領域（領域Ｂ）を注意領域として検出する。注意領域検出部２４０は、構造検出部２４１と、テーブル記録部２４２と、判定部２４５と、を有する。構造検出部２４１、テーブル記録部２４２、および判定部２４５は、注意すべき構造領域（領域Ｂ）を検出する。
　構造検出部２４１は、内視鏡１００の先端部１２０が撮像画像Ｄを取得している管腔内の位置（以降、「取得位置」ともいう）を検出する。内視鏡１００の挿入部１１０が大腸に挿入される場合、構造検出部２４１は、例えば盲腸、上行結腸、横行結腸、下行結腸、Ｓ状結腸、直腸Ｓ状部などの「大腸内の区分された構造（部位）」により撮像画像Ｄの取得位置を特定する。内視鏡１００の挿入部１１０が胃に挿入される場合、構造検出部２４１は、例えば咽頭、食道、胃内部などの「胃内の区分された構造（部位）」により撮像画像Ｄの取得位置を特定する。なお、構造検出部２４１が特定する取得位置は「管腔内の区分された構造（部位）」に限定されず、座標値などであってもよい。
　構造検出部２４１は、（１）撮像画像Ｄに基づいて撮像画像Ｄの取得位置を検出してもよく、（２）センサ１７０の出力に基づいて撮像画像Ｄの取得位置を検出してもよく、（３）観察装置６００が検出した内視鏡１００の挿入形状に基づいて撮像画像Ｄの取得位置を検出してもよい。以下、（１）から（３）の検出方法について説明する。
（１）構造検出部２４１は、パターンマッチングにより撮像画像Ｄに含まれる管腔の構造を特定してもよい。例えば、構造検出部２４１は、予め記録した各部位の画像と撮像画像Ｄとを比較して、予め記録した各部位に対する類似度に基づいて、撮像画像Ｄに含まれる管腔の構造を特定する。
　構造検出部２４１は、推論モデルにより撮像画像Ｄに含まれる管腔の構造（部位）を推論して特定してもよい。例えば、推論モデルは、予め記録した各部位の画像を教師データとした機械学習によって得られる。
（２）構造検出部２４１は、センサ１７０の出力（先端部１２０の速度、方向、姿勢等）により撮像画像Ｄに含まれる管腔の構造を特定してもよい。
（３）構造検出部２４１は、観察装置６００が検出した内視鏡１００の挿入形状に基づいて、撮像画像Ｄに含まれる管腔の構造を特定してもよい。具体的には、構造検出部２４１は、観察装置６００が検出した挿入部１１０の３次元形状に基づいて、内視鏡１００の先端部１２０の位置を検出し、撮像画像Ｄに含まれる管腔の構造を特定する。
　構造検出部２４１は、上述した（１）から（３）の検出方法を組み合わせて、撮像画像Ｄに含まれる管腔の構造を特定してもよい。
　構造検出部２４１は、内視鏡１００の先端部１２０が撮像画像Ｄを取得している管腔内の取得位置（管腔内の区分された構造）を、判定部２４５に送信する。
　判定部２４５は、予め定められた条件に基づいて、構造検出部２４１から取得した管腔内の取得位置（管腔内の区分された構造）の注意領域レベルを判定する。具体的には、判定部２４５は、構造検出部２４１から取得した管腔内の取得位置（管腔内の区分された構造）が、低速度領域Ｌ１と通常速度領域Ｌ２と判定不要領域Ｌ３のいずれであるかを判定する。低速度領域Ｌ１は、注意領域であって、内視鏡１００の先端部１２０を低速で移動させる必要がある領域である。通常速度領域Ｌ２は、注意領域以外の領域であって、内視鏡１００の先端部１２０を通常速度または速度制限なしで動作させることができる領域である。判定不要領域Ｌ３は、例えば内視鏡１００の挿入部１１０を管腔に挿入するときに通過する領域等であって、注意領域であるかどうかを判定しなくてよい領域である。注意領域レベルを判定する条件は、使用者が変更することができる。判定部２４５は、撮像画像Ｄに含まれる管腔の構造（部位）と、注意領域レベルと、を速度判定部２７０に送信する。
　判定部２４５は、テーブル記録部２４２に記録された注意領域判定テーブル２４３に基づいて注意領域レベルをより詳細に判定してもよい。テーブル記録部２４２は、上述した記録部の一部であり、不揮発性の記録媒体である。テーブル記録部２４２は、注意領域判定テーブル２４３を記録する。
　図５は、注意領域判定テーブル２４３の一例を示す図である。
　注意領域判定テーブル２４３は、管腔の構造と、当該構造が注意領域となる確率（注意領域確率）Ｐ（％）と、を関連付けたデータである。ここで、「注意領域確率Ｐ」は、例えば、病変部等の異常領域が発生しやすい領域である確率（確率Ｐ１）、屈曲部など構造が複雑な領域であり、見落としが発生しやすい領域である確率（確率Ｐ２）、観察すべき箇所が多い領域である確率（確率Ｐ３）等である。注意領域確率Ｐは、上記の確率Ｐ１から確率Ｐ３のうち２以上の確率を組み合わせたものであってもよい。
Ｐ１，Ｐ２，Ｐ３は全て１００％でもよい。
　判定部２４５は、注意領域判定テーブル２４３を参照して、構造検出部２４１から取得した撮像画像Ｄに含まれる管腔の構造に対応する「注意領域確率Ｐ（％）」を判定する。判定部２４５は、撮像画像Ｄに含まれる管腔の構造（部位）と、注意領域となる確率Ｐと、を速度判定部２７０に送信する。
　判定部２４５は、異常領域検出部２２０から病変部等の異常領域（領域Ａ）の検出結果を取得した場合、当該構造が注意領域となる注意領域確率Ｐを１００％に設定する。
　速度検出部２５０は、内視鏡１００の先端部１２０が管腔を進退する速度を検出する。速度検出部２５０は、（１）センサ１７０の出力に基づいて先端部１２０の速度を検出してもよく、（２）撮像画像Ｄに基づいて先端部１２０の速度を検出してもよく、（３）観察装置６００が検出した内視鏡１００の挿入形状の位置変化に基づいて先端部１２０の速度を検出してもよい。以下、（１）から（３）の検出方法について説明する。
　速度検出部２５０は、センサ１７０の出力に基づいて内視鏡１００の先端部１２０が管腔を進退する速度を検出してもよい。具体的には、速度検出部２５０は、先端部１２０に搭載されたセンサ１７０（加速度センサ、ジャイロセンサなど）の出力から、先端部１２０が管腔を進退する速度を算出する。
　速度検出部２５０は、撮像画像Ｄに基づいて内視鏡１００の先端部１２０が管腔を進退する速度を検出してもよい。具体的には、速度検出部２５０は、撮像画像Ｄのフレーム間（コマ間）の物体の動き（オプティカルフロー）から速度を検出する。例えば、速度検出部２５０は、観察部位の特徴（例えば血管のパターンや太さなど）が、フレーム間（コマ間）でどのように変化するかを検出すれば、先端部１２０が管腔を進退する速度を検出できる。速度検出部２５０は、特定の血管など特徴点のフレーム間（コマ間）における移動量から、画角（撮像素子サイズや光学系で決まる）に基づいて、先端部１２０の速度を算出できる。
　速度検出部２５０は、上述した（１）から（３）の検出方法を組み合わせて、先端部１２０の速度を検出してもよい。
　検出した内視鏡１００の先端部１２０の速度は、速度判定部２７０により取得される。
　方向検出部２６０は、内視鏡１００の先端部１２０の管腔を進退する進退方向（挿入方向、抜去方向）を検出する。方向検出部２６０は、（１）センサ１７０の出力に基づいて先端部１２０の進退方向を検出してもよく、（２）撮像画像Ｄに基づいて先端部１２０の進退方向を検出してもよく、（３）観察装置６００が検出した内視鏡１００の挿入形状の位置変化に基づいて先端部１２０の進退方向を検出してもよい。以下、（１）から（３）の検出方法について説明する。
　方向検出部２６０は、センサ１７０の出力に基づいて内視鏡１００の先端部１２０の進退方向を検出してもよい。具体的には、速度検出部２５０は、先端部１２０に搭載されたセンサ１７０（加速度センサ、ジャイロセンサなど）の出力から、先端部１２０の進退方向を検出する。
　方向検出部２６０は、撮像画像Ｄに基づいて内視鏡１００の先端部１２０の進退方向を検出してもよい。具体的には、速度検出部２５０は、観察した管腔の構造（部位）のログ（履歴）から方向を検出する。例えば、方向検出部２６０は、観察した胃の部位の順序が咽頭→食道→胃であるとき、先端部１２０の進退方向が「挿入方向」であると検出する。方向検出部２６０は、観察した胃の部位の順序が胃→食道であるととき、先端部１２０の進退方向が「抜去方向」であると検出する。
　方向検出部２６０は、観察装置６００が検出した内視鏡１００の挿入形状の位置変化に基づいて、内視鏡１００の先端部１２０の進退方向を検出してもよい。具体的には、構造検出部２４１は、観察装置６００が検出した挿入部１１０の３次元形状に基づいて、内視鏡１００の先端部１２０の位置変化を検出し、先端部１２０進退方向を検出する。
　方向検出部２６０は、上述した（１）から（３）の検出方法を組み合わせて、先端部１２０の進退方向を検出してもよい。
　検出した内視鏡１００の先端部１２０の進退方向は、速度判定部２７０により取得される。
　速度判定部２７０は、注意領域検出部２４０と速度検出部２５０と方向検出部２６０との検出結果に基づいて、管腔の注意領域を通過する内視鏡１００の先端部１２０の速度が観察に適切な観察適切速度の範囲内であるかを判定する。
　速度判定部２７０は、注意領域レベル（低速度領域Ｌ１、通常速度領域Ｌ２、判定不要領域Ｌ３）に対応する観察適切速度の範囲を選択する。例えば、低速度領域Ｌ１に対応する観察適切速度の範囲は、通常速度領域Ｌ２に対応する観察適切速度の範囲よりも低速な速度範囲となる。判定不要領域Ｌ３に対応する観察適切速度の範囲は、未設定となる。
　速度判定部２７０は、注意領域検出部２４０が注意領域確率Ｐを判定している場合、例えば、式１のように観察適切速度の範囲の上限速度Ｖmaxを決定する。式１において、Ｐは注意領域確率Ｐ（％）である。ＮＶmaxは注意領域でない通常領域の観察に適切な速度の範囲の上限速度である。αは任意の係数である。
Figure JPOXMLDOC01-appb-M000001
　式１に基づいて決定される観察適切速度の範囲の上限速度Ｖmaxは、注意領域確率Ｐが高いほど低い速度になる。
　上限速度ＮＶmaxは、管腔の構造ごとに異なる速度に設定されていてもよい。例えば、速度判定部２７０は、注意領域の有無にかかわらず内視鏡１００を挿通させることが難しい管腔の構造に対する上限速度ＮＶmaxを低く設定してもよい。
　速度判定部２７０は、術者の熟練度に応じて係数αを調整して、観察適切速度の範囲の上限速度Ｖmaxを調整してもよい。例えば、速度判定部２７０は、熟練度が低い術者が内視鏡１００を操作するとき、熟練度が高い術者が内視鏡１００を操作するときと比較して上限速度Ｖmaxが低くなるように係数αを調整してもよい。
　速度判定部２７０は、例えば、式２のように観察適切速度の範囲の上限速度Ｖmaxを決定してもよい。式２において、Ｐは注意領域確率Ｐ（％）である。Ｖ１とＶ２は所定の速度である（Ｖ１＞Ｖ２）。Ｐｔｈは注意領域確率Ｐの閾値である。αは任意の係数である。
Figure JPOXMLDOC01-appb-M000002
　式２に基づいて決定される観察適切速度の範囲の上限速度Ｖmaxは、注意領域確率Ｐが閾値Ｐｔｈ以上であるとき、注意領域確率Ｐが閾値Ｐｔｈ未満であるときと比較して、低い速度になる。すなわち、式２によれば、注意領域確率Ｐが閾値Ｐｔｈ以上であるとき、注意領域が検出されていることになる。なお、注意領域確率Ｐの閾値の個数は、２以上であってもよい。
　図６は、上限速度判定テーブルの一例を示す図である。
　速度判定部２７０は、例えば、図６に示すような上限速度判定テーブルに基づいて、管腔の構造の種類から観察適切速度の範囲の上限速度Ｖmaxを決定してもよい。
　速度判定部２７０は、上述した方法により決定した観察適切速度の範囲（上限速度Ｖmax含む）に基づいて、管腔の注意領域を通過する内視鏡１００の先端部１２０の速度が観察適切速度の範囲内であるかを判定する。速度判定部２７０は、内視鏡１００の先端部１２０の速度が観察適切速度の範囲外であるとき、その旨を診断支援情報生成部２８０に通知する。
　図７は、合成画像Ｓ１の一例を示す図である。
　診断支援情報生成部２８０は、注意領域を通過する内視鏡１００の先端部１２０の速度が観察適切速度の範囲外であるとき、当該注意領域に対する診断支援情報を生成する。診断支援情報は、図７に示す合成画像Ｓ１の一部である診断支援画像Ｓ２に表示される情報である。
　診断支援情報は、内視鏡位置情報２８１と、アラート情報２８２と、速度情報２８３と、を含む。
　内視鏡位置情報２８１は、内視鏡１００の先端部１２０の位置を示す情報である。内視鏡位置情報２８１は、図７に示すように、管腔における先端部１２０の位置を可視化した図として表示されていてもよい。
　アラート情報２８２は、内視鏡１００の先端部１２０が注意領域に位置していることを警告する情報である。アラート情報２８２は、図７に示すようにテキスト表示されてもよいし、音声により報知されてもよい。
　速度情報２８３は、内視鏡１００の先端部１２０の速度と観察適切速度の範囲とを示す情報である。速度情報２８３は、図７に示すように、内視鏡１００の先端部１２０の速度と観察適切速度の範囲とを速度メータにより可視化した速度情報として表示されていてもよい。
　なお、内視鏡診断支援部２３０は、診断支援情報生成部２８０を有していなくてもよい。内視鏡診断支援部２３０が診断支援情報生成部２８０を有していない場合であって、速度判定部２７０が内視鏡１００の先端部１２０の速度が観察適切速度の範囲外であることを検知したとき、例えば、音声等により術者に報知する。すなわち、内視鏡診断支援部２３０が術者に報知する手段は、表示による手段に限られず、音声や振動等の手段であってもよい。
　画像合成部２９０は、図７に示すように、撮像画像Ｄ、異常領域に関する情報、および診断支援情報を含む合成画像Ｓ１を生成する。
　画像合成部２９０は、異常領域検出部２２０から異常領域に関する情報を取得したとき、例えば、異常領域を検出した位置にマーカによる強調表示を重畳表示する。
　画像合成部２９０は、診断支援情報生成部２８０から診断支援情報を取得したとき、例えば、図７に示すように、撮像画像Ｄと診断支援画像Ｓ２とを並べて表示する。
[内視鏡システム５００の動作]
　次に内視鏡システム５００の動作（診断支援方法）について説明する。具体的には、大腸内の管壁を内視鏡システム５００を用いて観察および処置する手技について説明する。以降、図８に示す内視鏡システム５００のフローチャートに沿って説明を行う。
＜ステップＳ１１０＞
　内視鏡診断支援部２３０は、ステップＳ１１０において、内視鏡１００の挿入方向を検出する。例えば、方向検出部２６０は、センサ１７０の出力を取得し、センサ１７０の出力に基づいて内視鏡１００の先端部１２０の進退方向（挿入方向、抜去方向）を検出する。なお、速度検出部２５０は、撮像画像Ｄから内視鏡１００の進退方向を検出してもよい。内視鏡の挿入方向が挿入方向である場合、内視鏡システム５００は次にステップＳ１２０を実行する。内視鏡の挿入方向が抜去方向である場合、内視鏡システム５００は次にステップＳ１４０を実行する。
＜ステップＳ１２０＞
　内視鏡診断支援部２３０は、ステップＳ１２０において、大腸の構造を検出する。例えば、構造検出部２４１は、撮像画像Ｄから撮像画像Ｄに含まれる大腸の構造を検出する。内視鏡システム５００は次にステップＳ１３０を実行する。
　内視鏡システム５００は、ステップＳ１２０において、予備診断を実施してもよい。予備診断とは、内視鏡１００を挿入するときに撮像した撮像画像Ｄに基づいて、異常領域や注意すべき構造領域を事前に検出することである。予備診断の結果は、ステップＳ１４０において使用される。
＜ステップＳ１３０＞
　内視鏡診断支援部２３０は、ステップＳ１３０において、内視鏡１００の先端部１２０が盲腸に到達したかを判定する。具体的には、構造検出部２４１は、検出した大腸の構造が盲腸であるかを判定する。検出した大腸の構造が盲腸でない場合、内視鏡システム５００はステップＳ１２０を継続する。検出した大腸の構造が盲腸である場合、内視鏡システム５００はステップＳ１４０を実行する。
＜ステップＳ１４０＞
　内視鏡１００の進退方向が抜去方向である場合や、内視鏡１００の先端部１２０が盲腸に到達した場合は、術者による大腸内の観察および処置が実施されている。そこで、内視鏡診断支援部２３０は、ステップＳ１４０において、注意領域を検出する。
　ステップＳ１２０において予備診断が実施されて注意領域を事前に検出している場合、内視鏡診断支援部２３０は、ステップＳ１４０において、内視鏡１００の先端部１２０が注意領域を実際に通過する前に、注意領域を検出できる。
＜ステップＳ１５０＞
　内視鏡診断支援部２３０は、ステップＳ１５０において、内視鏡の速度が観察適切速度の範囲内であるかを判定する。内視鏡１００の先端部１２０の速度が観察適切速度の範囲内である場合、内視鏡システム５００は次にステップＳ１６０を実行する。内視鏡１００の先端部１２０の速度が観察適切速度の範囲外である場合、内視鏡システム５００は次にステップＳ１７０を実行する。
＜ステップＳ１６０＞
　内視鏡診断支援部２３０は、ステップＳ１６０において、診断支援情報を術者に報知する。内視鏡システム５００は次にステップＳ１８０を実行する。
＜ステップＳ１７０＞
　内視鏡診断支援部２３０は、ステップＳ１７０において、警告を含む診断支援情報を術者に報知して、異常領域の見逃しが発生しないように術者に丁寧に観察するように促す。内視鏡システム５００は次にステップＳ１８０を実行する。
＜ステップＳ１８０＞
　内視鏡診断支援部２３０は、ステップＳ１８０において、手技が終了したかを判定する。内視鏡診断支援部２３０は、手技が終了していないと判断した場合、ステップＳ１４０以降を実行する。内視鏡診断支援部２３０は、手技が終了したと判断した場合、ステップＳ１９０を実施して、図８に示す制御フローを終了する。
　なお、図８に示す制御フローのいずれのステップにおいても、異常領域が検出された場合、画像合成部２９０は、例えば、異常領域を検出した位置にマーカによる強調表示を重畳表示する。内視鏡診断支援部２３０は、異常領域に対しても診断支援情報を生成してもよい。
　本実施形態に係る内視鏡システム５００によれば、内視鏡診断支援部２３０（内視鏡診断支援装置）は、注意して観察すべき注意領域を検出して、病変部などの異常領域の見逃しが発生しないように術者に丁寧に観察するように報知できる。以上説明したように、本実施形態では、先端部１２０に管腔の画像を取得する撮像部１５０を有する内視鏡１００からの画像情報を取得する画像情報取得部２１０と、内視鏡１００の先端部１２０が前記管腔を進退（通過）する速度を検出する管腔進退速度検出部２５０と、先端部１２０があらかじめ定められた管腔内注意領域を通過する内視鏡１００の先端部１２０の前記速度が観察適切速度の範囲内であるかを判定する観察適切速度判定部２７０と、を具備することを特徴とする内視鏡画像処理装置２００および内視鏡画像処理システム５００を例示した。この管腔内注意領域は、内視鏡１００の先端部１２０が前記画像を取得している前記管腔内の位置である取得位置を検出して予め定められた条件で判定できる、あるいは推論できるものである。もちろん、これらの機能はソフトウェアで実現可能であり、具体的には、先端部１２０に管腔の画像を取得する撮像部１５０を有する内視鏡１００からの画像情報を取得する画像情報取得ステップと、内視鏡１００の先端部１２０が前記管腔を進退する速度を検出する管腔進退速度検出ステップと、先端部１２０が特定の管腔内注意領域を通過する前記速度が観察適切速度の範囲内であるかを判定する観察適切速度判定ステップと、をコンピュータに実行させる内視鏡画像処理プログラムにより実現可能である。
　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
（第二実施形態）
　本発明の第二実施形態について、図９から図１４を参照して説明する。以降の説明において、既に説明したものと共通する構成については、同一の符号を付して重複する説明を省略する。
　図９は、第二実施形態に係る内視鏡システム５００Ｂの機能ブロック図である。
　内視鏡システム５００Ｂは、内視鏡１００と、画像処理プロセッサ装置２００Ｂと、光源装置３００と、表示装置４００と、を備える。
　画像処理プロセッサ装置２００Ｂは、図９に示すように、画像取得部２１０と、異常領域検出部２２０と、内視鏡診断支援部２３０Ｂと、画像合成部２９０と、を備える。
　内視鏡診断支援部２３０Ｂは、撮像画像Ｄから注意して観察すべき注意領域を検出して、術者に注意領域を丁寧に観察するように報知する。また、内視鏡診断支援部２３０Ｂは、注意領域に対する診断支援情報を生成する。内視鏡診断支援部２３０Ｂは、速度判定部２７０Ｂと、診断支援情報生成部２８０と、を備える。
　図１０は、速度判定部２７０Ｂの機能ブロック図である。
　速度判定部２７０Ｂは、管腔の撮像画像Ｄから注意して観察すべき注意領域の画像特徴を検出して、管腔の注意領域を通過する内視鏡１００の先端部１２０の速度が適切な観察適切速度の範囲内であるかを判定する。速度判定部２７０Ｂは、画像バッファ２７６と、モデル記録部２７７と、推論部２７９と、を有する。
　画像バッファ２７６は、上述した記録部の一部であり、不揮発性の記録媒体である。画像バッファ２７６は、上述したメモリの一部であり、揮発性の記録媒体であってもよい。画像バッファ２７６は、転送された複数の撮像画像Ｄを記録する。
　画像バッファ２７６には、複数の撮像画像Ｄ（画像コマ）が記録される。画像バッファ２７６の記録容量が十分でないとき、最も古い撮像画像Ｄが削除される。画像バッファ２７６に記録される複数の撮像画像Ｄは、連続するフレームの撮像画像Ｄであってもよく、連続するフレームから複数のフレームが間引かれた撮像画像Ｄであってもよい。
　モデル記録部２７７は、上述した記録部の一部であり、不揮発性の記録媒体である。モデル記録部２７７は、推論モデル２７８を記録する。
　図１１は、推論モデル２７８の概念図である。
　推論モデル２７８は、複数の症例における内視鏡１００の画像コマ（学習用撮像画像）と、当該画像コマに対して見逃し判定し画像コマを用いて見逃しやすい部位を判定し、当該部位の検査にふさわしい検査速度をアノテーションした結果と、を教師データとして機械学習により得られるモデルである。推論モデル２７８は、例えばニューラル・ネットワークであり、深層学習より学習される。なお、推論モデル２７８は、ニューラル・ネットワークに限定されず、入力される画像に対して情報を出力できる他の機械学習モデルであってもよい。
　推論モデル２７８の入力は、撮像画像Ｄであり、時系列順に並んだ複数の撮像画像（画像コマ）であることが望ましい。推論モデル２７８の出力は、内視鏡１００の先端部１２０の速度が適切な観察適切速度の範囲内であるかの判定である。推論モデル２７８は、画像コマに含まれる管腔の構造および観察最適速度の範囲を出力するものであってもよい。
　図１２は、教師データを説明する図である。
　教師データとして、複数の症例における内視鏡検査において得られた動画（静止画の連続）が用いられる。教師データは、画像コマ（学習用撮像画像）と、当該画像コマに対して見逃し判定し画像コマを用いて見逃しやすい部位を判定し、当該部位の検査にふさわしい検査速度をアノテーションした結果と、を組み合わせたものである。推論モデル２７８は、入力された画像コマ（学習用撮像画像）に対して、対応するアノテーションが出力されるように学習されたモデルである。
　図１２における教師データにおいて、「３コマ目に見落としやすい注意領域あり」といったアノテーションの工夫や、「３コマ目に不明瞭な部分が含まれる注意領域あり」といったアノテーションの工夫で、注意領域が現れる画像コアの３コマ前の画像コマにおいて、３コマ後の画像コマに注意領域があることを推論モデル２７８が予測できるようになり、利用者に注意を早めに促すことが可能となる。また、「不明瞭な部分が含まれる注意領域あり（連続）」となる画像コマは、教師データとして選びやすい例である。
　推論モデル２７８は、豊富な教師データが集められるかによって、良い推論が出来るかどうかが決まる。図１２において例示した教師データは、従来の病変検出技術や画像劣化の判定技術で画像群から教師データとして適切な画像を容易に選別できる点が優れている。
　図１２における教師データにおいては、画像コマに含まれる不明瞭な領域や見落としやすい領域を注意領域としてアノテーションする例を示した。しかしながら、教師データに含まれるアノテーションは、所定の特徴を含む画像コマに続いて病変がある可能性が高い画像コマが現れるといったアノテーションであってもよく、３次元再構成しにくい画像コアがあるから見逃すなといったアノテーションでもよい。教師データは多い方が信頼性の高い推論モデルを学習することができる。また、複数の症例における内視鏡検査において得られた動画の複数の画像コマを時系列で分類し、当該画像コマの前半に分類された画像コマに対して、当該複数の画像コマの後半で起こった見逃し要因を判定した結果をアノテーションして教師データとして、入力された画像コマに対して、対応するアノテーションが出力されるように学習された推論モデルを搭載したシステムにすることが可能となる。これによって、内視鏡から得られた画像コマの時間的に早い段階の画像コマ入力で、そのあとで起こること「見落としやすさ」を推論し、どこが見落しやすい領域であるかを、事前検出が可能となり、スピーディな判定が出来るようになる。
　図１３は、教師データ取得工程を示すフローチャートである。
　教師データ取得工程は、ステップＳ２１０において、学習用に用意された内視鏡画像を順次判定する。内視鏡画像に病変等の異常領域がある場合（ステップＳ２２０）や、視認性劣化等のトラブルがある場合（ステップＳ２３０）において、当該内視鏡画像を教師データとして取得する。当該内視鏡画像を教師データとして取得するとき、異常領域があったことや視認性劣化等のトラブルがあったことをアノテーションとして合わせて取得する。このとき、トラブルを回避する回避策をアノテーションとして合わせて記録しておいてもよい。
　図１４は、推論モデル２７８の学習工程を示すフローチャートである。
　推論モデル２７８の学習は、学習装置によって実施される。学習装置は、画像処理プロセッサ装置２００であってもよいし、画像処理プロセッサ装置２００以外の外部の演算装置であってもよい。
　ステップＳ３１０において、上述した教師データが学習装置に入力される。ステップＳ３２０において、学習装置は、教師データを用いて推論モデル２７８が作成する。ステップＳ３１０において、学習装置は、テストデータ（教師データと同様のデータで、学習に使用しなかったデータ）に対して推論モデル２７８を用いた推論を実施して、推論モデル２７８の推論に信頼性が確保されているかを確認する。推論モデル２７８の推論に信頼性が確保されていない場合、学習装置は、ステップＳ３１０を再度実施する。この時、教師データの少なくとも一部を取り換えて、よりよい信頼性の推論モデル２７８に改良する。このような工夫で、内視鏡診断支援部２３０Ｂは、複数の症例における内視鏡検査の管腔内挿入過程で得られた管腔内画像情報によって推論モデル２７８を生成し、検査時に注意を要する特定の対象部位画像検出において、診断支援情報を出力できる。
　推論部２７９は、画像バッファ２７６に格納された撮像画像Ｄを推論モデル２７８に入力して、内視鏡１００の先端部１２０の速度が適切な観察適切速度の範囲内であるかの判定を取得する。推論部２７９は、判定結果を診断支援情報生成部２８０に出力する。
　推論部２７９は、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）といったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したGPU（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。
　本実施形態に係る内視鏡システム５００Ｂによれば、内視鏡診断支援部２３０Ｂ（内視鏡診断支援装置）は、注意して観察すべき注意領域を検出して、病変部などの異常領域の見逃しが発生しないように術者に丁寧に観察するように報知できる。
　以上、本発明の第二実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および以下で示す変形例において示した構成要素は適宜に組み合わせて構成することが可能である。
　上記実施形態において、内視鏡診断支援部（内視鏡診断支援装置）は医療用内視鏡の画像に対して診断支援を実施する。しかしながら内視鏡診断支援部（内視鏡診断支援装置）の診断対象は、医療用内視鏡の画像に限定されない。内視鏡診断支援部（内視鏡診断支援装置）は、カメラ、ビデオカメラ、工業用内視鏡、顕微鏡、画像取得機能を有するロボット、スマートフォン、携帯電話、スマートウオッチ、タブレット端末、ノート型ＰＣ等のモバイル機器などの他の撮像装置から取得した撮像画像に対して診断支援を実施してもよい。
　本発明は、内視鏡システムなどに適用することができる。
５００，５００Ｂ　内視鏡システム（内視鏡画像処理システム）
４００　表示装置
３００　光源装置
１００　内視鏡
１１０　挿入部
１２０　先端部
１５０　撮像部
１７０　センサ
１８０　操作部
１９０　ユニバーサルコード
２００　画像処理プロセッサ装置（内視鏡画像処理装置）
２１０　画像取得部
２２０　異常領域検出部
２３０　内視鏡診断支援部（内視鏡診断支援装置）
２４０　注意領域検出部
２４１　構造検出部
２４２　テーブル記録部
２４３　注意領域判定テーブル
２４５　判定部
２５０，２５０Ｂ　速度検出部
２６０　方向検出部
２７０　速度判定部
２７６　画像バッファ
２７７　モデル記録部
２７８　推論モデル
２７９　推論部
２８０　診断支援情報生成部
２８１　内視鏡位置情報
２８２　アラート情報
２８３　速度情報
２９０　画像合成部

Claims (20)

  1. 　先端部に管腔の画像を取得する撮像部を有する内視鏡の診断支援方法において、
    　前記先端部が前記画像を取得している前記管腔内の位置である取得位置を検出し、
    　前記内視鏡の前記先端部が前記管腔を進退する速度を検出し、
    　予め定められた条件で判定できる注意領域を通過する前記内視鏡の前記先端部の前記速度が適切な観察適切速度の範囲内であるかを判定する、
    　内視鏡診断支援方法。
  2. 　前記先端部の前記速度は、前記画像のフレーム間の物体の動きに基づいて検出される、
    　請求項１に記載の内視鏡診断支援方法。
  3. 　前記先端部の前記速度は、前記内視鏡の前記先端部に設けられたセンサの出力に基づいて検出される、
    　請求項１に記載の内視鏡診断支援方法。
  4. 　前記取得位置は、取得した前記画像に基づいて検出される、
    　請求項１から請求項３のいずれか一項に記載の内視鏡診断支援方法。
  5. 　前記取得位置は、前記画像から前記管腔の部位を推論するために予め記録した画像に含まれる部位にアノテーションした教師データによって学習した推論モデルに基づいて推論される、
    　請求項４に記載の内視鏡診断支援方法。
  6. 　前記先端部には、磁気コイルが格納されており、
    　前記取得位置は、前記磁気コイルから受信した磁気に基づいて検出される、
    　請求項１から請求項３のいずれか一項に記載の内視鏡診断支援方法。
  7. 　前記内視鏡が前記管腔を進退する方向を検出し、
    　前記内視鏡が前記管腔から抜去する方向に後退するときのみ、前記注意領域を通過する前記内視鏡の前記先端部の前記速度が前記観察適切速度の範囲内であるかを判定する、
    　請求項１に記載の内視鏡診断支援方法。
  8. 　前記内視鏡が前記管腔を進退する方向を検出し、
    　前記内視鏡が前記管腔から抜去する方向に後退する前に前記内視鏡が前記管腔に挿入されたときに取得した前記画像に基づいて前記注意領域を検出する、
    　請求項１に記載の内視鏡診断支援方法。
  9. 　前記方向は、取得した前記画像から検出した前記管腔の部位の履歴から検出される、
    　請求項７または請求項８に記載の内視鏡診断支援方法。
  10. 　前記方向は、前記内視鏡の前記先端部に設けられたセンサの出力に基づいて検出される、
    　請求項７または請求項８に記載の内視鏡診断支援方法。
  11. 　病変部等の異常領域と、前記管腔内の区分された構造によって決まる注意すべき構造領域と、の少なくとも一方を検出することにより、前記注意領域を検出する、
    　請求項１に記載の内視鏡診断支援方法。
  12. 　前記内視鏡の前記速度が前記観察適切速度の範囲外であるとき、前記注意領域に対する警告を含む診断支援情報を生成する、
    　請求項１に記載の内視鏡診断支援方法。
  13. 　前記警告を含む前記診断支援情報を表示装置に表示し、
    　表示される前記診断支援情報は、
    　　前記管腔における前記先端部の位置と、
    　　前記警告を示す情報と、
    　　前記先端部の前記速度と前記観察適切速度の範囲とを可視化した速度情報と、
    　のうち少なくとも一つを含む、
    　請求項１２に記載の内視鏡診断支援方法。
  14. 　内視鏡から管腔の画像コマを連続して取得して、
    　前記管腔の前記画像コマから注意して観察すべき注意領域の画像特徴を検出して、前記管腔の前記注意領域を通過する前記内視鏡の速度が適切な観察適切速度の範囲内であるかを判定する、
    　内視鏡診断支援方法。
  15. 　複数の症例における前記内視鏡の前記画像コマと、前記画像コマに対して見逃し判定し前記画像コマを用いて見逃しやすい部位を判定し、前記部位の検査にふさわしい検査速度をアノテーションした結果と、を教師データとして機械学習により得られる推論モデルに基づいて、前記内視鏡の前記速度が前記観察適切速度の範囲内であるかを判定する、
    　請求項１４に記載の内視鏡診断支援方法。
  16. 　前記内視鏡の前記速度が前記観察適切速度の範囲外であるとき、前記注意領域に対する警告を含む診断支援情報を生成する、
    　請求項１４に記載の内視鏡診断支援方法。
  17. 　複数の症例における内視鏡検査において得られた動画の複数の画像コマを時系列で分類し、
    　前記画像コマの前半に分類された画像コマに対して、前記複数の画像コマの後半で起こった見逃し要因を判定した結果をアノテーションして教師データとして、入力された前記画像コマに対して、対応するアノテーションが出力されるように学習された推論モデル。
  18. 　先端部に管腔の画像を取得する撮像部を有する内視鏡からの画像情報を取得する画像情報取得部と、
    　前記内視鏡先端部が前記管腔を通過する速度を検出する管腔通過速度検出部と、
    　前記内視鏡先端部があらかじめ定められた管腔内注意領域を通過する時の前記管腔通過速度が適切な観察速度の範囲内であるかを判定する観察適切速度判定部と、
    　を具備することを特徴とする内視鏡画像処理装置。
  19. 　先端部に管腔の画像を取得する撮像部を有する内視鏡からの画像情報を取得する画像情報取得部と、
    　前記内視鏡先端部が前記管腔を通過する速度を検出する管腔通過速度検出部と、
    　前記内視鏡先端部があらかじめ定められた管腔内注意領域を通過する前記管腔通過速度が適切な観察速度の範囲内であるかを判定する観察適切速度判定部と、
    　を具備することを特徴とする内視鏡画像処理システム。
  20. 　管腔の画像を取得する内視鏡先端部の撮像部からの画像情報を取得する画像情報取得ステップと、
    　前記内視鏡先端部が前記管腔を通過する速度を検出する管腔通過速度検出ステップと、
    　前記内視鏡先端部が特定の管腔内注意領域を通過する時の前記管腔通過速度が適切な観察速度の範囲内であるかを判定する観察適切速度判定ステップと、
    　をコンピュータに実行させる内視鏡画像処理プログラム。
PCT/JP2023/028220 2023-08-02 2023-08-02 内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラム Pending WO2025027815A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/028220 WO2025027815A1 (ja) 2023-08-02 2023-08-02 内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/028220 WO2025027815A1 (ja) 2023-08-02 2023-08-02 内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2025027815A1 true WO2025027815A1 (ja) 2025-02-06

Family

ID=94394875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/028220 Pending WO2025027815A1 (ja) 2023-08-02 2023-08-02 内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2025027815A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014129A (ja) * 2010-07-05 2012-01-19 Olympus Corp 内視鏡装置及び内視鏡装置を用いた検査方法
WO2015046152A1 (ja) * 2013-09-27 2015-04-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2018216618A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
WO2020039931A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 内視鏡システム及び医療画像処理システム
WO2021220822A1 (ja) * 2020-04-27 2021-11-04 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
WO2023095208A1 (ja) * 2021-11-24 2023-06-01 オリンパス株式会社 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012014129A (ja) * 2010-07-05 2012-01-19 Olympus Corp 内視鏡装置及び内視鏡装置を用いた検査方法
WO2015046152A1 (ja) * 2013-09-27 2015-04-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
WO2018216618A1 (ja) * 2017-05-25 2018-11-29 日本電気株式会社 情報処理装置、制御方法、及びプログラム
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
WO2020039931A1 (ja) * 2018-08-20 2020-02-27 富士フイルム株式会社 内視鏡システム及び医療画像処理システム
WO2021220822A1 (ja) * 2020-04-27 2021-11-04 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
WO2023095208A1 (ja) * 2021-11-24 2023-06-01 オリンパス株式会社 内視鏡挿入ガイド装置、内視鏡挿入ガイド方法、内視鏡情報取得方法、ガイドサーバ装置、および画像推論モデル学習方法

Similar Documents

Publication Publication Date Title
JP5444511B1 (ja) 画像処理装置
US12414675B2 (en) Image processing device, operation method, and computer readable recording medium
US20130002842A1 (en) Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy
EP2276391A1 (en) Endoscopy system with motion sensors
CN101489466A (zh) 医疗用图像处理装置和医疗用图像处理方法
US20240016366A1 (en) Image diagnosis system for lesion
CN114980793A (zh) 内窥镜检查辅助装置、内窥镜检查辅助装置的工作方法以及程序
WO2021176664A1 (ja) 検査支援システム、検査支援方法、及び、プログラム
JP7441934B2 (ja) 処理装置、内視鏡システム及び処理装置の作動方法
EP4434435A1 (en) Information processing device, information processing method, and recording medium
WO2025027815A1 (ja) 内視鏡診断支援方法、推論モデル、内視鏡画像処理装置、内視鏡画像処理システムおよび内視鏡画像処理プログラム
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
CN117372326A (zh) 图像处理装置、图像处理方法和记录介质
JP4855912B2 (ja) 内視鏡挿入形状解析システム
JP7221787B2 (ja) 血管径測定システム
WO2025069193A1 (ja) 内視鏡診断支援装置、内視鏡診断支援方法および内視鏡診断支援プログラム
JP2021194268A (ja) 血管観察システムおよび血管観察方法
WO2021085017A1 (ja) 血管内視鏡システムおよび血管径測定方法
JP7609278B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4668624B2 (ja) 食道粘膜用画像処理装置
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
US20230351592A1 (en) Clinical decision support system having a multi-ordered hierarchy of classification modules
Dei et al. Adjunct tools for colonoscopy enhancement: a comprehensive review
JP7448923B2 (ja) 情報処理装置、情報処理装置の作動方法、及びプログラム
WO2025037403A1 (ja) 内視鏡補助情報生成装置、内視鏡補助情報生成方法、内視鏡補助情報生成プログラム、推論モデルの学習方法、および内視鏡補助システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23947612

Country of ref document: EP

Kind code of ref document: A1