WO2020084752A1 - 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム - Google Patents
内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム Download PDFInfo
- Publication number
- WO2020084752A1 WO2020084752A1 PCT/JP2018/039829 JP2018039829W WO2020084752A1 WO 2020084752 A1 WO2020084752 A1 WO 2020084752A1 JP 2018039829 W JP2018039829 W JP 2018039829W WO 2020084752 A1 WO2020084752 A1 WO 2020084752A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- state
- diagnosis support
- unit
- endoscope
- analysis unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Definitions
- the present invention relates to an image processing apparatus for an endoscope, an image processing method for an endoscope, and an image processing program for an endoscope.
- Endoscopes have been widely used in the medical and industrial fields.
- an operator can detect and discriminate a lesioned part by looking at an endoscopic image in a subject displayed on a display device, and perform a process using a treatment tool on the lesioned part.
- a diagnostic support function that displays the lesion area detected from the endoscopic image by highlighting it with a marker such as a frame in order to prevent the operator from overlooking the lesion area when viewing the endoscopic image
- An image processing device having a is generally widely known.
- the diagnosis support function is an effective function for suppressing the oversight of lesions, but if a user highlights lesions that he or she has already noticed, such as detection frame display, it will hinder the user's observation. There is a fear.
- the present invention has been made in view of the above-described circumstances, and an image processing apparatus for an endoscope, and an image processing method for an endoscope, by which a user can always identify the operating status of a diagnosis support function, Another object is to provide an image processing program for an endoscope.
- An image processing apparatus for an endoscope is a generated image generated by performing predetermined processing by a processor on an image pickup signal obtained by picking up an image of a subject by an image pickup unit of the endoscope.
- a diagnosis support unit that adds or notifies support information to the lesion site, an acquired information analysis unit that analyzes the generated image and / or the system information input by the input unit, and the acquired information
- a warning display setting unit that determines and outputs a factor that affects the operation of the diagnosis support unit based on the analysis result of the analysis unit.
- An image processing method for an endoscope is a generated image generated by performing predetermined processing by a processor on an image pickup signal obtained by picking up an image of a subject by an image pickup unit of the endoscope. And / or by inputting system information that is setting information of a system device including the endoscope and the processor, analyzing the generated image and / or the system information, and observing the endoscope.
- the diagnostic support operation of detecting a certain lesion part from the generated image and adding support information to the lesion part, the influencing factor is determined and output based on the analysis result, and the diagnostic support operation is always performed. Although it is being executed, if the above factors are detected, the support result is not displayed and a warning is displayed.
- An image processing program for an endoscope of one aspect of the present invention is generated by an input unit performing predetermined processing by a processor on an image pickup signal obtained by picking up an image of a subject by an image pickup unit of the endoscope.
- the generated image and / or the system information which is the setting information of the system device including the endoscope and the processor, and the acquired information analysis unit includes the generated image and / or the system information.
- a warning display setting unit based on the analysis result in the acquisition information analysis unit, detects a lesion portion that is an observation target of the endoscope from the generated image, support information for the lesion portion.
- FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including an image processing device according to an embodiment of the present invention.
- FIG. 3 is a block diagram illustrating an example of a configuration related to image processing of the image processing apparatus according to the first embodiment.
- the block diagram which shows the structure of an acquisition information analysis part.
- the block diagram which shows the structure of a warning display setting part.
- 3 is a flowchart illustrating an example of a flow of operation confirmation processing regarding a diagnosis support function performed in the image processing apparatus according to the first embodiment.
- the flowchart explaining an example of the flow of the acquired information analysis process which concerns on 1st Embodiment. 6 is a flowchart illustrating an example of a flow of display content generation processing based on an analysis result according to the first embodiment.
- the flowchart explaining an example of the flow of the function availability analysis processing which concerns on 2nd Embodiment.
- the flowchart which shows an example of the flow of the system equipment state analysis process which concerns on 3rd Embodiment.
- the flowchart which shows an example of the flow of the imaging state analysis process which concerns on 3rd Embodiment.
- the flowchart which shows an example of the flow of the operation state analysis process which concerns on 3rd Embodiment.
- the flowchart which shows an example of the flow of the support function operation information display process which concerns on 4th Embodiment.
- the figure which shows an example of the image for a display displayed on a display apparatus through the process of the image processing apparatus which concerns on 4th Embodiment.
- FIG. 1 is a diagram showing a configuration of a main part of an endoscope system including an image processing apparatus according to the first embodiment.
- the endoscope system 1 includes a light source driving device 11, an endoscope 21, a video processor 31, an endoscope image processing device (hereinafter, referred to as an image processing device) 32, And a display device 41.
- the light source drive device 11 is configured to include a drive circuit, for example. Further, the light source driving device 11 is connected to the endoscope 21 and the video processor 31. Further, the light source drive device 11 generates a light source drive signal for driving the light source unit 23 of the endoscope 21 based on the light source control signal from the video processor 31, and the generated light source drive signal is used by the endoscope 21. It is configured to output to.
- the endoscope 21 is connected to the light source driving device 11 and the video processor 31.
- the endoscope 21 is configured to include an elongated insertion portion 22 that can be inserted into the body cavity of the subject.
- a light source section 23 and an imaging section 24 are provided at the tip of the insertion section 22.
- the light source unit 23 is configured to include a light emitting element such as a white LED. Further, the light source unit 23 is configured to generate illumination light by emitting light according to a light source drive signal output from the light source drive device 11, and emit the generated illumination light to a subject such as a biological tissue. There is.
- the image pickup unit 24 is configured to have an image sensor such as a color CCD or a color CMOS, for example. Further, the image pickup unit 24 is configured to perform an operation according to the image pickup control signal output from the video processor 31.
- the imaging unit 24 also receives the reflected light from the subject illuminated by the illumination light from the light source unit 23, images the received reflected light to generate an imaging signal, and generates the imaging signal by the video processor. It is configured to output to 31.
- the video processor 31 is connected to the light source drive device 11 and the endoscope 21.
- the video processor 31 is also configured to generate a light source control signal for controlling the light emitting state of the light source unit 23 and output the signal to the light source driving device 11.
- the video processor 31 is also configured to generate and output an image pickup control signal for controlling the image pickup operation of the image pickup unit 24.
- the video processor 31 also performs a predetermined process on the image pickup signal output from the endoscope 21 to generate a generated image of the subject. Then, the generated image is subjected to emphasis processing and white balance correction processing according to the setting of the user, and then sequentially output to the image processing device 32 frame by frame.
- the image processing device 32 is configured to include an electronic circuit such as an image processing circuit. Further, the image processing device 32 is configured to generate a display image based on the generated image output from the video processor 31, and perform an operation for displaying the generated display image on the display device 41. There is. In addition, the image processing device 32 includes an input unit 33, a diagnosis support unit 34, and a display control unit 35, as illustrated in FIG. 2.
- FIG. 2 is a block diagram for explaining an example of a configuration related to image processing of the image processing apparatus according to the first embodiment.
- the input unit 33 includes an image input unit 331 and a system information input unit 332.
- the image input unit 331 outputs the generated image input from the video processor 31 to the diagnosis support unit 34 and the display control unit 35.
- the system information input unit 332 acquires various kinds of information including version information of the endoscope 21 and the video processor 31, and outputs it to the display control unit 35.
- the diagnosis support unit 34 includes a lesion detection unit 341, a support information generation unit 342, and a control unit 343.
- the lesion detection unit 341 is configured to detect a lesion portion included in the generated images sequentially output from the image input unit 331.
- the lesion detection unit 341 performs a process of applying, to the generated image, an image discriminator that has previously acquired a function capable of discriminating a polyp image by a learning method such as deep learning, and thereby detects a lesion portion from the generated image.
- the detection of the lesion area is not limited to the learning method described above, and other methods may be used.
- the polyp candidate detection processing disclosed in Japanese Patent Laid-Open No. 2007-244518 may be used.
- the support information generator 342 In order to let the user recognize the presence of the lesion detected by the lesion detector 341, the support information generator 342 generates, for example, a marker image surrounding the lesion and adds or displays the marker image to the generated image. Perform support information addition processing.
- the marker image added by the support information generation unit 342 may have any form as long as it can present the presence of a lesion portion as visual information, for example, a quadrangle, a triangle, a circle, or a star. Any image may be used.
- the marker image may be an image that does not surround the lesion area as long as it can indicate the presence of the lesion area.
- the presence of a lesion may be indicated by making the brightness and color tone of the lesion different from those of the peripheral region.
- the presence of the lesion may be indicated by generating a message indicating the lesion as the support information and displaying it in the form of a pop-up message or the like near the lesion.
- the support information control unit 343 determines whether support information is generated and additionally displayed for the lesion area detected by the lesion detection unit 341, and controls the display timing of the support information.
- the display control unit 35 includes an acquisition information analysis unit 351 and a warning display setting unit 352.
- the acquired information analysis unit 351 is a circuit that analyzes the generated image output from the input unit 33 and various types of information and determines whether or not the diagnosis support function of the diagnosis support unit 34 is affected.
- FIG. 3A is a block unit showing the configuration of the acquired information analysis unit 351. The operation of each unit in the acquired information analysis unit 351 shown in FIG. 3A will be described later in corresponding portions of the following description.
- FIG. 3A shows not only the configuration related to the present embodiment described below, but also the configurations related to the second to fourth embodiments described after the present embodiment.
- the warning display setting unit 352 identifies the cause of the failure to correctly execute the diagnosis support as the warning content based on the analysis result of the acquired information analysis unit 351, and displays the status of the diagnosis support function including the warning on the display screen 41A of the display device 41. It is a circuit for setting display contents to be displayed.
- FIG. 3B is a block unit showing the configuration of the warning display setting unit 352. The operation of each unit in the warning display setting unit 352 shown in FIG. 3B will be described later in corresponding portions of the following description.
- FIG. 3B shows not only the configuration related to the present embodiment described below, but also the configurations related to the second to fourth embodiments described after the present embodiment.
- the display device 41 includes a monitor and the like, and is configured to display a display image output from the image processing device 32.
- FIG. 4 is a flowchart illustrating an example of the flow of an operation confirmation process regarding the diagnosis support function performed in the image processing apparatus according to the first embodiment.
- the endoscope 21 emits illumination light to a subject, receives reflected light from the subject, and images the received reflected light when the light source driving device 11 and the video processor 31 are powered on, for example. Then, the image pickup signal is generated, and the generated image pickup signal is output to the video processor 31.
- the video processor 31 generates a generated image of the subject by performing a predetermined process on the image pickup signal output from the endoscope 21, and sequentially outputs the generated generated image to the image processing device 32 frame by frame.
- the image input unit 331 of the input unit 33 acquires an endoscopic image (generated image) that is a living body lumen image from the video processor 31 (S1).
- the system information input unit 332 of the input unit 33 acquires the system identification information stored in a memory or the like (not shown) in the video processor 31 or the endoscope 21 (S1).
- the image input unit 331 outputs the acquired image to the lesion detection unit 341 and the acquired information analysis unit 351.
- the system information input unit 332 also outputs the acquired system information to the acquired information analysis unit 351.
- the acquired information analysis unit 351 may acquire at least one of the generated image and the system information. Of course, both may be acquired.
- FIG. 5 is a flowchart illustrating an example of the flow of acquired information analysis processing according to the first embodiment.
- the acquired information analysis processing according to the present embodiment whether or not the state of the endoscope 21 or the video processor 31 affects the diagnosis support based on the generated image and / or the system information. Is analyzed (S21).
- the processing in S21 involves the device state analysis unit 351A in FIG. 3A.
- FIG. 6 is a flowchart illustrating an example of the flow of display content generation processing based on the analysis result according to the first embodiment.
- a factor affecting the execution of the diagnosis support function is specified as the warning content based on the analysis result acquired in S2 (S31).
- the processing of S31 involves the warning content determination unit 352A in FIG. 3B.
- the display content to be displayed on the display screen 41A of the display device 41 is set and output (S32).
- the process of S32 involves the warning method setting unit 352B in FIG. 3B.
- As the display content a method for canceling the warning, the state of the diagnosis support function, and the like are preferable, but if the solution cannot be presented, the warning content itself determined in S31 may be displayed.
- the diagnosis support unit 34 executes the diagnosis support function using the generated image input to the lesion detection unit 341 in S1 (S4).
- the process of S4 can be executed in parallel with the process of S2, but it does not necessarily have to be executed in parallel with the process of S2. You may perform sequentially like S2-> S3-> S4. Further, the process of S4 may be executed before the process of S2.
- the generated image and / or the system information of the endoscope 21 and the video processor 31 is used to analyze whether or not the execution of the diagnosis support function is affected.
- the cause is specified and displayed on the display device 41 as a warning. Therefore, the user can always identify the operation status of the diagnosis support function.
- the generated image and / or the system information of the endoscope 21 and the video processor 31 is used to analyze whether or not the execution of the diagnosis support function is affected.
- analysis is performed from a plurality of viewpoints, and the warning content is given according to the priority according to the viewpoint. The difference is in determining.
- the image processing device of this embodiment has the same configuration as the image processing device 32 of the first embodiment, and the same components are assigned the same reference numerals and explanations thereof are omitted.
- the operation confirmation processing relating to the diagnosis support function performed in the image processing apparatus of the present embodiment is the same as the processing procedure shown in FIGS. 4, 5, and 6, but the state influencing the diagnosis support function in FIG. In the procedure of analyzing whether or not (S21), the analysis is performed from a plurality of viewpoints. In addition, the procedure (S31) of FIG. 6 for identifying a factor affecting the execution of the diagnosis support function as the warning content based on the analysis result determines the warning content using the analysis results from a plurality of viewpoints. There is. Hereinafter, processing different from that of the first embodiment will be described.
- FIG. 7 is a flowchart illustrating an example of the flow of the function availability analysis process according to the second embodiment.
- the processing of FIG. 7 involves the respective analysis units (system device state analysis unit 351A1, imaging state analysis unit 351A2, and operation state analysis unit 351A3) included in the device state analysis unit 351A of FIG. 3A.
- system device state analysis unit 351A1, imaging state analysis unit 351A2, and operation state analysis unit 351A3 included in the device state analysis unit 351A of FIG. 3A.
- FIG. 7 also shows a case of analyzing from only one viewpoint. There is.
- a plurality of items are selected from the items (viewpoints) to be analyzed (S201).
- items such as (A) system equipment state, (B) imaging state, (C) operation state, and the like can be given.
- two or more items are selected from these items for analysis.
- the system device state analysis unit 351A1 is involved in the analysis of the state of the system device in S21A.
- the system device state analysis unit 351A1 diagnoses the states of various system devices based on the system information of each device forming the endoscope system such as the endoscope 21 and the video processor 31 which is input from the system information input unit 332. Analyze whether or not the state is suitable for the support function.
- the analysis has been executed for all the selected items (S203, YES)
- the end A is reached and the functional state analysis process ends.
- (A) system device status is not selected as an analysis item (S202, NO)
- the process proceeds to S204. Further, even when the analysis is not executed for all the selection items (S203, NO), the process proceeds to S204.
- the (B) imaging state is selected as the analysis item (YES in S204)
- the process proceeds to S21B, and the analysis is executed.
- the imaging state analysis unit 351A2 is involved in the analysis of the imaging state in S21B.
- the imaging state analysis unit 351A2 analyzes, based on the generated image input from the image input unit 331, whether the imaging state of the image is suitable for the diagnosis support function.
- the process proceeds to S21C. Also, in S204, even when the imaging state is not selected (S204, NO), the process proceeds to S21C.
- S205 if the analysis has been executed for all selection items (S205, YES), the process proceeds to S206.
- the state of the system device is also analyzed (S206, YES)
- the end AB is reached and the functional state analysis process ends.
- the end state B is reached and the functional state analysis process ends.
- (C) operation state analysis is executed.
- the operation state analysis unit 351A3 is involved in the analysis of the operation state in S21C.
- the operation state analysis unit 351A3 is a state in which the operation of the endoscope 21 by the user is suitable for the diagnosis support function based on the information about the system input from the system information input unit 332 and the generated image input from the image input unit 331. Is analyzed. Then, the process proceeds to S207, and it is confirmed whether or not the imaging state is analyzed.
- S207, YES If the imaging state has also been analyzed (S207, YES), proceed to S208 to check whether the system device state has been analyzed.
- S208, YES When the state of the system device is also analyzed (S208, YES), the end ABC is reached and the functional state analysis process is ended. On the other hand, when the state of the system device is not analyzed (S208, NO), the end BC is reached and the functional state analysis process is ended.
- the process proceeds to S209 to check whether the system device state is analyzed.
- S209 state of the system device is analyzed (S209, YES)
- the end AC is reached and the functional state analysis process ends.
- S209, NO the state of the system device is not analyzed (S209, NO)
- the end C is reached and the functional state analysis process ends.
- FIG. 8 is a flowchart illustrating an example of the flow of warning content determination processing according to the second embodiment.
- the processing in FIG. 8 involves the warning content determination unit 352A in FIG. 3B.
- the analysis result obtained by the processing of FIG. 7 is acquired from the function availability analysis unit 351A (S311).
- analysis is performed on a plurality of items.
- the results of all the analyzed items are acquired from the device state analysis unit 351A.
- the diagnosis support is included in the analysis result acquired in S311. Identify the factors that affect the execution of the function as warning details.
- the priority is stored in advance in a memory or the like (not shown) in the image processing device 32. When executing S311, the memory is referenced to specify the warning content.
- the above three items have a large influence on the diagnosis support function in the order of (A) system device status, (B) imaging status, and (C) operation status.
- A system device status
- B imaging status
- C operation status
- the (B) imaging state has a smaller influence on the diagnosis support function than the (A) system device state, but has a larger influence on the diagnosis support function than the (C) operation state.
- (A) system device status is set as the item with the highest priority.
- the item with the next highest priority is set to the (B) imaging state, and the (C) operation state is set as the lowest priority item.
- the items that are determined not to be in a state suitable for the diagnostic support function are extracted.
- the analysis result regarding the item with the highest priority is determined as the warning content (S312).
- the analysis result that the system device state is not suitable for the diagnosis support function is acquired. If so, the analysis result of the state of the system device is determined as the warning content regardless of the analysis result of the imaging state. Further, when two items of (B) imaging state and (C) operation state are selected as analysis items, if the analysis result that the imaging state is not suitable for the diagnosis support function is acquired. The warning result is determined to be the analysis result of the imaging state regardless of the analysis result of the operation state.
- the image is captured regardless of the analysis result of the operation state.
- the analysis result of the state of is determined as the warning content. As described above, the series of processes for determining the warning content as shown in FIG. 8 is completed.
- whether the generated image and / or the system information of the endoscope 21 or the video processor 31 is used to affect the execution of the diagnosis support function for a plurality of items is determined.
- To analyze. When there is an item determined to have an influence, an item having a large influence that contributes to the diagnosis support function is selected from the items and is determined as a warning.
- the user can always identify the operating status of the diagnostic support function, and if the state is not suitable for the operation, the maximum cause is The solution can be easily understood.
- the image processing device of this embodiment has the same configuration as the image processing device 32 of the first embodiment, and the same components are assigned the same reference numerals and explanations thereof are omitted.
- the operation confirmation processing relating to the diagnosis support function performed in the image processing apparatus of this embodiment is the same as the processing procedure of the second embodiment shown in FIGS. 4, 5, 6 and 7, but FIG.
- the procedure of analyzing the state of the system device (S21A), the procedure of analyzing the imaging state (S21B), and the procedure of analyzing the operation state (S21C) are different from each other in that they are more specifically performed.
- processing different from that of the second embodiment will be described.
- FIG. 9 is a flowchart showing an example of the flow of system device state analysis processing according to the third embodiment.
- the processing in FIG. 9 involves the system device state analysis unit 351A1 in FIG. 3A.
- the system device status analysis unit 351A1 first determines whether or not the system devices themselves that configure the endoscope system, such as the endoscope 21 and the video processor 31, are in an inappropriate state for the diagnosis support function (S2111). ).
- the lesion detection and support information generation used by the diagnosis support unit 34 are executed using support applications in which different algorithms are set according to the target organ to be diagnosed and the situation (purpose of use) in which the diagnosis support is performed.
- organs to be diagnosed include the large intestine, the small intestine, the esophagus, and the stomach.
- the purpose of use includes, for example, inspection and surgery.
- the support application used for diagnosis support in gastric examination is different from the support application used for colon examination
- the support application used for diagnosis support in esophageal examination is used for diagnosis support in esophageal surgery. It is different from the application.
- endoscope 21 and the video processor 31 those having different specifications and characteristics are used depending on the organ to be diagnosed and the purpose of use.
- different types of endoscopes are used for the examination of the upper digestive tract such as the esophagus and stomach, the examination of the small intestine, the examination of the large intestine, and the laparoscopic surgery.
- different types of video processors 31 are used for surgical examination / procedure and for internal medicine examination / procedure.
- the support application cannot be executed to provide the diagnosis support.
- the diagnosis support unit 34 when the support application for gastric examination is selected, when the endoscope 21 for colon examination and the video processor 31 for surgery are connected, The diagnostic support function cannot be executed because the inspection support application cannot operate normally.
- the support application cannot operate normally, and the diagnosis support function cannot be executed. Therefore, even when the resolution of the endoscope 21 is low, it is determined that the system device is in an inappropriate state for the diagnosis support function (S2111, YES).
- the support application is being improved and upgraded every day, and the connectable endoscope 21 and video processor 31 differ depending on the version. For example, if a support application capable of processing only digital data is set and the video processor 31 for analog data is connected to the image processing device 32, the data input from the video processor 31 should be processed by the support application. Therefore, the diagnosis support function cannot be executed.
- system information such as the type and version of the system device such as the endoscope 21 and the video processor 31 and the resolution of the endoscope 21 is acquired from a memory (not shown) of the endoscope 21 or the video processor 31.
- the parameter analysis unit 351A11 of the system device state analysis unit 351A1 configures the endoscope system such as the endoscope 21 and the video processor 31. It is determined whether the parameters of the system device to be used are settings inappropriate for the diagnosis support function (S2112).
- the parameter of the enhancement processing is set to a value exceeding the range expected as the diagnostic support function. If the emphasis process is performed by the above, the lesion cannot be detected correctly, and the diagnosis support function cannot operate normally.
- the processing proceeds to step S2114, it is determined that the state of the system device is not suitable for the diagnostic support function, the analysis result indicating that the parameters of the system device are inappropriate is output, and the system device state analysis process ends. To do.
- the system device state analysis unit 351A1 causes the support application (algorithm target organ or purpose of use, etc.) set in the diagnosis support unit 34. It is determined whether the version etc.) is inappropriate (S2113).
- step S2114 it is determined that the state of the system device is not suitable for the diagnosis support function, the analysis result indicating that the algorithm of the support application is inappropriate is output, and the system device state analysis process ends. To do.
- FIG. 10 is a flowchart showing an example of the flow of the imaging state analysis process according to the third embodiment.
- the process of FIG. 10 involves the imaging state analysis unit 351A2 of FIG. 3A.
- the imaging state analysis unit 351A2 first determines whether or not the state of the endoscope 21, which is an imaging device, is inappropriate for the diagnosis support function (S2121).
- the processing proceeds to step S2123, it is determined that the imaging state is not suitable for the diagnosis support function, the analysis result indicating that the state of the imaging device is inappropriate is output, and the imaging state analysis processing ends.
- the imaging state analysis unit 351A2 determines whether the generated image is inappropriate for diagnosis support (S2122). If the generated image has residues, bleeding, treatment marks, etc., the lesion part cannot be detected or is erroneously detected, so that the diagnosis support function does not operate normally. In such a case, it is determined that the imaging target is in a state inappropriate for the diagnosis support function (S2122, YES). Subsequently, the processing proceeds to step S2123, it is determined that the imaging target is not in a state suitable for the diagnosis support function, an analysis result indicating that the state of the imaging device is inappropriate is output, and the imaging state analysis processing ends.
- FIG. 11 is a flowchart showing an example of the flow of operation state analysis processing according to the third embodiment.
- the processing of FIG. 11 involves the operation state analysis unit 351A3 of FIG. 3A.
- the operation state analysis unit 351A3 determines whether or not the moving speed of the endoscope 21 is outside the setting speed (S2131).
- the setting speed S2131
- the diagnostic support function does not work properly because the length becomes shorter. That is, when executing the diagnosis support function, it is necessary to move the endoscope 21 within the set speed range.
- the extraction speed of the endoscope 21 is calculated from the difference between the images generated in a plurality of frames, or a sensor capable of detecting the speed such as a gyro sensor is provided at the tip of the endoscope 21 and the measurement value of the sensor is referred to. It is acquired by using a known method of calculating the speed, such as
- FIG. 12 is a block diagram for explaining an example of a configuration related to image processing of the image processing apparatus.
- the image processing apparatus of this embodiment has the same configuration as the image processing apparatus 32 of the first embodiment shown in FIG. 2 except that a diagnosis support setting unit 36 is added.
- the same components are assigned the same reference numerals and explanations thereof are omitted.
- the diagnosis support setting unit 36 controls whether to execute the function of the diagnosis support unit 34 based on the analysis result of the display control unit 35.
- the diagnosis support setting unit 36 controls not to execute the diagnosis support function (turns off the function itself)
- the generated images sequentially input from the image input unit 331 are not processed by the diagnosis support unit 34. It is directly output to the display control unit 35 without being subjected to.
- the operation confirmation process regarding the diagnosis support function performed in the image processing apparatus of the present embodiment is similar to the processing procedure shown in FIGS. 4, 5, and 6, but the state of the diagnosis support function in FIG. The difference is that the procedure for displaying the method (S32) is performed more specifically.
- the processing different from that of the first embodiment will be described below.
- FIG. 13 is a flowchart showing an example of the flow of the support function operation information display process according to the fourth embodiment.
- the process of FIG. 13 involves each setting unit (a solution method display setting unit 352B1, a reliability display setting unit 352B2, and an unsupportable display setting unit 352B3) included in the warning method setting unit 352B in FIG. 3B.
- the solution display setting unit 352B1 derives a solution for operating the diagnosis support function in an appropriate state and outputs it to the display device 41 (S321).
- the method for canceling the warning is displayed with reference to the factor (warning content) that affects the execution of the diagnosis support function, which is specified in step S31.
- the factor warning content
- step S31 when a warning indicating that the state of the system device is not appropriate is determined, and an analysis result that the resolution of the endoscope 21 is too low is obtained, based on the content of the warning, “The system device is appropriate” is selected.
- a solution method such as "setting the state” or "increasing the resolution of the endoscope” is further derived based on the analysis result.
- the reliability display setting unit 352B2 determines the reliability of the diagnosis support function and outputs it to the display device 41 (S321).
- the reliability is an index showing the degree of accuracy of the output (support content) of the diagnostic support function. For example, 100 is used when a lesion is correctly detected and appropriate support information is generated / displayed. A value between 0 and 100 is represented as 0 when an inappropriate state has occurred and no lesion can be detected at all or support information is not generated / displayed.
- the diagnostic support function will be in an inoperable state, so the reliability will be 0.
- the reliability is calculated as an appropriate value according to the condition of the residue.
- the non-support display setting unit 352B3 determines whether or not the diagnosis support function is operating normally (S323). Whether the normal operation is possible or not is determined based on the analysis result of the device state analysis unit 351A. When the diagnosis support function is inoperable (S323, YES), the fact that the diagnosis support function is not operating is output to the display device 41 (S324).
- an instruction to stop the execution of the diagnostic support function is output to the control unit 343 of the diagnostic support unit 34 (S325).
- the diagnosis support function does not operate normally due to external factors such as the system device status, imaging status, and operation status, it is not the abnormality of the diagnosis support function itself.
- the diagnosis support function is prevented from continuing to operate.
- the instruction to stop the execution of the diagnostic support function in S325 is not always necessary.
- an instruction to stop the execution of the diagnostic support function is output in S325, when the factor affecting the execution of the diagnostic support function is eliminated and the normal operational state is restored, the control unit 343 of the diagnostic support unit 34 is instructed.
- an instruction to restart the execution of the diagnosis support function may be output.
- diagnosis support function is not in the inoperable state (S323, NO)
- the display process of the diagnosis support function operation information is ended.
- FIG. 14 is a diagram showing an example of a display image displayed on the display device through the processing of the image processing device according to the fourth embodiment.
- a diagnosis support function status display unit 53 is arranged together with the generated image display unit 51 and the inspection information display unit 52.
- the diagnosis support function status display unit 53 is provided with a solution display unit 531, a reliability display unit 532, and a support function execution status display unit 533.
- the solution display unit 531 On the solution display unit 531, the solution determined by the solution display setting unit 532B1 is displayed in text format.
- the reliability display unit 532 displays the reliability determined by the reliability display setting unit 532B2. In FIG. 14, the reliability display unit 532 displays the reliability in the level meter format, but may display it in other formats such as numerical values.
- the support function execution state display unit 533 shows the operation status of the diagnosis support function itself. In FIG. 14, a cross mark is provided on the icon representing the diagnosis support function to indicate that the operation of the diagnosis support function is stopped.
- the support function execution state display unit 533 may also be displayed in another format, similar to the reliability display unit 532.
- the display contents and layout of the diagnostic support function status display unit 53 shown in FIG. 14 are merely examples, and can be freely changed according to the user's preference or legibility.
- the diagnostic assistance is performed by analyzing the generated image and / or the system information, and determining and displaying whether or not the state affects the operation of the diagnostic assistance function.
- the operating status of the function can always be identified by the user. Therefore, if the highlighting of the detection frame or the like is not performed, it is possible to easily identify whether the highlighting is not intentionally performed or the diagnosis support function is not operating because it hinders the user's observation.
- the present invention is not limited to the embodiments described above, and it goes without saying that various modifications and applications are possible without departing from the spirit of the invention.
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Endoscopes (AREA)
Abstract
内視鏡用画像処理装置(32)は、被写体を内視鏡(21)にて撮像して得られた撮像信号に対し、プロセッサ(31)にて所定の処理を施して生成された生成画像、及び/または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力される入力部(33)と、病変部を生成画像から検出して支援情報を付加、または通知する診断支援部(34)と、入力部(33)にて入力された生成画像、及び/または、システム情報を解析する取得情報解析部(351)と、解析結果に基づき、診断支援動作に影響を及ぼす要因を決定して出力する警告表示設定部(352)とを備える。
Description
本発明は、内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムに関する。
従来より、医療分野や工業用分野で内視鏡が広く利用されている。例えば、医療分野では、術者は、表示装置に表示された被検体内の内視鏡画像を見て病変部を発見及び鑑別し、病変部に対する処置具を用いた処理を行うことができる。
術者が内視鏡画像を見る際に病変部の見落としを抑制するために、内視鏡画像から検出された病変部に、枠などのマーカによる強調表示を付与して表示させる、診断支援機能を有する画像処理装置は、一般的に広く知られている。
診断支援機能は、病変部の見落としを抑制するために有効な機能であるが、ユーザが既に気づいている病変部に対して検出枠表示などの強調表示を施すと、ユーザの観察の妨げになる恐れがある。
そこで、例えば、日本国特開2011-255006号公報などにおいて、病変候補が検出されていても、サイズが大きい病変部など、ユーザが既に認識している可能性が高い場合には、検出枠などの強調表示を行わない内視鏡画像処理装置が提案されている。
しかし、日本国特開2011-255006号公報による内視鏡画像処理装置では、病変部が表示されているにもかかわらず、検出枠などの強調表示が行われない場合、ユーザの観察の妨げになるためにあえて強調表示を行っていないのか、診断支援機能が動作していないのかが識別できないという問題があった。
本発明は、前述した事情に鑑みてなされたものであり、診断支援機能の動作状況をユーザが常に識別することができる、内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラムを提供することを目的としている。
本発明の一態様の内視鏡用画像処理装置は、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び/または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力される入力部と、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援部と、前記入力部にて入力された前記生成画像、及び/または、前記システム情報を解析する取得情報解析部と、前記取得情報解析部における解析結果に基づき、前記診断支援部の動作に影響を及ぼす要因を決定して出力する警告表示設定部と、を備える。
本発明の一態様の内視鏡用画像処理方法は、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び/または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報を入力し、前記生成画像、及び/または、前記システム情報を解析し、前記内視鏡の観察対象である病変部を前記生成画像から検出して前記病変部に対して支援情報を付加する診断支援動作に対し、影響を及ぼす要因を前記解析結果に基づき決定して出力し、前記診断支援動作は常時実行しているが,前記要因が検出された場合は支援結果を表示させないかつ警告表示する。
本発明の一態様の内視鏡用画像処理プログラムは、入力部が、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び/または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報を取得するステップと、取得情報解析部が、前記生成画像、及び/または、前記システム情報を解析するステップと、警告表示設定部が、前記取得情報解析部における解析結果に基づき、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援動作に影響を及ぼす要因を決定して出力するステップと、診断支援部が、前記診断支援動作を実行するステップと、をコンピュータに実行させる。
以下、本発明の実施の形態について、図面を参照しつつ説明を行う。
(第1の実施形態)
図1は、第1の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図である。内視鏡システム1は、図1に示すように、光源駆動装置11と、内視鏡21と、ビデオプロセッサ31と、内視鏡用画像処理装置(以下、画像処理装置と示す)32と、表示装置41と、を有して構成されている。
図1は、第1の実施形態に係る画像処理装置を含む内視鏡システムの要部の構成を示す図である。内視鏡システム1は、図1に示すように、光源駆動装置11と、内視鏡21と、ビデオプロセッサ31と、内視鏡用画像処理装置(以下、画像処理装置と示す)32と、表示装置41と、を有して構成されている。
光源駆動装置11は、例えば、ドライブ回路を具備して構成されている。また、光源駆動装置11は、内視鏡21及びビデオプロセッサ31に接続されている。また、光源駆動装置11は、ビデオプロセッサ31からの光源制御信号に基づき、内視鏡21の光源部23を駆動させるための光源駆動信号を生成し、当該生成した光源駆動信号を内視鏡21へ出力するように構成されている。
内視鏡21は、光源駆動装置11及びビデオプロセッサ31に接続されている。また、内視鏡21は、被検者の体腔内に挿入可能な細長形状の挿入部22を有して構成されている。また、挿入部22の先端部には、光源部23と、撮像部24と、が設けられている。
光源部23は、例えば、白色LEDのような発光素子を具備して構成されている。また、光源部23は、光源駆動装置11から出力される光源駆動信号に応じて発光することにより照明光を発生し、当該発生した照明光を生体組織等の被写体へ出射するように構成されている。
撮像部24は、例えば、カラーCCDまたはカラーCMOSのようなイメージセンサを有して構成されている。また、撮像部24は、ビデオプロセッサ31から出力される撮像制御信号に応じた動作を行うように構成されている。また、撮像部24は、光源部23からの照明光により照明された被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ31へ出力するように構成されている。
ビデオプロセッサ31は、光源駆動装置11及び内視鏡21に接続されている。また、ビデオプロセッサ31は、光源部23の発光状態を制御するための光源制御信号を生成して光源駆動装置11へ出力するように構成されている。また、ビデオプロセッサ31は、撮像部24の撮像動作を制御するための撮像制御信号を生成して出力するように構成されている。また、ビデオプロセッサ31は、内視鏡21から出力される撮像信号に対して所定の処理を施すことにより被写体の生成画像を生成する。そして、当該生成した生成画像に対してユーザの設定に応じて強調処理やホワイトバランス補正処理を施した後、画像処理装置32へ1フレームずつ順次出力するように構成されている。
画像処理装置32は、画像処理回路等の電子回路を具備して構成されている。また、画像処理装置32は、ビデオプロセッサ31から出力される生成画像に基づいて表示用画像を生成し、当該生成した表示用画像を表示装置41に表示させるための動作を行うように構成されている。また、画像処理装置32は、図2に示すように、入力部33と、診断支援部34と、表示制御部35と、を有して構成されている。図2は、第1の実施形態に係る画像処理装置の画像処理に係る構成の一例を説明するためのブロック図である。
入力部33は、画像入力部331と、システム情報入力部332と、を有して構成される。画像入力部331は、ビデオプロセッサ31から入力される生成画像を、診断支援部34と表示制御部35とへ出力する。システム情報入力部332は、内視鏡21やビデオプロセッサ31のバージョン情報などを含む各種情報を取得し、表示制御部35へと出力する。
診断支援部34は、病変検出部341と、支援情報生成部342と、制御部343と、を有して構成される。
病変検出部341は、画像入力部331から順次出力される生成画像に含まれる病変部を検出するように構成されている。病変検出部341は、例えば、ディープラーニング等の学習手法でポリープ画像を鑑別可能な機能を予め取得した画像鑑別器を生成画像に対して適用する処理を行うことにより、当該生成画像から病変部を検出する。なお、病変部の検出は、上記に示す学習手法に限定されず、他の手法を用いてもよい。例えば、特開2007-244518号公報に開示のようなポリープ候補検出処理などを用いてもよい。
支援情報生成部342は、病変検出部341で検出された病変部の存在をユーザに認知させるために、例えば、当該病変部を囲むマーカ画像を生成して生成画像に付加する、または、表示する支援情報付加処理を行う。支援情報生成部342により付加されるマーカ画像は、病変部の存在を視覚情報として提示可能な限りにおいては、どのような形態を具備していてもよく、例えば、四角形、三角形、円形、星形等どのような画像でも構わない。また、マーカ画像は、病変部の存在を示すことができるものであれば、病変部を囲まない画像であっても構わない。例えば、病変部の明るさや色調を周辺領域とは異なるものとすることによって病変部の存在を示してもよい。更には、支援情報として病変部を示すメッセージを生成し、病変部の近傍にポップアップメッセージなどの形式で表示することによって、その存在を示してもよい。
支援情報制御部343は、病変検出部341で検出された病変部に対して支援情報を生成して付加表示するか否かを判断したり、支援情報の表示タイミングを制御したりする。
表示制御部35は、取得情報解析部351と、警告表示設定部352と、を有して構成される。
取得情報解析部351は、入力部33から出力される生成画像や、各種情報を解析し、診断支援部34における診断支援機能の実行に対する影響の有無を判断する回路である。図3Aは、取得情報解析部351の構成を示すブロック部である。図3Aに示す取得情報解析部351中の各部の動作については、下記の説明の対応する箇所で後述する。図3Aは、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第2から第4の実施形態に関わる構成も含めて示している。
警告表示設定部352は、取得情報解析部351の解析結果に基づき、診断支援を正しく実行できない原因を警告内容として特定し、当該警告を含む診断支援機能の状況を表示装置41の表示画面41Aへ表示させる表示内容を設定する回路である。図3Bは、警告表示設定部352の構成を示すブロック部である。図3Bに示す警告表示設定部352中の各部の動作については、下記の説明の対応する箇所で後述する。図3Bは、以下に説明する本実施の形態に関わる構成だけでなく、本実施の形態の後に説明する第2から第4の実施形態に関わる構成も含めて示している。
表示装置41は、モニタ等を具備し、画像処理装置32から出力される表示用画像を表示することができるように構成されている。
続いて、本実施形態の作用について説明する。図4は、第1の実施形態に係る画像処理装置において行われる診断支援機能に関する動作確認処理の流れの一例を説明するフローチャートである。
内視鏡21は、例えば、光源駆動装置11及びビデオプロセッサ31の電源が投入された際に、被写体へ照明光を出射し、当該被写体からの反射光を受光し、当該受光した反射光を撮像して撮像信号を生成し、当該生成した撮像信号をビデオプロセッサ31へ出力する。
ビデオプロセッサ31は、内視鏡21から出力される撮像信号に対して所定の処理を施すことにより被写体の生成画像を生成し、当該生成した生成画像を画像処理装置32へ1フレームずつ順次出力する。すなわち、入力部33の画像入力部331は、ビデオプロセッサ31から生体内管腔画像である内視鏡画像(生成画像)を取得する(S1)。また、入力部33のシステム情報入力部332は、ビデオプロセッサ31や内視鏡21において、図示しないメモリ等に格納されている、システム識別情報を取得する(S1)。画像入力部331は、取得した画像を、病変検出部341と取得情報解析部351とに出力する。また、システム情報入力部332は、取得したシステム情報を、取得情報解析部351に出力する。
なお、S1において、取得情報解析部351は、生成画像とシステム情報の少なくともどちらか一方を取得すればよい。勿論、両方を取得してもよい。
続いて、取得情報解析部351では、S1で取得した生成画像、及び/又は、システム情報を解析する(S2)。S2の処理は、例えば、図5に示す手順で実行される。図5は、第1の実施形態に係る取得情報解析処理の流れの一例を説明するフローチャートである。図5に示すように、本実施形態における取得情報解析処理では、生成画像、及び/又は、システム情報に基づき、内視鏡21やビデオプロセッサ31の状態が、診断支援に影響する状態か否かを解析する(S21)。S21の処理は、図3Aにおける機器状態解析部351Aが関わる。
図4のフローに戻り、続いて、S2で取得した解析結果に基づき、診断支援機能の実行に影響すると判断された場合、原因を警告内容として特定し、当該警告を含む診断支援機能の状況を表示装置41の表示画面41Aへ表示させる表示内容を設定する(S3)。S3の処理は、例えば、図6に示す手順で実行される。図6は、第1の実施形態に係る解析結果に基づく表示内容生成処理の流れの一例を説明するフローチャートである。
図6に示すように、本実施形態における解析結果に基づく表示内容生成処理では、まず、S2で取得した解析結果に基づき、診断支援機能の実行に影響する要因を警告内容として特定する(S31)。S31の処理は、図3Bにおける警告内容決定部352Aが関わる。続いて、表示装置41の表示画面41Aへ表示させる表示内容を設定し、出力する(S32)。S32の処理は、図3Bにおける警告方法設定部352Bが関わる。表示内容としては、該警告を解消するための方法や、診断支援機能の状態などが好ましいが、解消方法が提示できない場合は、S31で決定された警告内容そのものを表示してもよい。
一方、S2における取得情報解析処理と並列して、診断支援部34において、S1において病変検出部341に入力された生成画像を用いた診断支援機能が実行される(S4)。なお、S4の処理はS2の処理と並列に実行可能であるが、必ずしもS2の処理と並列に実行する必要はない。S2→S3→S4のように、シーケンシャルに行ってもよい。また、S2の処理を実行する前にS4の処理を実行しても構わない。
このように、上述の実施形態によれば、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、診断支援機能の実行に影響があるか否かを解析し、影響があると判定された場合、原因を特定し、警告として表示装置41に表示させる。従って、診断支援機能の動作状況をユーザが常に識別することができる。
(第2の実施形態)
上述の第1の実施形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、診断支援機能の実行に影響があるか否かを解析している。これに対し、本実施の形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、複数の観点から解析を行い、該観点に応じた優先度に従って警告内容を決定する点が異なっている。
上述の第1の実施形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、診断支援機能の実行に影響があるか否かを解析している。これに対し、本実施の形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、複数の観点から解析を行い、該観点に応じた優先度に従って警告内容を決定する点が異なっている。
本実施形態の画像処理装置は、第1の実施形態の画像処理装置32と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図4、図5、及び、図6に示す処理手順と同様であるが、図5における、診断支援機能に影響する状態か否かを解析する手順(S21)において、複数の観点から解析が行われる点が異なっている。また、図6における、解析結果に基づき診断支援機能の実行に影響する要因を警告内容として特定する手順(S31)が、複数の観点からの解析結果を用いて警告内容を決定する点も異なっている。以下、第1の実施形態と異なる処理について、説明する。
まず、診断支援機能に影響する状態か否かを解析する手順(図5、S21)について説明する。S21の処理は、例えば、図7に示す手順で実行される。図7は、第2の実施形態に係る機能可否解析処理の流れの一例を説明するフローチャートである。図7の処理には、図3Aにおける機器状態解析部351Aに含まれる各解析部(システム機器状態解析部351A1、撮像状態解析部351A2、及び、操作状態解析部351A3)が関わる。なお、本実施の形態では、複数の観点から診断支援機能に影響する状態か否かを解析する場合について説明しているが、図7には、一つの観点のみで解析する場合についても示している。
S21において診断支援機能に影響する状態か否かを解析するにあたり、まず、解析を行う項目(観点)から複数の項目を選択する(S201)。解析の観点としては、例えば、(A)システム機器の状態、(B)撮像の状態、(C)操作の状態、などの項目があげられる。本実施形態においては、これらの項目から2項目以上を選択して解析を行う。
解析項目として(A)システム機器の状態が選択された場合(S202、YES)、S21Aに進み、解析が実行される。S21Aにおけるシステム機器の状態の解析には、システム機器状態解析部351A1が関わる。システム機器状態解析部351A1は、システム情報入力部332から入力される、内視鏡21やビデオプロセッサ31などの内視鏡システムを構成する各機器のシステム情報に基づき、各種システム機器の状態が診断支援機能に適した状態であるか否かを解析する。全ての選択項目について解析が実行された場合(S203、YES)、エンドAに到達して機能状態解析処理を終了する。
一方、解析項目として(A)システム機器の状態が選択されていない場合(S202、NO)、S204に進む。また、全ての選択項目について解析が実行されていない場合も(S203、NO)、S204に進む。解析項目として(B)撮像の状態が選択された場合(S204、YES)、S21Bに進み、解析が実行される。S21Bにおける撮像の状態の解析には、撮像状態解析部351A2が関わる。撮像状態解析部351A2は、画像入力部331から入力される生成画像に基づき、該画像の撮像状態が診断支援機能に適した状態であるか否かを解析する。全ての選択項目について解析が実行されていない場合(S205、NO)、S21Cに進む。また、S204において、撮像の状態が選択されていない場合にも(S204、NO)、S21Cに進む。
S205において、全ての選択項目について解析が実行された場合(S205、YES)、S206に進む。システム機器の状態も解析した場合(S206、YES)、エンドABに到達して機能状態解析処理を終了する。システム機器の状態は解析せず、撮像の状態のみ解析した場合(S206、NO)、エンドBに到達して機能状態解析処理を終了する。
S21Cでは、残る項目として、(C)操作の状態の解析が実行される。S21Cにおける操作の状態の解析には、操作状態解析部351A3が関わる。操作状態解析部351A3は、システム情報入力部332から入力されるシステムに関する情報や、画像入力部331から入力される生成画像に基づき、ユーザによる内視鏡21の操作が診断支援機能に適した状態であるか否かを解析する。続いて、S207に進み、撮像状態を解析したか否かを確認する。
撮像状態も解析した場合(S207、YES)、S208に進んで、システム機器の状態の解析有無を確認する。システム機器の状態も解析した場合(S208、YES)、エンドABCに到達して機能状態解析処理を終了する。一方、システム機器の状態は解析していない場合(S208、NO)、エンドBCに到達して機能状態解析処理を終了する。
一方、撮像状態は解析していない場合(S207、NO),S209に進んで、システム機器の状態の解析有無を確認する。システム機器の状態は解析した場合(S209、YES)、エンドACに到達して機能状態解析処理を終了する。一方、システム機器の状態も解析していない場合(S209、NO)、エンドCに到達して機能状態解析処理を終了する。
すなわち、選択された項目に関する解析が終了すると、解析を行った項目に関する全ての解析結果が出力される。例えば、解析項目として(A)システム機器の状態と、(B)撮像の状態の2項目が選択された場合、図7におけるS21AとS21Bとが実行される。エンドABに到達し、S21Aを実行して得られた解析結果と、S21Bを実行して得られた結果とが出力され、機能状態解析処理を終了する。また、例えば、解析項目として(B)撮像の状態と、(C)操作の状態の2項目が選択された場合、図7におけるS21BとS21Cとが実行される。エンドBCに到達し、S21Bを実行して得られた解析結果と、S21Cを実行して得られた結果とが出力され、機能状態解析処理を終了する。
また、例えば、解析項目として(A)システム機器の状態と、(C)操作の状態の2項目が選択された場合、図7におけるS21AとS21Cとが実行される。エンドACに到達し、S21Aを実行して得られた解析結果と、S21Cを実行して得られた結果とが出力され、機能状態解析処理を終了する。更に、例えば、解析項目として(A)システム機器の状態と、(B)撮像の状態と、(C)操作の状態の3項目が選択された場合、図7におけるS21AとS21BとS21Cとが全て実行される。エンドABCに到達し、S21Aを実行して得られた解析結果と、S21Bを実行して得られた結果と、S21Cを実行して得られた結果とが出力され、機能状態解析処理を終了する。
図7における機能可否解析処理が終了すると、続いて図6のS31が実行される。S31の処理は、例えば、図8に示す手順で実行される。図8は、第2の実施形態に係る警告内容決定処理の流れの一例を説明するフローチャートである。図8の処理には、図3Bにおける警告内容決定部352Aが関わる。
まず、図7の処理で得られた解析結果を、機能可否解析部351Aから取得する(S311)。図7の処理においては、複数の項目について解析が行われている。S311では、解析を行った全ての項目についての結果を、機器状態解析部351Aから取得する。
次に、診断支援機能に寄与する影響の大きさに基づき解析項目に対して付与された優先度(警告内容として優先される順位)を参照し、S311で取得した解析結果の中で、診断支援機能の実行に影響する要因を警告内容として特定する。優先度は、予め画像処理装置32内の図示しないメモリなどに格納されている。S311を実行する際には該メモリを参照し、警告内容を特定する。
上述した3項目は、(A)システム機器の状態、(B)撮像の状態、(C)操作の状態、の順に診断支援機能に寄与する影響が大きい。例えば、生成画像の撮像状態や、ユーザの操作状態が診断支援機能に適した状態であっても、システム機器の状態が診断支援機能に適さない状態である場合、診断支援機能は動作しない。従って、(A)システム機器の状態が、最も診断支援機能に寄与する影響が大きいといえる。また、システム機器の状態が診断支援機能に適した状態である場合、生成画像の撮像状態が診断支援機能に適してなくても、支援機能の信頼度が低下するものの、診断支援機能を動作させることができる可能性がある。更に、システム機器の状態が診断支援機能に適した状態である場合、操作の状態が診断支援機能に適してなくても、支援機能の信頼度が低下するものの、診断支援機能を動作させることは可能である。これより、(B)撮像の状態は、(A)システム機器の状態より診断支援機能に寄与する影響が小さいものの、(C)操作の状態より診断支援機能に寄与する影響が大きいといえる。
以上より、(A)システム機器の状態が最も優先度が高い項目として設定される。次に優先度が高く設定される項目は(B)撮像の状態となり、(C)操作の状態は、最も優先度が低い項目として設定される。
S311においては、機器状態解析部351Aから取得した解析結果のうち、診断支援機能に適した状態ではないと判定された項目を抽出する。抽出した項目のうち、最も優先度が高い項目に関する解析結果を、警告内容として決定する(S312)。
例えば、解析項目として(A)システム機器の状態と、(B)撮像の状態の2項目が選択された場合、システム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、撮像の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。また、解析項目として(B)撮像の状態と、(C)操作の状態の2項目が選択された場合、撮像の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、撮像の状態の解析結果を警告内容として決定する。
また、(A)システム機器の状態と、(C)操作の状態の2項目が選択された場合、システム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。更に、(A)システム機器の状態と、(B)撮像の状態と、(C)操作の状態の3項目が選択された場合、少なくともシステム機器の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、撮像の状態、及び、操作の状態の解析結果によらず、システム機器の状態の解析結果を警告内容として決定する。また、システム機器の状態が診断支援機能に適する状態であり、撮像の状態が診断支援機能に適さない状態であるとの解析結果を取得していたら、操作の状態の解析結果によらず、撮像の状態の解析結果を警告内容として決定する。以上のようにして、図8に示すような警告内容決定の一連の処理を終了する。
このように、上述の実施形態によれば、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、複数の項目について診断支援機能の実行に影響があるか否かを解析する。影響があると判定された項目がある場合、該項目の中から診断支援機能に寄与する影響が大きい項目を選択し、警告として決定する。また、警告内容を解決する方法を表示装置41に表示させることで、診断支援機能の動作状況をユーザが常に識別することができ、動作に適さない状態である場合には、その最大の原因と解決方法を容易に把握することができる。
(第3の実施形態)
上述の第2の実施形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、複数の観点から解析を行っている。これに対し、本実施の形態では、個々の観点について個別に解析を行い、診断支援機能の実行に影響があるか否かをより具体的に解析している点が異なっている。
上述の第2の実施形態では、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、複数の観点から解析を行っている。これに対し、本実施の形態では、個々の観点について個別に解析を行い、診断支援機能の実行に影響があるか否かをより具体的に解析している点が異なっている。
本実施形態の画像処理装置は、第1の実施形態の画像処理装置32と同様の構成を有しており、同じ構成要素については、同じ符号を付して説明は省略する。
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図4、図5、図6、及び、図7に示す第2の実施形態の処理手順と同様であるが、図7における、システム機器の状態を解析する手順(S21A)、撮像の状態を解析する手順(S21B)、操作の状態を解析する手順(S21C)が、より具体的に行われる点が異なっている。以下、第2の実施形態と異なる処理について、説明する。
まず、システム機器の状態を解析する手順(S21A)について説明する。S21Aの処理は、例えば、図9に示す手順で実行される。図9は、第3の実施形態に係るシステム機器状態解析処理の流れの一例を示すフローチャートである。図9の処理は、図3Aにおけるシステム機器状態解析部351A1が関わる。
システム機器状態解析部351A1は、まず、内視鏡21やビデオプロセッサ31などの内視鏡システムを構成するシステム機器自体が、診断支援機能に不適切な状態であるか否かを判定する(S2111)。
診断支援部34で用いられる病変検出や支援情報生成は、診断対象臓器や診断支援が行われる状況(使用目的)に応じて、それぞれ異なるアルゴリズムが設定された支援アプリケーションを用いて実行される。診断対象臓器とは、例えば、大腸、小腸、食道、胃、などがあげられる。また、使用目的とは、例えば、検査や手術があげられる。例えば、胃の検査における診断支援に用いる支援アプリケーションは、大腸の検査に用いる支援アプリケーションと異なったものであるし、食道の検査における診断支援に用いる支援アプリケーションは、食道の手術における診断支援に用いる支援アプリケーションと異なったものである。
一方、内視鏡21やビデオプロセッサ31も、診断対象臓器や使用目的に応じて、異なる仕様・特性を有するものが用いられる。例えば、内視鏡21は、食道や胃などの上部消化管の検査と、小腸の検査と、大腸の検査と、腹腔鏡手術とでは、それぞれ別の種類のものが用いられる。また、例えば、ビデオプロセッサ31は、外科の検査・手技用と、内科の検査・手技用とで、別の種類のものが用いられる。
従って、内視鏡21やビデオプロセッサ31の種類が、診断支援部34で用いられる支援アプリケーションに適さない場合、支援アプリケーションを実行して診断支援を行うことができない。例えば、診断支援部34において、胃の検査用の支援アプリケーションが選択されている場合において、大腸の検査用の内視鏡21や、外科用のビデオプロセッサ31などが接続されている場合、胃の検査用の支援アプリケーションは、正常な動作ができないため、診断支援機能が実行できない。
このように、システム機器と、診断支援部34に設定されている支援アプリケーションのアルゴリズム対象臓器や使用目的が一致していない場合、システム機器が診断支援機能に不適切な状態であると判定する(S2111、YES)。
また、内視鏡21の撮像部24の解像度が、支援アプリケーションで必要な解像度よりも低い場合も、支援アプリケーションは正常な動作ができないため、診断支援機能が実行できない。従って、内視鏡21の解像度が低い場合も、システム機器が診断支援機能に不適切な状態であると判定する(S2111、YES)。
更に、支援アプリケーションは日々改善が施されバージョンアップされたものが提供されており、バージョンに応じて接続可能な内視鏡21やビデオプロセッサ31が異なってくる。例えば、デジタルデータのみ処理可能な支援アプリケーションが設定されており、画像処理装置32にアナログデータ用のビデオプロセッサ31が接続されている場合、ビデオプロセッサ31から入力されるデータを支援アプリケーションで処理することができないため、診断支援機能が実行できない。
このように、システム機器のバージョンや機能が、診断支援部34に設定されている支援アプリケーションで扱うことができないものである場合も、システム機器が診断支援機能に不適切な状態であると判定する(S2111、YES)。
なお、内視鏡21やビデオプロセッサ31などシステム機器の種類やバージョン、内視鏡21の解像度などのシステム情報は、内視鏡21やビデオプロセッサ31の図示しないメモリ等から取得する。
上述のように、システム機器が診断支援機能に不適切な状態であると判定されると(S2111、YES)、S2114に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、システム機器が不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。
一方、システム機器は適切な状態であると判定されると(S2111、NO)、システム機器状態解析部351A1のパラメータ解析部351A11は、内視鏡21やビデオプロセッサ31などの内視鏡システムを構成するシステム機器のパラメータが、診断支援機能に不適切な設定であるか否かを判定する(S2112)。
例えば、ビデオプロセッサ31において生成画像を生成する際に、エッジ強調処理やホワイトバランス補正処理などの画像強調を行う場合、強調処理のパラメータを診断支援機能として予定された範囲を超えた値に設定して強調処理を施すと、正しく病変部を検出することができず、診断支援機能が正常に動作できない。
このように、内視鏡システムを構成するシステム機器のパラメータが、診断支援機能として予定された範囲外の値に設定されている場合も、システム機器が診断支援機能に不適切な状態であると判定する(S2112、YES)。続いてS2114に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、システム機器のパラメータが不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。
一方、システム機器のパラメータも適切な状態であると判定されると(S2112、NO)、システム機器状態解析部351A1は、診断支援部34において設定されている支援アプリケーション(アルゴリズム対象臓器や使用目的、バージョンなど)が不適切であるか否かを判定する(S2113)。
支援アプリケーションのアルゴリズム対象臓器が未設定であったり、古いバージョンのものが設定されていたりする場合、病変部を検出することができず、診断支援機能が正常に動作できない。
このように、診断支援部34において設定されている支援アプリケーションが不適切である場合も、システム機器が診断支援機能に不適切な状態であると判定する(S2113、YES)。続いてS2114に進み、システム機器の状態が診断支援機能に適した状態ではないと判定し、支援アプリケーションのアルゴリズムが不適切である旨の解析結果を出力して、システム機器状態の解析処理を終了する。
一方、支援アプリケーションのアルゴリズムも適切であると判定された場合(S2113、NO)、システム機器の状態は診断支援機能に適した状態であると判定し(S2115)、システム機器状態の解析処理を終了する。
次に、撮像の状態を解析する手順(S21B)について説明する。S21Bの処理は、例えば、図10に示す手順で実行される。図10は、第3の実施形態に係る撮像状態解析処理の流れの一例を示すフローチャートである。図10の処理は、図3Aにおける撮像状態解析部351A2が関わる。
撮像状態解析部351A2は、まず、撮像機器である内視鏡21の状態が、診断支援機能に不適切な状態であるか否かを判定する(S2121)。
例えば、撮像対象に対して合焦していない場合や、露出が不適切である場合、レンズが曇っている場合、診断支援である生成画像が適切に取得されていないため、診断支援機能が正常に動作しない。このような場合、撮像機器の状態が、診断支援機能に不適切な状態であると判定する(S2121、YES)。続いてS2123に進み、撮像の状態が診断支援機能に適した状態ではないと判定し、撮像機器の状態が不適切である旨の解析結果を出力して、撮像状態解析処理を終了する。
一方、撮像機器の状態が適切な状態であると判定されると(S2121、NO)、撮像状態解析部351A2は、生成画像が診断支援に不適切であるか否かを判定する(S2122)。生成画像に、残渣や出血や治療痕などがある場合、病変部が検出できなかったり、誤検出してしまったりするために、診断支援機能が正常に動作しない。このような場合、撮像対象が、診断支援機能に不適切な状態であると判定する(S2122、YES)。続いてS2123に進み、撮像対象が診断支援機能に適した状態ではないと判定し、撮像機器の状態が不適切である旨の解析結果を出力して、撮像状態解析処理を終了する。
一方、撮像対象も適切であると判定された場合(S2122、NO)、撮像機器の状態は診断支援機能に適した状態であると判定し(S2124)、撮像状態の解析処理を終了する。
最後に、操作の状態を解析する手順(S21C)について説明する。S21Cの処理は、例えば、図11に示す手順で実行される。図11は、第3の実施形態に係る操作状態解析処理の流れの一例を示すフローチャートである。図11の処理は、図3Aにおける操作状態解析部351A3が関わる。
操作状態解析部351A3は、内視鏡21の移動速度が設定外の速度であるか否かを判定する(S2131)。大腸や上部消化管の検査など、内視鏡21の先端部を引き抜きながら観察を行う場合、引き抜く速度が速すぎると、生成画像から病変部を検出することが困難になったり病変部の検知時間が短くなったりするために、診断支援機能が正常に動作しない。すなわち、診断支援機能を実行する場合には、設定速度範囲内で内視鏡21を移動させる必要がある。
従って、内視鏡21の移動速度が設定外の速度である場合(S2131、YES)、操作の状態が診断支援機能に不適切な状態であると判定する。なお、内視鏡21の引き抜き速度は、複数フレームの生成画像の差分から算出したり、内視鏡21の先端部にジャイロセンサなど速度を検知可能なセンサを設け、該センサの測定値を参照したりするなど、既知の速度を算出する手法を用いて取得する。
上述のように、操作の状態が診断支援機能に不適切な状態であると判定されると(S2131、YES)、S2132に進み、操作の状態が診断支援機能に適した状態ではないと判定し、内視鏡21の移動速度が設定外速度である旨の解析結果を出力して、操作状態の解析処理を終了する。
一方、内視鏡21の移動速度が設定内の速度である場合(S2131、NO)、操作の状態は診断支援機能に適した状態であると判定し(S2133)、操作状態の解析処理を終了する。
上述のように、対象となる解析項目について、診断支援機能に影響する状態か否かの解析が終了すると、解析結果に基づく表示内容生成処理(図6)の一連の手順が実行される。
このように、上述の実施形態によれば、生成画像、及び/又は、内視鏡21やビデオプロセッサ31のシステム情報を用いて、個々の観点について診断支援機能の実行に影響があるか否かを詳細な解析を行っている。従って、診断支援機能の実行に影響があると判定された場合、より具体的な原因を特定し、警告として表示装置41に表示させることができる。従って、診断支援機能が動作していない場合、ユーザが迅速に対応することができる。
(第4の実施形態)
上述の実施形態では、取得情報解析部における解析結果に基づき、診断支援機能の実行に影響があると判定された場合には原因を特定し、診断支援機能を適切に動作させるための解決方法や、診断支援機能の状態を表示装置41に表示させる。本実施の形態では、これらの表示内容をより具体的に設定する点が異なっている。
上述の実施形態では、取得情報解析部における解析結果に基づき、診断支援機能の実行に影響があると判定された場合には原因を特定し、診断支援機能を適切に動作させるための解決方法や、診断支援機能の状態を表示装置41に表示させる。本実施の形態では、これらの表示内容をより具体的に設定する点が異なっている。
図12は、画像処理装置の画像処理に係る構成の一例を説明するためのブロック図である。本実施形態の画像処理装置は、診断支援設定部36が追加されている点を除き、図2に示す第1の実施形態の画像処理装置32と同様の構成を有している。同じ構成要素については、同じ符号を付して説明は省略する。
診断支援設定部36は、表示制御部35での解析結果に基づき、診断支援部34の機能を実行するか否かを制御する。診断支援設定部36において、診断支援機能を実行しない(機能自体をオフにする)旨の制御が行われると、画像入力部331から順次入力される生成画像は、診断支援部34において何も処理を施されることなく、そのまま表示制御部35に出力される。
本実施形態の画像処理装置において行われる診断支援機能に関する動作確認処理は、図4、図5、及び、図6に示す処理手順と同様であるが、図6における、診断支援機能の状態、解決方法を表示する手順(S32)が、より具体的に行われる点が異なっている。以下、第1の実施形態と異なる処理について説明する。
S32の処理は、例えば、図13に示す手順で実行される。図13は、第4の実施形態に係る支援機能動作情報表示処理の流れの一例を示すフローチャートである。図13の処理は、図3Bにおける警告方法設定部352Bに含まれる各設定部(解決方法表示設定部352B1、信頼度表示設定部352B2、及び、支援不可表示設定部352B3)が関わる。
まず、解決方法表示設定部352B1は、診断支援機能を適切な状態で動作させるための解決方法を導出し、表示装置41へ出力する(S321)。S321においては、S31において特定された、診断支援機能の実行に影響する要因(警告内容)を参照し、警告を解消するための方法を表示させる。例えば、S31において、システム機器の状態が適切な状態でない旨の警告が決定され、内視鏡21の解像度が低すぎるという解析結果が得らえている場合、警告内容を踏まえて「システム機器を適切な状態にする」や、更に解析結果を踏まえて「内視鏡の解像度を上げる」などの解決方法が導出される。
次に、信頼度表示設定部352B2は、診断支援機能の信頼度を決定し、表示装置41へ出力する(S321)。信頼度とは、診断支援機能の出力(支援内容)の正確さの度合いを表した指標であり、例えば、病変部を正しく検知し適切な支援情報を生成・表示している場合を100、なんらかの不適切な状態が発生しており、病変部を全く検知できなかったり支援情報が生成・表示されなかったりする場合を0として、0から100の間の数値で表現される。
例えば、システム機器が不適切な状態である場合、診断支援機能が実行不能状態になってしまうため、信頼度は0となる。また例えば、生成画像に残渣があるために撮像対象が不適切な状態である場合、診断支援機能は動作するものの病変部検出の精度が低下する。この場合、信頼度は残渣の状況に応じて適切な数値が算出される。
続いて、支援不可表示設定部352B3は、診断支援機能が正常に動作しているか否かを判定する(S323)。正常動作可否の判定は、機器状態解析部351Aの解析結果に基づいて行う。診断支援機能が動作不可の場合(S323、YES)、診断支援機能が動作していない旨を表示装置41へ出力し(S324)する。
そして、診断支援部34の制御部343に対し、診断支援機能の実行を停止させる指示を出力する(S325)。すなわち、診断支援機能そのものの異常でなく、システム機器の状態や、撮像の状態、操作の状態など、外的要因により診断支援機能が正常に動作しない場合、正しい支援結果が得られないにも関わらず、診断支援機能が動作し続けてしまうことを防止する。
なお、S325における診断支援機能の実行停止指示は、必ずしも必須ではない。また、S325において診断支援機能の実行を停止させる指示を出力した場合、診断支援機能の実行に影響する要因が解消されて正常に動作可能な状態に戻ったら、診断支援部34の制御部343に対し、診断支援機能の実行を再開させる指示を出力するようにしてもよい。
一方、診断支援機能が動作不可な状態ではない場合(S323、NO)、診断支援機能動作情報の表示処理を終了する。
図14は、第4の実施形態に係る画像処理装置の処理を経て表示装置に表示される表示用画像の一例を示す図である。表示装置41の表示画面41Aには、例えば、生成画像表示部51や検査情報表示部52と共に、診断支援機能状態表示部53が配置される。診断支援機能状態表示部53には、解決方法表示部531と、信頼度表示部532と、支援機能実行状態表示部533が配置されている。
解決方法表示部531には、解決方法表示設定部532B1で決定された解決方法が、テキスト形式で表示される。信頼度表示部532には、信頼度表示設定部532B2で決定された信頼度が表示される。図14においては、信頼度表示部532は、レベルメータ形式で信頼度を表記しているが、数値など他の形式で表示してもよい。支援機能実行状態表示部533は、診断支援機能自体の動作状況を示している。図14においては、診断支援機能を表すアイコンの上にバツ印を付与することで、診断支援機能の動作を停止していることを表している。支援機能実行状態表示部533も、信頼度表示部532と同様に他の形式で表示してもよい。
なお、図14に示す診断支援機能状態表示部53の表示内容や配置はあくまでも一例であり、ユーザの好みや見易さなどに応じて自由に変更可能である。
以上のように、上述した各実施形態によれば、生成画像、及び/または、システム情報を解析し、診断支援機能の動作に影響する状態か否かを判定して表示することで、診断支援機能の動作状況をユーザが常に識別することができる。従って、検出枠などの強調表示が行われない場合、ユーザの観察の妨げになるためにあえて強調表示を行っていないのか、診断支援機能が動作していないのかが容易に識別できる。 本発明は、上述した実施例に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
Claims (24)
- 被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び/または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報が入力される入力部と、
前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援部と、
前記入力部にて入力された前記生成画像、及び/または、前記システム情報を解析する取得情報解析部と、
前記取得情報解析部における解析結果に基づき、前記診断支援部の動作に影響を及ぼす要因を決定して出力する警告表示設定部と、
を備えることを特徴とする内視鏡用画像処理装置。 - 前記取得情報解析部は、前記生成画像、及び/または、前記システム情報を解析して診断支援動作に影響を及ぼす要因が存在するか否かを解析する機能状態解析部を備えることを特徴とする、請求項1に記載の内視鏡用画像処理装置。
- 前記警告表示設定部は、取得情報解析部における解析結果に基づき、前記診断支援動作に影響を及ぼす要因を決定する警告内容決定部と、前記診断支援動作の状態や、前記要因を解消するための解決方法を決定して出力する警告方法設定部とを備えることを特徴とする、請求項2に記載の内視鏡用画像処理装置。
- 前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、を備えており、前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記機能状態解析部は、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、前記警告内容決定部は、前記撮像状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部と、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部と、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部と、を備えており、前記警告内容決定部は、前記システム機器状態解析部の解析結果を優先的に前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記機能状態解析部は、前記システム機器の状態が前記診断支援動作に適した状態であるか否かを解析するシステム機器状態解析部を備えており、前記警告内容決定部は、前記システム機器状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記システム機器状態解析部は、前記システム機器の状態が、前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項8に記載の内視鏡用画像処理装置。
- 前記システム機器状態解析部は、前記システム機器の設定パラメータが、前記診断支援動作に適した状態であるか否かを判定するパラメータ解析部を備えることを特徴とする、請求項8に記載の内視鏡用画像処理装置。
- 前記パラメータ状態解析部は、前記プロセッサにおける前記撮像信号に対する画像強調処理のパラメータの値が、前記診断支援動作に適した範囲内であるか否かを判定することを特徴とする、請求項10に記載の内視鏡用画像処理装置。
- 前記システム機器状態解析部は、前記診断支援部において前記診断支援動作実行のために設定されたアルゴリズムが、前記診断支援動作に適切であるか否かを判定することを特徴とする、請求項8に記載の内視鏡用画像処理装置。
- 前記機能状態解析部は、前記生成画像の撮像状態が前記診断支援動作に適した状態であるか否かを解析する撮像状態解析部を備えており、前記警告内容決定部は、前記撮像状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記撮像状態解析部は、生成画像から判断できる前記撮像部の状態が前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項13に記載の内視鏡用画像処理装置。
- 前記撮像状態解析部は、前記被写体の状態が前記診断支援動作に適した状態であるか否かを判定することを特徴とする、請求項13に記載の内視鏡用画像処理装置。
- 前記撮像状態解析部は、前記生成画像に、残渣、出血、治療痕のいずれかが存在するか否かを判定することを特徴とする、請求項15に記載の内視鏡用画像処理装置。
- 前記機能状態解析部は、前記内視鏡の操作状態が前記診断支援動作に適した状態であるか否かを解析する操作状態解析部を備えており、前記警告内容決定部は、前記操作状態解析部の解析結果を前記診断支援動作に影響を及ぼす要因として決定することを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記機能状態解析部は、前記内視鏡の引き抜き速度が設定された所定範囲内であるか否かを判定することを特徴とする、請求項17に記載の内視鏡用画像処理装置。
- 前記警告方法設定部は、前記診断支援動作を適切な状態で動作させるための解決方法を導出して出力する解決方法表示設定部を備えていることを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記警告方法設定部は、前記診断支援動作による支援結果の信頼度を導出して出力する信頼度表示設定部を備えていることを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記警告方法設定部は、前記機器状態解析部の解析結果により前記診断支援動作が適切に動作しない状態である場合、前記診断支援動作が動作不可であることを出力する支援不可表示設定部を備えていることを特徴とする、請求項3に記載の内視鏡用画像処理装置。
- 前記取得情報解析部の解析結果により前記診断支援動作が適切に動作しない状態である場合、前記診断支援部の機能をオフに切り替える診断支援設定部をさらに備えていることを特徴とする、請求項1に記載の内視鏡用画像処理装置。
- 被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び/または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報を入力し、
前記生成画像、及び/または、前記システム情報を解析し、
前記内視鏡の観察対象である病変部を前記生成画像から検出して前記病変部に対して支援情報を付加、または通知する診断支援動作に対し、影響を及ぼす要因を前記解析結果に基づき決定して出力し、
前記要因が検出されない場合、前記診断支援動作を実行することを特徴とする、
内視鏡用画像処理方法。 - 入力部が、被写体を内視鏡の撮像部にて撮像して得られた撮像信号に対し、プロセッサにて所定の処理を施して生成された生成画像、及び/または、前記内視鏡及び前記プロセッサからなるシステム機器の設定情報であるシステム情報を取得するステップと、
取得情報解析部が、前記生成画像、及び/または、前記システム情報を解析するステップと、
警告表示設定部が、前記取得情報解析部における解析結果に基づき、前記内視鏡の観察対象である病変部を前記生成画像から検出し、前記病変部に対して支援情報を付加、または通知する診断支援動作に影響を及ぼす要因を決定して出力するステップと
診断支援部が、前記診断支援動作を実行するステップと、
をコンピュータに実行させることを特徴とする内視鏡用画像処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020552467A JP7017646B2 (ja) | 2018-10-26 | 2018-10-26 | 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム |
| PCT/JP2018/039829 WO2020084752A1 (ja) | 2018-10-26 | 2018-10-26 | 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム |
| US17/238,865 US11992177B2 (en) | 2018-10-26 | 2021-04-23 | Image processing device for endoscope, image processing method for endoscope, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2018/039829 WO2020084752A1 (ja) | 2018-10-26 | 2018-10-26 | 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US17/238,865 Continuation US11992177B2 (en) | 2018-10-26 | 2021-04-23 | Image processing device for endoscope, image processing method for endoscope, and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020084752A1 true WO2020084752A1 (ja) | 2020-04-30 |
Family
ID=70331418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2018/039829 Ceased WO2020084752A1 (ja) | 2018-10-26 | 2018-10-26 | 内視鏡用画像処理装置、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11992177B2 (ja) |
| JP (1) | JP7017646B2 (ja) |
| WO (1) | WO2020084752A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023053991A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム |
| JP2025142487A (ja) * | 2024-03-18 | 2025-10-01 | コニカミノルタ株式会社 | 医療情報処理装置、医療情報処理システム、医療情報処理方法及びプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6883662B2 (ja) * | 2019-03-27 | 2021-06-09 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003265410A (ja) * | 2002-03-15 | 2003-09-24 | Olympus Optical Co Ltd | 内視鏡装置 |
| JP2005124756A (ja) * | 2003-10-22 | 2005-05-19 | Olympus Corp | 内視鏡用画像処理装置 |
| JP2006166990A (ja) * | 2004-12-13 | 2006-06-29 | Olympus Corp | 医用画像処理方法 |
| JP2010142597A (ja) * | 2008-12-22 | 2010-07-01 | Hoya Corp | 内視鏡装置 |
| JP2011224038A (ja) * | 2010-04-15 | 2011-11-10 | Olympus Corp | 画像処理装置及びプログラム |
| JP2013056001A (ja) * | 2011-09-07 | 2013-03-28 | Olympus Corp | 蛍光観察装置 |
| WO2013073418A1 (ja) * | 2011-11-16 | 2013-05-23 | オリンパスメディカルシステムズ株式会社 | 内視鏡用映像信号処理装置 |
| JP2015177961A (ja) * | 2014-02-27 | 2015-10-08 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法 |
| JP2017006489A (ja) * | 2015-06-24 | 2017-01-12 | オリンパス株式会社 | 内視鏡装置 |
| JP2017086549A (ja) * | 2015-11-11 | 2017-05-25 | オリンパス株式会社 | 走査型内視鏡装置 |
| JP2018057605A (ja) * | 2016-10-05 | 2018-04-12 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの駆動方法 |
| JP2018139848A (ja) * | 2017-02-28 | 2018-09-13 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006062163A1 (ja) | 2004-12-10 | 2006-06-15 | Olympus Corporation | 医用画像処理方法 |
| US7894648B2 (en) * | 2005-06-17 | 2011-02-22 | Mayo Foundation For Medical Education And Research | Colonoscopy video processing for quality metrics determination |
| JP4891636B2 (ja) | 2006-03-14 | 2012-03-07 | オリンパスメディカルシステムズ株式会社 | 画像解析装置 |
| US7794396B2 (en) * | 2006-11-03 | 2010-09-14 | Stryker Corporation | System and method for the automated zooming of a surgical camera |
| JP4884567B2 (ja) * | 2009-11-06 | 2012-02-29 | オリンパスメディカルシステムズ株式会社 | 内視鏡システム |
| JP2011255006A (ja) | 2010-06-09 | 2011-12-22 | Olympus Corp | 画像処理装置、内視鏡装置、プログラム及び画像処理方法 |
| WO2015194242A1 (ja) * | 2014-06-18 | 2015-12-23 | オリンパス株式会社 | 画像処理装置 |
| WO2016084504A1 (ja) * | 2014-11-26 | 2016-06-02 | オリンパス株式会社 | 診断支援装置及び診断支援情報表示方法 |
| JP6243364B2 (ja) * | 2015-01-26 | 2017-12-06 | 富士フイルム株式会社 | 内視鏡用のプロセッサ装置、及び作動方法、並びに制御プログラム |
-
2018
- 2018-10-26 WO PCT/JP2018/039829 patent/WO2020084752A1/ja not_active Ceased
- 2018-10-26 JP JP2020552467A patent/JP7017646B2/ja active Active
-
2021
- 2021-04-23 US US17/238,865 patent/US11992177B2/en active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003265410A (ja) * | 2002-03-15 | 2003-09-24 | Olympus Optical Co Ltd | 内視鏡装置 |
| JP2005124756A (ja) * | 2003-10-22 | 2005-05-19 | Olympus Corp | 内視鏡用画像処理装置 |
| JP2006166990A (ja) * | 2004-12-13 | 2006-06-29 | Olympus Corp | 医用画像処理方法 |
| JP2010142597A (ja) * | 2008-12-22 | 2010-07-01 | Hoya Corp | 内視鏡装置 |
| JP2011224038A (ja) * | 2010-04-15 | 2011-11-10 | Olympus Corp | 画像処理装置及びプログラム |
| JP2013056001A (ja) * | 2011-09-07 | 2013-03-28 | Olympus Corp | 蛍光観察装置 |
| WO2013073418A1 (ja) * | 2011-11-16 | 2013-05-23 | オリンパスメディカルシステムズ株式会社 | 内視鏡用映像信号処理装置 |
| JP2015177961A (ja) * | 2014-02-27 | 2015-10-08 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、及び内視鏡システム用プロセッサ装置の作動方法 |
| JP2017006489A (ja) * | 2015-06-24 | 2017-01-12 | オリンパス株式会社 | 内視鏡装置 |
| JP2017086549A (ja) * | 2015-11-11 | 2017-05-25 | オリンパス株式会社 | 走査型内視鏡装置 |
| JP2018057605A (ja) * | 2016-10-05 | 2018-04-12 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの駆動方法 |
| JP2018139848A (ja) * | 2017-02-28 | 2018-09-13 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023053991A1 (ja) * | 2021-09-30 | 2023-04-06 | 富士フイルム株式会社 | 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム |
| JP2025142487A (ja) * | 2024-03-18 | 2025-10-01 | コニカミノルタ株式会社 | 医療情報処理装置、医療情報処理システム、医療情報処理方法及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2020084752A1 (ja) | 2021-09-24 |
| US11992177B2 (en) | 2024-05-28 |
| JP7017646B2 (ja) | 2022-02-08 |
| US20210251470A1 (en) | 2021-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5568196B1 (ja) | 画像処理装置及び画像処理方法 | |
| EP3777645A1 (en) | Endoscope observation assistance device, endoscope observation assistance method, and program | |
| JP7292376B2 (ja) | 制御装置、学習済みモデル、および内視鏡の移動支援システムの作動方法 | |
| US12414675B2 (en) | Image processing device, operation method, and computer readable recording medium | |
| US12414674B2 (en) | Image processing apparatus, diagnosis supporting method, and recording medium recording image processing program | |
| US11992177B2 (en) | Image processing device for endoscope, image processing method for endoscope, and recording medium | |
| US11457876B2 (en) | Diagnosis assisting apparatus, storage medium, and diagnosis assisting method for displaying diagnosis assisting information in a region and an endoscopic image in another region | |
| WO2020165978A1 (ja) | 画像記録装置、画像記録方法および画像記録プログラム | |
| US20200090548A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
| WO2020090729A1 (ja) | 医療画像処理装置、医療画像処理方法及びプログラム、診断支援装置 | |
| US20240257348A1 (en) | Endoscopic image processing device, endoscopic image processing method, and endoscope system | |
| WO2019012586A1 (ja) | 医用画像処理装置及び医用画像処理方法 | |
| CN113925608B (zh) | 手术辅助系统以及手术辅助方法 | |
| US20220346632A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium storing computer program | |
| CN115023171A (zh) | 学习用医疗图像数据生成装置、学习用医疗图像数据生成方法以及程序 | |
| WO2021241735A1 (ja) | 内視鏡プロセッサ装置 | |
| US20250387004A1 (en) | Image processing apparatus, diagnosis supporting method, and recording medium recording image processing program | |
| US20250143538A1 (en) | Image processing device, image processing method, and storage medium | |
| JP7788715B2 (ja) | 検査支援装置、検査支援方法および検査支援プログラム | |
| WO2025141691A1 (ja) | 対象物検出装置,対象物検出方法,対象物検出プログラム,内視鏡システム | |
| WO2023053991A1 (ja) | 医療画像処理装置、医療画像処理装置の作動方法、及び医療画像処理装置用プログラム | |
| WO2024095674A1 (ja) | 医療支援装置、内視鏡、医療支援方法、及びプログラム | |
| WO2023212595A1 (en) | System having a multi-ordered classification modules | |
| WO2024121885A1 (ja) | 情報処理装置、情報処理方法、及び、記録媒体 | |
| WO2024028925A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18937557 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2020552467 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18937557 Country of ref document: EP Kind code of ref document: A1 |