[go: up one dir, main page]

WO2023112499A1 - 内視鏡画像観察支援装置及び内視鏡システム - Google Patents

内視鏡画像観察支援装置及び内視鏡システム Download PDF

Info

Publication number
WO2023112499A1
WO2023112499A1 PCT/JP2022/039849 JP2022039849W WO2023112499A1 WO 2023112499 A1 WO2023112499 A1 WO 2023112499A1 JP 2022039849 W JP2022039849 W JP 2022039849W WO 2023112499 A1 WO2023112499 A1 WO 2023112499A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
priority
support information
observation
endoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/039849
Other languages
English (en)
French (fr)
Inventor
健太郎 大城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2023567585A priority Critical patent/JPWO2023112499A1/ja
Publication of WO2023112499A1 publication Critical patent/WO2023112499A1/ja
Priority to US18/735,153 priority patent/US20240315531A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user

Definitions

  • the present invention relates to an endoscope image observation support device and an endoscope system, and more particularly to an endoscope image observation support device and an endoscope system that support observation of images captured by an endoscope.
  • Patent Literatures 1 to 3 describe techniques for assisting detection, discrimination, etc. of lesions using AI. By providing various support functions to the user, the burden of observation can be reduced.
  • One embodiment of the technology of the present disclosure provides an endoscopic image observation support device and an endoscope system that can provide a user interface with high visibility even when having a plurality of support functions.
  • An endoscopic image observation support device for supporting observation of an image captured by an endoscope, comprising a processor, the processor displaying an image on a display device, and providing a plurality of supports for displaying the image on the display device.
  • An endoscopic image observation support device that sets the priority of information and causes a display device to display a plurality of pieces of support information based on the priority.
  • the endoscopic image observation support device of (1) wherein the plurality of support information includes at least one of information indicating the position of the lesion, information indicating the result of differentiation, and information indicating the progress of observation. .
  • An endoscope system comprising an endoscope, a display device, and an endoscope image observation support device according to any one of (1) to (17).
  • FIG. 1 is a block diagram showing an example of a hardware configuration of an endoscopic image observation support device; Block diagram of the main functions of the endoscopic image observation support device Main functional blocks of the image recognition processing unit A diagram showing an example of the observation progress status determination result A diagram showing an example of a table Diagram showing an example of screen display A diagram showing an example of display of the second support information A diagram showing an example of display of the second support information A diagram showing an example of display of the third support information Flowchart showing the procedure of support information display processing A diagram showing an example of displaying by changing the luminance according to the priority A diagram showing an example of highlighting the first support information A diagram showing another example of the third support information A diagram showing an example of the display of the observation status display map on the screen A diagram showing an example of display of support information according to priority A diagram showing another example of display of support information according to priority A diagram showing an example in which the third support information is highlighted and displayed Block diagram of the main functions of the
  • FIG. 1 is a block diagram showing an example of the system configuration of an endoscope system.
  • the endoscope system 1 of the present embodiment includes an endoscope 10, a light source device 20, a processor device 30, an input device 40, a display device 50, an endoscope image observation support device 100, and the like.
  • the endoscope 10 is connected to a light source device 20 and a processor device 30 .
  • the light source device 20 , the input device 40 and the endoscopic image observation support device 100 are connected to the processor device 30 .
  • the display device 50 is connected to the endoscopic image observation support device 100 .
  • the endoscope system 1 of the present embodiment is configured as a system capable of observation using special light (special light observation) in addition to observation using normal white light (white light observation).
  • Special light viewing includes narrowband light viewing.
  • Narrowband light observation includes BLI observation (Blue laser imaging observation), NBI observation (Narrowband imaging observation), LCI observation (Linked Color Imaging observation), and the like. Note that the special light observation itself is a well-known technique, so detailed description thereof will be omitted.
  • the endoscope 10 of the present embodiment is an electronic endoscope (flexible endoscope), particularly an electronic endoscope for upper digestive organs.
  • the electronic endoscope includes an operation section, an insertion section, a connection section, and the like, and images an object with an imaging device incorporated in the distal end of the insertion section.
  • the operation unit includes operation members such as an angle knob, an air/water supply button, a suction button, and a mode switching button, as well as a forceps port.
  • the mode switching button is a button for switching observation modes. For example, a mode for white light observation, a mode for LCI observation, and a mode for BLI observation are switched.
  • the release button is a button for instructing shooting of a still image. Since the endoscope itself is publicly known, a detailed description thereof will be omitted.
  • the endoscope 10 is connected to the light source device 20 and the processor device 30 via the connecting portion.
  • the light source device 20 generates illumination light to be supplied to the endoscope 10 .
  • the endoscope system 1 of the present embodiment is configured as a system capable of special light observation in addition to normal white light observation. Therefore, the light source device 20 has a function of generating light corresponding to special light observation (for example, narrow band light) in addition to normal white light. Note that, as described above, special light observation itself is a known technique, and therefore the description of the generation of the illumination light will be omitted.
  • the switching of the light source type is performed, for example, by a mode switching button provided on the operating section of the endoscope 10 .
  • the processor device 30 centrally controls the operation of the entire endoscope system.
  • the processor device 30 includes a processor, a main memory device, an auxiliary memory device, an input/output interface, an operation panel, etc. as its hardware configuration.
  • the processor is composed of, for example, a CPU (Central Processing Unit).
  • the main memory is composed of, for example, RAM (Random Access Memory).
  • the auxiliary storage device is composed of, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.
  • the operation panel is provided with various operation buttons.
  • FIG. 2 is a block diagram of the main functions of the processor device.
  • the processor device 30 has functions such as an endoscope control section 31, a light source control section 32, an image processing section 33, an input control section 34, an output control section 35, and the like. Each function is realized by the processor executing a predetermined program.
  • the auxiliary storage device stores various programs executed by the processor and various data required for control and the like.
  • the endoscope control unit 31 controls the endoscope 10.
  • the control of the endoscope 10 includes drive control of the imaging device, air/water supply control, suction control, and the like.
  • the light source controller 32 controls the light source device 20 .
  • the control of the light source device 20 includes light emission control of the light source, switching control of the light source type, and the like.
  • the image processing unit 33 performs various signal processing on the signal output from the imaging device of the endoscope 10 to generate a captured image.
  • the input control unit 34 performs processing for accepting input of operations from the input device 40 and the operation unit of the endoscope 10 and input of various types of information.
  • the output control unit 35 controls output of information to the endoscopic image observation support device 100 .
  • Information to be output to the endoscopic image observation support apparatus 100 includes information input via the input device 40, various operation information, etc., in addition to the image captured by the endoscope.
  • the various operation information includes operation information by the input device 40, operation information by the operation unit of the endoscope 10, operation information of an operation panel provided in the processor device 30, and the like.
  • the input device 40 is composed of a keyboard, a foot switch, and the like. Note that the input device 40 can be configured with a touch panel, a voice input device, a line-of-sight input device, or the like in place of or in addition to the keyboard or the like.
  • the display device 50 is configured by a flat panel display (FPD) such as a liquid crystal display (LCD) or an organic light emitting diode (OLED) display. An image captured by the endoscope is displayed on the display device 50 .
  • the display device 50 can be configured with a head mounted display (HMD), a projector, or the like instead of or in addition to the FPD.
  • FPD flat panel display
  • LCD liquid crystal display
  • OLED organic light emitting diode
  • the endoscopic image observation support device 100 displays an image captured by an endoscope on the display device 50 and provides a user with a function of supporting the observation.
  • functions for supporting observation a function for supporting detection of a lesion, a function for supporting discrimination, and a function for notifying the progress of observation are provided.
  • the function of supporting the detection of lesions is provided as a function of automatically detecting lesions from images captured by the endoscope 10 and notifying the positions thereof on the screen of the display device 50 .
  • the function of supporting discrimination is provided as a function of discriminating the detected lesion and notifying the result on the screen of the display device 50.
  • the function of notifying the progress of observation is provided as a function of notifying the progress of observation on the screen of the display device 50 when the part to be observed is determined.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the endoscopic image observation support device.
  • the endoscopic image observation support device 100 is configured by a so-called computer, and includes a processor 101, a main memory device (main memory) 102, an auxiliary storage device (storage) 103, an input/output interface 104, etc. as its hardware configuration.
  • the endoscopic image observation support device 100 is connected to the processor device 30 and the display device 50 via the input/output interface 104 .
  • a processor is comprised by CPU, for example.
  • the main memory device 102 is composed of, for example, a RAM.
  • Auxiliary storage device 103 is composed of, for example, an HDD, an SSD, or the like.
  • the auxiliary storage device 103 stores programs executed by the processor 101 and various data necessary for control and the like. Information such as an image captured by the endoscope and recognition processing results is recorded in the auxiliary storage device 103 .
  • FIG. 4 is a block diagram of the main functions of the endoscopic image observation support device.
  • the endoscopic image observation support device 100 has functions such as an image acquisition unit 111, an image recognition processing unit 112, a priority setting unit 113, a display control unit 114, and the like.
  • the function of each unit is realized by the processor 101 executing a predetermined program (endoscopic image observation support program).
  • the image acquisition unit 111 performs processing for acquiring images captured in time series by the endoscope 10 in time series order.
  • images are acquired in real time. That is, an image captured by the endoscope 10 is obtained in real time via the processor device 30 .
  • the image recognition processing unit 112 performs various recognition processes on the image acquired by the image acquisition unit 111, and generates information used to support observation.
  • Fig. 5 shows the main functional blocks of the image recognition processing unit.
  • the image recognition processing unit 112 of the present embodiment has functions such as a lesion detection unit 112A, a discrimination unit 112B, a part recognition unit 112C and a progress determination unit 112D.
  • the lesion detection unit 112A detects lesions such as polyps included in the image by performing image recognition on the input image. Lesions include areas that are definite lesions, areas that may be lesions (benign tumors or dysplasia, etc.), and areas that may be directly or indirectly related to lesions. A part with a certain characteristic (redness, etc.) is included.
  • the lesion detection unit 112A is composed of an AI, particularly a trained model trained to recognize a lesion from an image. Detection of a lesion using a trained model itself is a known technique, so detailed description thereof will be omitted. As an example, in the present embodiment, the lesion detection unit 112A is configured with a trained model using a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the discrimination unit 112B performs discrimination processing on the lesion detected by the lesion detection unit 112A.
  • processing for estimating the possibility of neoplastic (NEOPLASTIC) or non-neoplastic (HYPERPLASTIC) is performed on a lesion such as a polyp detected by lesion detection unit 112A.
  • the discriminating unit 112B is composed of an AI, particularly a trained model trained to discriminate a lesion from an image.
  • discrimination section 112B is configured with a trained model using CNN.
  • the part recognition unit 112C performs image recognition on the input image, thereby recognizing the parts included in the image.
  • the site being observed is recognized by the site recognition unit 112C.
  • 112 C of part recognition parts are comprised by AI, and are especially comprised by the trained model trained so that the part may be recognized from an image.
  • part recognition section 112C is configured with a trained model using CNN.
  • the progress determination unit 112D performs processing for determining the progress of observation based on the recognition result of the part by the part recognition unit 112C. Specifically, processing for determining the observation status (observed or unobserved) of a predetermined observation target region is performed. The site to be observed is determined for each organ to be observed according to the purpose of observation (examination).
  • the object of observation is the stomach
  • the esophagogastric junction (2) the lesser curvature just below the cardia (imaging by J-turn operation), (3) the greater curvature just below the cardia (imaging by U-turn operation),
  • the posterior wall of the lesser curvature from the angle of the stomach or the lower part of the body (imaging by J-turn operation), (5) the anterior part of the pyloric ring to the pyloric ring, and (6) looking down on the greater curvature of the lower body were set as observation target sites. be done. These sites are sites that must be intentionally recorded. In addition, these sites are sites that require intentional endoscopic manipulation in observing the stomach.
  • FIG. 6 is a diagram showing an example of the observation progress status determination result.
  • the observation progress status determination result indicates whether it is "observed” or "unobserved” for each observation target part.
  • a site to be observed that has been recognized even once is regarded as “observed”.
  • an observation target site that has not yet been recognized is defined as "unobserved”.
  • the priority setting unit 113 performs processing for setting the priority of various types of support information to be displayed on the display device 50 .
  • Priority is the same as display priority. They are ranked 1, 2, and 3 in descending order of priority.
  • the endoscopic image observation support apparatus 100 of the present embodiment has, as observation support functions, a function of supporting detection of a lesion, a function of supporting discrimination, and reporting the progress of observation. It has the function to In the function for assisting detection of lesions, information indicating the position of lesions is provided to the user as support information. In the discrimination support function, information indicating the discrimination result is provided to the user as support information. In the function of notifying the progress of observation, information indicating the progress of observation is provided to the user as support information.
  • the priority setting unit 113 sets the priority of each piece of support information when displaying a plurality of pieces of support information on the screen at the same time.
  • the priority setting unit 113 sets the priority of each piece of support information based on the outputs of the lesion detection unit 112A, discrimination unit 112B, and progress determination unit 112D. More specifically, the priority of each piece of support information is set by referring to the table.
  • FIG. 7 is a diagram showing an example of the table.
  • priorities to be set are defined according to outputs of the lesion detection unit 112A, discrimination unit 112B, and progress determination unit 112D.
  • the priority of the first support information is set to [2] and the priority of the second support information is set to [1].
  • the priority of the first support information is set to [1]
  • the priority of the third support information is set to [2].
  • the priority of the second support information is set to [2]
  • the priority of the third support information is set to [1].
  • the first support information has priority [2]
  • the second support information has priority [1]
  • the third support information has priority. degree [3].
  • FIG. 8 is a diagram showing an example of screen display. The figure shows an example in which the display device 50 has a so-called wide screen (horizontally long screen).
  • the screen 50A of the display device 50 has a main display area 51 and a sub-display area 52.
  • the main display area 51 is an area where an observation image, that is, a live view of an image IM captured by an endoscope is displayed.
  • An image IM captured by the endoscope is displayed in an observation image display area 53 set in the main display area 51 .
  • the observation image display area 53 is configured in a shape obtained by cutting off the top and bottom of a circle.
  • the sub-display area 52 is an area used for displaying various information.
  • the sub-display area 52 displays subject information, still images captured during observation, and the like.
  • FIG. 8 shows an example of the display of the first support information.
  • a detection box 54 and detection assist circles 55R and 55L are displayed as the first assistance information.
  • the detection box 54 is composed of a rectangular frame and displayed so as to enclose the detected lesion LP.
  • the detection assist circles 55R and 55L are composed of arcuate curves displayed along the left and right margins of the observation image display area 53, and the ones closer to the detected lesion LP are colored in a predetermined color (for example, green). Light.
  • the detection assist circle 55L on the left side of the screen is illuminated because the lesion LP is present on the left side of the screen.
  • FIG. 9 and 10 are diagrams showing an example of the display of the second support information.
  • FIG. 9 shows an example in which the discrimination result is "neoplastic"
  • FIG. 10 shows an example in which the discrimination result is "non-neoplastic".
  • a discrimination result 56, a position map 57, a discrimination assist circle 58 and a status bar 59 are displayed as the second support information.
  • discrimination result 56 "tumor (NEOPLASTIC)” and “non-neoplastic (HYPERPLASTIC)” estimated by recognition processing are displayed at a predetermined discrimination result display position.
  • a discrimination result 56 is displayed at a position right below the observation image display area 53 .
  • the discrimination result is “neoplastic”
  • NEOPLASTIC is displayed at the discrimination result display position, as shown in FIG.
  • HYPERPLASTIC is displayed at the discrimination result display position, as shown in FIG.
  • the position map 57 indicates the discrimination target area in the image.
  • the position map 57 displays a frame similar in shape to the observation image display region 53 in a rectangular box, and the region to be identified is indicated in a predetermined color within the frame. Since the area to be identified is the area of the lesion, the area of the lesion is shown in a predetermined color. As for the color, a color corresponding to the identification result is displayed. For example, when the discrimination result is “neoplastic,” the region to be discriminated is indicated in yellow. On the other hand, when the discrimination result is "non-neoplastic,” the region to be discriminated is shown in green.
  • the position map 57 is displayed at a fixed position. In this embodiment, it is displayed at the position map display position set in the sub-display area 52 .
  • the discrimination assist circle 58 is composed of arc-shaped curves displayed along the left and right edges of the observation image display area 53, and lights up in a color corresponding to the discrimination result. For example, when the differential result is "neoplastic”, it lights up in yellow. On the other hand, when the differential result is "non-neoplastic", it lights up in green.
  • the status bar 59 indicates the analysis state of neoplasticity or non-neoplasticity of the discrimination target region by the discrimination unit 112B.
  • the status bar 59 consists of three arc-shaped blocks arranged at regular intervals along the edge on the right side of the observation image display area 53, and each block lights up according to the analysis state.
  • the analysis state is indicated by three levels (levels 1 to 3).
  • Level 1 is when responding to mixed heterogeneous lesions.
  • Level 2 is in response to separate heterogeneous lesions.
  • Level 3 is in response to allogeneic lesions.
  • For level 1 only the lower one of the three blocks is lit.
  • For level 2 the center and bottom two of the three blocks are illuminated.
  • all three blocks are illuminated.
  • 9 and 10 show the case where the analysis state is level 3.
  • FIG. The discrimination assist circle 58 lights up only when the analysis state is level 3.
  • FIG. 11 is a diagram showing an example of display of the third support information.
  • a progress bar 60 is displayed as the third support information.
  • the progress bar 60 has an arcuate shape and is arranged along the edge on the right side of the observation image display area 53 .
  • the progress bar 60 changes color from bottom to top according to the progress of observation.
  • FIG. 11 shows a state in which two of the six observation target regions have been observed. In this case, the color changes by two graduations. When all observation target parts have been observed, the color of all scales changes.
  • the display control unit 114 displays each piece of support information based on the priority set by the priority setting unit 113 .
  • support information with a priority lower than a threshold is hidden.
  • the threshold is 1, for example. Therefore, only support information with a priority of 1 is displayed.
  • the third support information is It is hidden, and only the first support information is displayed on the screen (the display shown in FIG. 10 is switched to the display shown in FIG. 7). Furthermore, when the discrimination process is performed and the second support information (the discrimination result 56, the position map 57, the discrimination assist circle 58 and the status bar 59) is displayed, the first support information and the third support information are hidden, Only the second support information is displayed on the screen (the display shown in FIG. 7 is switched to the display shown in FIG. 8 or 9).
  • observation image an image captured by the endoscope 10 is displayed on the display device 50 in real time.
  • the observation image is displayed in the observation image display area 53 .
  • the support information will be displayed on the screen.
  • Support functions can be turned ON or OFF individually.
  • the priority of each piece of support information is set and displayed according to the priority.
  • the display control of support information when all support functions are ON will be described below. That is, the support information (first support information to third support information) when all of the function of assisting detection of a lesion, the function of assisting discrimination, and the function of notifying the progress of observation are turned on. display control will be described.
  • FIG. 12 is a flow chart showing the procedure of support information display processing.
  • step S1 it is determined whether or not to display support information.
  • step S2 it is determined whether or not to simultaneously display a plurality of support information.
  • the target support information is displayed as it is (step S4).
  • the priority of the support information to be displayed is set (step S3). Priority is set by referring to a table (see FIG. 7). Support information is displayed based on the set priority (step S4). In the present embodiment, support information with a priority lower than 1 (threshold value) is hidden. In other words, only support information with a priority of 1 is displayed.
  • the first support information (see FIG. 8) is displayed when a lesion is detected from the image.
  • the second support information (see FIGS. 9 and 10) is displayed when identification is performed.
  • the display of the third support information starts from the start of observation. Therefore, when the first support information or the second support information is displayed, a plurality of pieces of support information are always displayed. Therefore, when displaying the first support information or the second support information, the priority is always set, and the display is performed according to the setting. Specifically, only the first support information or the second support information is displayed. Also, in a situation where all the support information is displayed, only the second support information is displayed.
  • the display priority is set, and each piece of support information is displayed according to the set priority. Is displayed. This can prevent the screen from becoming complicated. In addition, this makes it possible to provide a user interface with good visibility.
  • the degree of display emphasis can be changed according to priority.
  • the degree of display emphasis can be changed by changing the display position (including changing the layout), changing the size, changing the brightness, and changing the thickness of the frame or the like. Also, by appropriately combining these, display according to the priority can be performed.
  • the brightness of the third support information is lowered and displayed, and when the second support information and the third support information are displayed at the same time, the second support information and the third support information are displayed at the same time. It is also possible to adopt a configuration in which only the support information is displayed.
  • FIG. 13 is a diagram showing an example of displaying with the luminance changed according to the priority.
  • This figure shows an example of displaying the first support information and the third support information at the same time.
  • the brightness of the third support information progress bar 60
  • the brightness of support information whose priority is lower than the threshold is lowered, but the brightness of support information whose priority is higher than the threshold may be increased.
  • FIG. 14 is a diagram showing an example of displaying the first support information with emphasis. This figure shows an example of highlighting the detection box 54 by increasing the thickness of the frame forming the detection box 54 .
  • the first support information it is also possible to change the degree of emphasis by changing the length of the frame forming the detection box 54 (the length of the line extending from each corner along each side).
  • the type of support information to be displayed may be changed according to the priority.
  • the detection box 54 and the detection assist circles 55R and 55L are displayed as the first support information in the function of assisting detection of lesions. In this case, depending on the priority, it is possible to display only one, display both, or hide both.
  • FIG. 15 is a diagram showing another example of third support information.
  • the figure shows an example of the case of indicating the progress of observation using the observation status display map MP.
  • the observation status display map MP is generated using a schematic diagram of an organ to be observed.
  • FIG. 15 shows an example in which the object of observation is the stomach. Specifically, a schematic diagram of an organ to be observed (stomach in this example) is displayed in a rectangular box, and observation target regions Ot1 to Ot6 are indicated by lines on the schematic diagram.
  • the first observation target site Ot1 is the "esophagogastric junction”
  • the second observation target site Ot2 is the “lesser curvature just below the cardia”
  • the third observation target site Ot3 is the “greater curvature just below the cardia”
  • the fourth observation target site Ot3 is the "greater curvature just below the cardia”.
  • the site to be observed Ot4 is "the posterior wall of the lesser curvature from the angle of the stomach or the lower part of the body”
  • the fifth site to be observed Ot5 is the "front part of the pyloric ring to the pyloric ring”
  • the sixth site to be observed Ot6 is the "greater curvature of the lower body”. An example of "looking down” is shown.
  • the lines indicating the observation target parts Ot1 to Ot6 are displayed in different colors depending on whether the observation target part is "observed” or "unobserved". For example, the line of the “unobserved” observation target site is displayed in gray, and the line of the “observed” observation target site is displayed in green (displayed in black in FIG. 15).
  • the first observation target region Ot1, the second observation target region Ot2, and the third observation target region Ot3 are "unobserved”
  • the fourth observation target region Ot4 the fifth observation target region Ot5, and the sixth observation target region.
  • An example of the case of site Ot6 "observed” is shown.
  • FIG. 16 is a diagram showing an example of the display of the observation status display map on the screen. This figure shows an example of a case where the observation status display map MP is normally displayed (displayed without priority).
  • the observation status display map MP is displayed in a predetermined size at a predetermined position.
  • FIG. 16 shows an example when the observation status display map MP is displayed in the sub-display area 52. As shown in FIG.
  • FIG. 17 is a diagram showing an example of display of support information according to priority.
  • This figure shows an example of displaying the first support information and the third support information at the same time.
  • the brightness of the observation status display map MP which is the third support information, is lowered.
  • FIG. 18 is a diagram showing another example of display of support information according to priority. This figure shows an example of displaying the first support information and the third support information at the same time.
  • the priority of the first support information is 1 and the priority of the third support information is 2
  • the observation status display map MP which is the third support information, is displayed smaller than usual (see FIG. 16), and the observation image display area 53 is larger than usual (see FIG. 16). displayed at a distance from
  • FIG. 19 is a diagram showing an example of emphasizing and displaying the third support information.
  • This figure shows an example of changing the position of the observation status display map MP, which is the third support information.
  • the image is displayed closer to the observation image display area 53 than usual (see FIG. 16).
  • the observation status display map MP is moved horizontally to bring it closer to the observation image display area 53.
  • the priority when updating the display content.
  • the observation status display map MP it is preferable to change the priority when changing one of the observation target regions from the state of "unobserved" to the state of "observed".
  • the progress bar 60 it is preferable to change the priority when increasing the scale by one. In this case, the priority is changed to be higher. For example, when updating the display content of the third support information while the first support information and the third support information are being displayed, the priority of the first support information is lowered from 1 to 2, while the priority of the third support information is to raise its priority from 2 to 1. This makes it easier for the user to recognize that the third support information has been updated.
  • the priority of the first support information is reset to 1
  • the priority of the third support information is reset to 2 after a certain period of time has passed since the change.
  • the third support information it is possible to switch between the display of the progress bar 60 and the observation status display map MP as a display mode according to its priority.
  • the observation status display map MP may be used as a normal display mode, and the progress bar 60 may be displayed when the priority is lowered.
  • the progress bar 60 may be employed as a normal display mode, and the observation status display map MP may be displayed when the priority is raised.
  • the third support information is displayed using the progress bar along the edge of the observation image display area 53, but the shape and display position of the progress bar are limited to this. not a thing For example, it can be displayed using a linear progress bar. It is also possible to display words using a circular progress bar.
  • the progress of observation may be indicated numerically (for example, percentage), and the third support information may be displayed.
  • the display priority of each piece of support information is set based on the importance and usefulness of the information. However, the importance and usefulness of each piece of support information changes depending on the situation. Therefore, the priority can be set more appropriately by considering the situation. In this embodiment, a case of setting (including changing) the priority according to the situation will be described.
  • FIG. 20 is a block diagram of the main functions of the endoscopic image observation support device.
  • the endoscopic image observation support device 100 of the present embodiment further has the function of an operation state determination section 115.
  • the operation state determination unit 115 determines the operation state of the endoscope 10 .
  • the operating state of the endoscope 10 is determined based on the recognition result of the site by the site recognition section 112C and the progress determination result by the progress determination section 112D. Specifically, it is determined whether or not the observed part is being observed. Whether or not an already-observed part is being observed is determined based on the observation progress determination result and the part recognition result.
  • the priority setting unit 113 sets or changes the priority of each piece of support information based on the outputs of the lesion detection unit 112A, the discrimination unit 112B, and the progress determination unit 112D, and the determination result of the operation state determination unit 115. For example, when observing a part that has already been observed, the priority of the first support information is lowered. As a result, for example, when displaying the first support information and the third support information, the set priority changes depending on whether or not the observed part is being observed. That is, when the observed part is not observed, the priority of the first support information is set to 1, and the priority of the third support information is set to 2 as usual. On the other hand, when observing a part that has already been observed, the priority of the first support information is set to 2, and the priority of the third support information is set to 1.
  • the case where the priority is set or changed depending on whether or not the observed part is being observed has been described as an example, but the determination of the situation is not limited to this.
  • the determination of the situation is not limited to this.
  • the priority can be set or changed according to the determination result.
  • the presence or absence of an unobserved site can be determined using the determination result of the progress of observation. Further, whether or not treatment is being performed can be determined, for example, by detecting the presence or absence of a treatment tool such as forceps or a snare from an image. In this case, it is determined that treatment is being performed when the treatment tool is detected from the image.
  • a treatment tool such as forceps or a snare
  • the operation state of the endoscope can be determined using operation information of the operation unit of the endoscope 10, information manually input by the user, and the like.
  • the priority can be configured to be set in comparison with other support information. At this time, it is preferable to set the display priority of each piece of support information according to the following criteria.
  • the third support information when the first support information is displayed, its priority is lowered, the brightness is lowered, or it is not displayed. Similarly, when displaying the third support information, its priority is lowered, its brightness is lowered, or it is not displayed.
  • the priority is raised, and the display is blinked or the display position is changed.
  • the priority is lowered when observing (imaging) already observed parts and when observing lesion parts.
  • the priority of the first support information is relatively increased normally (such as removal), while the priority of the second support information is relatively increased during observation. Raise to
  • the third support information it is preferable to raise its priority in the following situations. That is, when there is no lesion to be detected and when the user is not observing.
  • the case where there is no lesion to be detected includes the case where the lesion detection support function does not support the observation and the case where no lesion is detected.
  • the user when the user (operator) is not observing, when pretreatment is being performed, when the endoscope is being inserted, and when the already observed site is photographed (observed). This includes when
  • the second support information it is preferable to raise the priority when observing a lesion, for example.
  • the first support information for example, if the purpose of observation is a screening test, it is preferable to raise its priority.
  • the display priority is set. may be set. In this case, for example, according to the above criteria, the priority of each piece of support information is dynamically changed and each piece of support information is displayed.
  • the same priority may be set for multiple pieces of support information. For example, when setting priorities to three pieces of support information, the same priority can be set to two pieces of support information. Also, for example, a “high” or “low” priority can be individually set for each piece of support information.
  • the display mode can be changed using various events as triggers. For example, as described above, the third support information can be highlighted for a certain period of time at the timing when its content is updated. Other support information can also be similarly highlighted for a certain period of time after the start of display.
  • the display mode can be changed using the above criteria.
  • observation support function a function for supporting detection of a lesion, a function for supporting differentiation, and a function for notifying the progress of observation have been described as an example.
  • the support function is not limited to this. It suffices to provide at least two supporting functions.
  • processors include CPUs (Central Processing Units) and/or GPUs (Graphic Processing Units), FPGAs (Field Programmable Gate Arrays), etc., which are general-purpose processors that execute programs and function as various processing units.
  • Programmable Logic Device which is a processor whose circuit configuration can be changed later, ASIC (Application Specific Integrated Circuit), etc. It is a processor with a circuit configuration specially designed to execute specific processing. Dedicated electric circuits, etc. are included.
  • a program is synonymous with software.
  • a single processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types.
  • one processing unit may be composed of a plurality of FPGAs or a combination of a CPU and an FPGA.
  • a plurality of processing units may be configured by one processor.
  • configuring a plurality of processing units with a single processor first, as represented by computers used for clients, servers, etc., one processor is configured by combining one or more CPUs and software. , in which the processor functions as a plurality of processing units.
  • SoC System on Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)

Abstract

複数の支援機能を有する場合であっても、視認性の高いユーザインターフェースを提供できる内視鏡画像観察支援装置及び内視鏡システムを提供する。内視鏡で撮影された画像の観察を支援する内視鏡画像観察支援装置であって、プロセッサを備え、プロセッサは、画像を表示装置に表示させる。また、プロセッサは、表示装置に表示させる複数の支援情報の優先度を設定し、優先度に基づいて複数の支援情報を表示装置に表示させる。

Description

内視鏡画像観察支援装置及び内視鏡システム
　本発明は、内視鏡画像観察支援装置及び内視鏡システムに係り、特に、内視鏡で撮影された画像の観察を支援する内視鏡画像観察支援装置及び内視鏡システムに関する。
　近年、医療内視鏡の分野では、人工知能（artificial intelligence：ＡＩ）を用いた観察支援技術の開発が進んでいる。たとえば、特許文献１－３には、ＡＩを用いて、病変の検出、鑑別等を支援する技術が記載されている。さまざまな支援機能をユーザに提供することで、観察の負荷を軽減できる。
特開2019-180966号公報 特開2020-175051号公報 国際公開第2020/105699号
　しかしながら、提供する支援機能が増えると、画面に表示される情報が増え、ユーザインターフェースの視認性が低下するという問題がある。
　本開示の技術に係る一つの実施形態は、複数の支援機能を有する場合であっても、視認性の高いユーザインターフェースを提供できる内視鏡画像観察支援装置及び内視鏡システムを提供する。
　（１）内視鏡で撮影された画像の観察を支援する内視鏡画像観察支援装置であって、プロセッサを備え、プロセッサは、画像を表示装置に表示させ、表示装置に表示させる複数の支援情報の優先度を設定し、優先度に基づいて複数の支援情報を表示装置に表示させる、内視鏡画像観察支援装置。
　（２）複数の支援情報は、病変部の位置を示す情報、鑑別結果を示す情報、及び、観察の進捗状況を示す情報の少なくとも１つを含む、（１）の内視鏡画像観察支援装置。
　（３）観察の進捗状況を示す情報が、プログレスバーを用いて表示される、（２）の内視鏡画像観察支援装置。
　（４）観察の進捗状況を示す情報が、観察対象の臓器のシェーマ図を用いて表示される、（２）の内視鏡画像観察支援装置。
　（５）プロセッサは、優先度に応じた位置で複数の支援情報を表示装置に表示させる、（１）から（４）のいずれか一の内視鏡画像観察支援装置。
　（６）プロセッサは、優先度に応じたサイズで複数の支援情報を表示装置に表示させる、（１）から（５）のいずれか一の内視鏡画像観察支援装置。
　（７）プロセッサは、優先度に応じた輝度で複数の支援情報を表示装置に表示させる、（１）から（６）のいずれか一の内視鏡画像観察支援装置。
　（８）プロセッサは、優先度が閾値より高い支援情報の表示を強調させる、（１）から（７）のいずれか一の内視鏡画像観察支援装置。
　（９）プロセッサは、優先度が閾値より高い支援情報の表示を点滅させる、（８）の内視鏡画像観察支援装置。
　（１０）プロセッサは、優先度が閾値より低い支援情報の表示を非表示にする、（１）から（９）のいずれか一の内視鏡画像観察支援装置。
　（１１）プロセッサは、内視鏡の操作状態に応じて優先度を変更する、（１）から（１０）のいずれか一の内視鏡画像観察支援装置。
　（１２）プロセッサは、画像から内視鏡の操作状態を判定する、（１１）の内視鏡画像観察支援装置。
　（１３）内視鏡の操作状態は、観察済みの部位及び／又は病変部を観察しているか否かである、（１１）又は（１２）の内視鏡画像観察支援装置。
　（１４）内視鏡の操作状態は、病変部の検出が可能な領域を観察しているか否かである、（１１）から（１３）のいずれか一の内視鏡画像観察支援装置。
　（１５）内視鏡の操作状態は、未観察の部位の有無である、（１１）から（１４）のいずれか一の内視鏡画像観察支援装置。
　（１６）内視鏡の操作状態は、処置中であるか否かである、（１１）から（１５）のいずれか一の内視鏡画像観察支援装置。
　（１７）プロセッサは、特定の支援情報の表示内容を更新する場合に優先度を変更する、（１）から（１６）のいずれか一の内視鏡画像観察支援装置。
　（１８）内視鏡と、表示装置と、（１）から（１７）のいずれか一の内視鏡画像観察支援装置と、を備えた内視鏡システム。
　本発明によれば、複数の支援機能を有する場合であっても、視認性の高いユーザインターフェースを提供できる。
内視鏡システムのシステム構成の一例を示すブロック図 プロセッサ装置が有する主な機能のブロック図 内視鏡画像観察支援装置のハードウェア構成の一例を示すブロック図 内視鏡画像観察支援装置が有する主な機能のブロック図 画像認識処理部が有する主な機能のブロック 観察の進捗状況の判定結果の一例を示す図 テーブルの一例を示す図 画面表示の一例を示す図 第２支援情報の表示の一例を示す図 第２支援情報の表示の一例を示す図 第３支援情報の表示の一例を示す図 支援情報の表示処理の手順を示すフローチャート 優先度に応じて輝度を変えて表示する場合の一例を示す図 第１支援情報を強調表示する場合の一例を示す図 第３支援情報の他の一例を示す図 観察状況表示マップの画面への表示の一例を示す図 優先度に応じた支援情報の表示の一例を示す図 優先度に応じた支援情報の表示の他の一例を示す図 第３支援情報を強調して表示する場合の一例を示す図 内視鏡画像観察支援装置が有する主な機能のブロック図
　以下、添付図面に従って本発明の好ましい実施形態について詳説する。
　［第１の実施の形態］
　ここでは、上部消化器官、特に胃の内視鏡検査を行う内視鏡システムに本発明を適用した場合を例に説明する。
　［内視鏡システムの構成］
　図１は、内視鏡システムのシステム構成の一例を示すブロック図である。
　同図に示すように、本実施の形態の内視鏡システム１は、内視鏡１０、光源装置２０、プロセッサ装置３０、入力装置４０、表示装置５０及び内視鏡画像観察支援装置１００等を備える。内視鏡１０は、光源装置２０及びプロセッサ装置３０に接続される。光源装置２０、入力装置４０及び内視鏡画像観察支援装置１００は、プロセッサ装置３０に接続される。表示装置５０は、内視鏡画像観察支援装置１００に接続される。
　本実施の形態の内視鏡システム１は、通常の白色光による観察（白色光観察）の他に、特殊光を用いた観察（特殊光観察）が可能なシステムとして構成される。特殊光観察には、狭帯域光観察が含まれる。狭帯域光観察には、ＢＬＩ観察（Blue laser imaging観察）、ＮＢＩ観察（Narrow band imaging観察）、ＬＣＩ観察（Linked Color Imaging観察）等が含まれる。なお、特殊光観察自体は、公知の技術であるので、その詳細についての説明は省略する。
　［内視鏡］
　本実施の形態の内視鏡１０は、電子内視鏡（軟性鏡）、特に、上部消化器官用の電子内視鏡である。電子内視鏡は、操作部、挿入部及び接続部等を備え、挿入部の先端に組み込まれた撮像素子で被写体を撮影する。操作部には、アングルノブ、送気送水ボタン、吸引ボタン、モード切り替えボタン等の操作部材の他、鉗子口が備えられる。モード切り替えボタンは、観察モードを切り替えるボタンである。たとえば、白色光観察を行うモード、ＬＣＩ観察を行うモード及びＢＬＩ観察を行うモードの切り替えが行われる。レリーズボタンは、静止画の撮影を指示するボタンである。なお、内視鏡自体は公知であるので、その詳細についての説明は省略する。内視鏡１０は、接続部を介して光源装置２０及びプロセッサ装置３０に接続される。
　［光源装置］
　光源装置２０は、内視鏡１０に供給する照明光を生成する。上記のように、本実施の形態の内視鏡システム１は、通常の白色光観察の他に、特殊光観察が可能なシステムとして構成される。このため、光源装置２０は、通常の白色光の他、特殊光観察に対応した光（たとえば、狭帯域光）を生成する機能を有する。なお、上記のように、特殊光観察自体は、公知の技術であるので、その照明光の生成についての説明は省略する。光源種の切り替えは、たとえば、内視鏡１０の操作部に備えられるモード切り替えボタンで行われる。
　［プロセッサ装置］
　プロセッサ装置３０は、内視鏡システム全体の動作を統括制御する。プロセッサ装置３０は、そのハードウェア構成として、プロセッサ、主記憶装置、補助記憶装置、入出力インターフェース及び操作パネル等を備える。プロセッサは、たとえば、ＣＰＵ（Central Processing Unit）で構成される。主記憶装置は、たとえば、ＲＡＭ（Random Access Memory）で構成される。補助記憶装置は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等で構成される。操作パネルには、各種操作ボタン類が備えられる。
　図２は、プロセッサ装置が有する主な機能のブロック図である。
　同図に示すように、プロセッサ装置３０は、内視鏡制御部３１、光源制御部３２、画像処理部３３、入力制御部３４及び出力制御部３５等の機能を有する。各機能は、プロセッサが所定のプログラムを実行することにより実現される。補助記憶装置には、プロセッサが実行する各種プログラム、及び、制御等に必要な各種データ等が格納される。
　内視鏡制御部３１は、内視鏡１０を制御する。内視鏡１０の制御には、撮像素子の駆動制御、送気送水の制御及び吸引の制御等が含まれる。
　光源制御部３２は、光源装置２０を制御する。光源装置２０の制御には、光源の発光制御、光源種の切り替え制御等が含まれる。
　画像処理部３３は、内視鏡１０の撮像素子から出力される信号に各種信号処理を施して、撮影画像を生成する処理を行う。
　入力制御部３４は、入力装置４０及び内視鏡１０の操作部からの操作の入力、及び、各種情報の入力を受け付ける処理を行う。
　出力制御部３５は、内視鏡画像観察支援装置１００への情報の出力を制御する。内視鏡画像観察支援装置１００に出力する情報には、内視鏡で撮影された画像の他、入力装置４０を介して入力された情報、及び、各種操作情報等が含まれる。各種操作情報には、入力装置４０による操作情報の他、内視鏡１０の操作部による操作情報、プロセッサ装置３０に備えられた操作パネルの操作情報等が含まれる。
　［入力装置］
　入力装置４０は、キーボード及びフットスイッチ等で構成される。なお、キーボード等に代えて、又は、キーボード等に加えて、タッチパネル、音声入力装置及び視線入力装置等で入力装置４０を構成することもできる。
　［表示装置］
　表示装置５０は、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）、有機ＥＬ（Organic Light Emitting Diodes：ＯＬＥＤ）ディスプレイ等のフラットパネルディスプレイ（Flat Panel Display：ＦＰＤ）で構成される。内視鏡で撮影された画像は、表示装置５０に表示される。なお、ＦＰＤに代えて、又は、ＦＰＤに加えて、ヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）、プロジェクタ等で表示装置５０を構成することもできる。
　［内視鏡画像観察支援装置］
　内視鏡画像観察支援装置１００は、内視鏡で撮影された画像を表示装置５０に表示させ、かつ、その観察を支援する機能をユーザに提供する。本実施の形態では、観察を支援する機能として、病変部の検出を支援する機能、鑑別を支援する機能、及び、観察の進捗状況を報知する機能を提供する。
　病変部の検出を支援する機能は、内視鏡１０で撮影された画像から病変部を自動検出し、その位置を表示装置５０の画面上で報知する機能として提供される。
　鑑別を支援する機能は、検出された病変部を鑑別し、その結果を表示装置５０の画面上で報知する機能として提供される。
　観察の進捗状況を報知する機能は、観察すべき部位が定められている場合に、その観察の進捗状況を表示装置５０の画面上で報知する機能として提供される。
　図３は、内視鏡画像観察支援装置のハードウェア構成の一例を示すブロック図である。
　内視鏡画像観察支援装置１００は、いわゆるコンピュータで構成され、そのハードウェア構成として、プロセッサ１０１、主記憶装置（メインメモリ）１０２、補助記憶装置（ストレージ）１０３、入出力インターフェース１０４等を備える。内視鏡画像観察支援装置１００は、入出力インターフェース１０４を介してプロセッサ装置３０及び表示装置５０と接続される。プロセッサは、たとえば、ＣＰＵで構成される。主記憶装置１０２は、たとえば、ＲＡＭで構成される。補助記憶装置１０３は、たとえば、ＨＤＤ、ＳＳＤ等で構成される。補助記憶装置１０３には、プロセッサ１０１が実行するプログラム、及び、制御等に必要な各種データが記憶される。また、内視鏡で撮影された画像、認識処理結果等の情報は、補助記憶装置１０３に記録される。
　図４は、内視鏡画像観察支援装置が有する主な機能のブロック図である。
　同図に示すよう、内視鏡画像観察支援装置１００は、画像取得部１１１、画像認識処理部１１２、優先度設定部１１３及び表示制御部１１４等の機能を有する。各部の機能は、プロセッサ１０１が、所定のプログラム（内視鏡画像観察支援プログラム）を実行することで実現される。
　画像取得部１１１は、内視鏡１０によって時系列に撮影された画像を時系列順に取得する処理を行う。本実施の形態において、画像はリアルタイムに取得される。すなわち、内視鏡１０で撮影された画像が、プロセッサ装置３０を介して、リアルタイムに取得される。
　画像認識処理部１１２は、画像取得部１１１で取得した画像に対し各種認識処理を行い、観察の支援に用いる情報を生成する。
　図５は、画像認識処理部が有する主な機能のブロックである。
　同図に示すように、本実施の形態の画像認識処理部１１２は、病変検出部１１２Ａ、鑑別部１１２Ｂ、部位認識部１１２Ｃ及び進捗状況判定部１１２Ｄ等の機能を有する。
　病変検出部１１２Ａは、入力された画像に対し、画像認識を行うことにより、画像内に含まれるポリープ等の病変部を検出する。病変部には、病変部であることが確定的な部分の他、病変の可能性がある部分（良性の腫瘍又は異形成等）、及び、直接的又は間接的に病変に関連する可能性のある特徴を有する部分（発赤等）等が含まれる。病変検出部１１２Ａは、ＡＩで構成され、特に、画像から病変部を認識するように学習された学習済みモデルで構成される。学習済みモデルを用いた病変部の検出自体は公知の技術であるので、その詳細についての説明は省略する。一例として、本実施の形態では、病変検出部１１２Ａが、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いた学習済みモデルで構成される。
　鑑別部１１２Ｂは、病変検出部１１２Ａで検出された病変部について鑑別処理を行う。一例として、本実施の形態では、病変検出部１１２Ａで検出されたポリープ等の病変部について、腫瘍性（NEOPLASTIC）又は非腫瘍性（HYPERPLASTIC）である可能性を推定する処理を行う。鑑別部１１２Ｂは、ＡＩで構成され、特に、画像から病変部を鑑別するように学習された学習済みモデルで構成される。一例として、本実施の形態では、鑑別部１１２Ｂが、ＣＮＮを用いた学習済みモデルで構成される。
　部位認識部１１２Ｃは、入力された画像に対し、画像認識を行うことにより、画像に含まれる部位を認識する処理を行う。部位認識部１１２Ｃにより観察中の部位が認識される。部位認識部１１２Ｃは、ＡＩで構成され、特に、画像から部位を認識するように学習された学習済みモデルで構成される。一例として、本実施の形態では、部位認識部１１２Ｃが、ＣＮＮを用いた学習済みモデルで構成される。
　進捗状況判定部１１２Ｄは、部位認識部１１２Ｃによる部位の認識結果に基づいて、観察の進捗状況を判定する処理を行う。具体的には、あらかじめ定められた観察対象部位の観察状況（観察済み又は未観察）を判定する処理を行う。観察対象部位は、観察（検査）の目的等に応じて、観察対象の臓器ごとに定められる。たとえば、観察対象が胃の場合、（１）食道胃接合部、（２）噴門直下の小弯（Ｊターン操作による撮影）、（３）噴門直下の大弯（Ｕターン操作による撮影）、（４）胃角部又は体下部からの小弯後壁（Ｊターン操作による撮影）、（５）幽門輪前部から幽門輪、及び、（６）体下部大弯見下ろしが、観察対象部位に設定される。これらの部位は、意図的に記録されなければならいない部位である。また、これらの部位は、胃の観察において、意図的な内視鏡操作が要求される部位である。なお、（４）の「胃角部又は体下部からの小弯後壁」については、必ずしも胃角を撮影できない場合があること及び後壁を撮影していることを担保できないことを考慮して、「体下部小弯（Ｊターン操作による撮影）」とすることもできる。また、（５）の「幽門輪前部から幽門輪」については、幽門輪をピンポイントで撮影するよりは、前庭部を俯瞰的に撮影できているかを重視した「前庭部全景」とすることもできる。また、（６）の「体下部大弯見下ろし」については、体下部に限らず、ヒダが開いた大弯が撮影できていることを重視した「大弯見下ろし」とすることもできる。
　図６は、観察の進捗状況の判定結果の一例を示す図である。
　同図に示すように、観察の進捗状況の判定結果は、観察対象部位ごとに「観察済み」であるか、「未観察」であるかが示される。一度でも認識された観察対象部位は「観察済み」とされる。一方、未だ認識されていない観察対象部位は「未観察」とされる。
　優先度設定部１１３は、表示装置５０に表示させる各種支援情報の優先度を設定する処理を行う。優先度とは、表示の優先順位と同意である。優先度が高い順に１、２、３と順位付けされる。
　上記のように、本実施の形態の内視鏡画像観察支援装置１００は、観察を支援する機能として、病変部の検出を支援する機能、鑑別を支援する機能、及び、観察の進捗状況を報知する機能を有する。病変部の検出を支援する機能では、支援情報として、病変部の位置を示す情報がユーザに提供される。鑑別を支援する機能では、支援情報として、鑑別結果を示す情報がユーザに提供される。観察の進捗状況を報知する機能では、支援情報として、観察の進捗状況示す情報がユーザに提供される。
　病変部の位置を示す情報を第１支援情報、鑑別結果を示す情報を第２支援情報、観察の進捗状況示す情報を第３支援情報とする。優先度設定部１１３は、複数の支援情報を同時に画面上に表示させる場合に、各支援情報の優先度を設定する。優先度設定部１１３は、病変検出部１１２Ａ、鑑別部１１２Ｂ及び進捗状況判定部１１２Ｄの出力に基づいて、各支援情報の優先度を設定する。より具体的には、テーブルを参照して、各支援情報の優先度を設定する。
　図７は、テーブルの一例を示す図である。
　テーブルには、病変検出部１１２Ａ、鑑別部１１２Ｂ及び進捗状況判定部１１２Ｄの出力に応じて、設定すべき優先度が定められる。
　同図に示す例によれば、第１支援情報及び第２支援情報を同時に表示させる場合、第１支援情報が優先度［２］、第２支援情報が優先度［１］に設定される。また、第１支援情報及び第３支援情報を同時に表示させる場合、第１支援情報が優先度［１］、第３支援情報が優先度［２］に設定される。また、第２支援情報及び第３支援情報を同時に表示させる場合、第２支援情報が優先度［２］、第３支援情報が優先度［１］に設定される。また、第１支援情報、第２支援情報及び第３支援情報を同時に表示させる場合、第１支援情報が優先度［２］、第２支援情報が優先度［１］、第３支援情報が優先度［３］に設定される。
　図８は、画面表示の一例を示す図である。同図は、表示装置５０が、いわゆるワイド画面（横長の画面）を有する場合の例を示している。
　同図に示すように、表示装置５０の画面５０Ａは、主表示領域５１及び副表示領域５２を有する。
　主表示領域５１は、観察像、すなわち、内視鏡で撮影された画像ＩＭのライブビューが表示される領域である。内視鏡で撮影された画像ＩＭは、主表示領域５１に設定された観察像表示領域５３に表示される。本実施の形態において、観察像表示領域５３は、円の上下を切り取った形状で構成される。
　副表示領域５２は、各種情報の表示に使用される領域である。たとえば、副表示領域５２には、被検者の情報、観察中に撮影された静止画等が表示される。
　また、図８は、第１支援情報の表示の一例を示している。同図に示すように、本実施の形態では、第１支援情報として、検出ボックス５４及び検出アシストサークル５５Ｒ、５５Ｌが表示される。
　検出ボックス５４は、矩形の枠で構成され、検出された病変部ＬＰを囲うように表示される。
　検出アシストサークル５５Ｒ、５５Ｌは、観察像表示領域５３の左右の淵に沿って表示される円弧状の曲線で構成され、検出された病変部ＬＰに近い方が所定の色（たとえば、グリーン）で点灯する。図８に示す例では、画面左側の位置に病変部ＬＰに存在していることから、画面左側の検出アシストサークル５５Ｌが点灯している。
　図９及び図１０は、第２支援情報の表示の一例を示す図である。図９は、鑑別結果が「腫瘍性」の場合の例を示しており、図１０は、鑑別結果が「非腫瘍性」の場合の例を示している。
　同図に示すように、本実施の形態では、第２支援情報として、鑑別結果５６、ポジションマップ５７、鑑別アシストサークル５８及びステータスバー５９が表示される。
　鑑別結果５６は、認識処理により推定された「腫瘍性（NEOPLASTIC）」及び「非腫瘍性（HYPERPLASTIC）」の別が、所定の鑑別結果表示位置に表示される。本実施の形態では、観察像表示領域５３の真下の位置に鑑別結果５６が表示される。鑑別結果が「腫瘍性」の場合、図９に示すように、鑑別結果表示位置に「NEOPLASTIC」と表示される。一方、鑑別結果が「非腫瘍性」の場合、図１０に示すように、鑑別結果表示位置に「HYPERPLASTIC」と表示される。
　ポジションマップ５７は、画像内で鑑別対象の領域を示す。ポジションマップ５７は、矩形のボックス内に観察像表示領域５３と相似形の枠が表示され、その枠内で鑑別対象の領域が所定の色で示される。鑑別対象の領域は、病変部の領域であるので、病変部の領域が所定の色で示される。色は、鑑別結果に応じた色が表示される。たとえば、鑑別結果が「腫瘍性」の場合、イエロで鑑別対象の領域が示される。一方、鑑別結果が「非腫瘍性」の場合、鑑別対象の領域がグリーンで示される。ポジションマップ５７は、定位置に表示される。本実施の形態では、副表示領域５２に設定されたポジションマップ表示位置に表示される。
　鑑別アシストサークル５８は、観察像表示領域５３の左右の淵に沿って表示される円弧状の曲線で構成され、鑑別結果に応じた色で点灯する。たとえば、鑑別結果が「腫瘍性」の場合、イエロで点灯する。一方、鑑別結果が「非腫瘍性」の場合、グリーンで点灯する。
　ステータスバー５９は、鑑別部１１２Ｂによる鑑別対象の領域の腫瘍性又は非腫瘍性の分析状態を示す。ステータスバー５９は、観察像表示領域５３の右側の淵に沿って一定の間隔で配置された円弧状の３つのブロックで構成され、分析状態に応じて各ブロックが点灯する。本実施の形態では、分析状態を３つのレベル（レベル１～３）で示す。レベル１は、混在している異種の病変に反応している場合である。レベル２は、分離している異種の病変に反応している場合である。レベル３は、同種の病変に反応している場合である。レベル１の場合、３つのブロックのうち下側の１つのみ点灯する。レベル２の場合、３つのブロックのうち中央及び下側の２つが点灯する。レベル３の場合、３つのブロックのすべてが点灯する。図９及び図１０は、分析状態がレベル３の場合を示している。なお、鑑別アシストサークル５８は、分析状態がレベル３の場合にのみ点灯する。
　図１１は、第３支援情報の表示の一例を示す図である。
　同図に示すように、本実施の形態では、第３支援情報として、プログレスバー６０が表示される。本実施の形態において、プログレスバー６０は、円弧状の形状を有し、観察像表示領域５３の右側の淵に沿って配置される。プログレスバー６０は、観察の進捗状況に応じて、下から上に向かって色が変化する。
　上記のように、本実施の形態では、観察対象部位として、６つの部位が設定される。プログレスバー６０は、観察対象部位が１つ観察されるたびに１つ目盛りが変化する。すなわち、１目盛り分、色が変化する。このため、本実施の形態では、プログレスバー６０に６つの目盛りが設定される。図１１は、６つの観察対象部位のうち２つを観察し終えている状態を示している。この場合、２目盛り分、色が変化する。すべての観察対象部位を観察し終えると、すべての目盛りの色が変化する。
　表示制御部１１４は、複数の支援情報を同時に表示させる際、優先度設定部１１３で設定された優先度に基づいて、各支援情報を表示させる。本実施の形態では、優先度が閾値より低い支援情報を非表示とする。閾値は、たとえば、１である。したがって、優先度が１の支援情報のみが表示される。
　したがって、たとえば、第３支援情報（プログレスバー６０）の表示中に病変部が検出されて、第１支援情報（検出ボックス５４及び検出アシストサークル５５Ｌ、５５Ｒ）を表示させる場合、第３支援情報は非表示とされ、第１支援情報のみが画面上に表示される（図１０に示す表示から図７に示す表示に切り替わる。）。更に、鑑別処理が行われ、第２支援情報（鑑別結果５６、ポジションマップ５７、鑑別アシストサークル５８及びステータスバー５９）を表示させる場合、第１支援情報及び第３支援情報は非表示とされ、第２支援情報のみが画面上に表示される（図７に示す表示から図８又は図９に示す表示に切り替わる。）。
　このように、一つの支援情報に絞って表示させることにより、画面が煩雑になるのを抑制でき、視認性の高いユーザインターフェースを提供できる。
　［内視鏡システムの作用］
　ここでは、主として、支援情報の表示制御について説明する。
　観察を開始すると、内視鏡１０で撮影された画像（観察像）が、表示装置５０にリアルタイムに表示される。観察像は、観察像表示領域５３に表示される。
　観察の支援機能がＯＮにされている場合、支援情報が画面上に表示される。支援機能は、個別にＯＮ又はＯＦＦできる。複数の支援機能がＯＮされ、かつ、複数の支援情報を同時に表示させる場合、各支援情報の優先度が設定され、優先度に応じた表示が行われる。
　以下、すべての支援機能がＯＮされている場合の支援情報の表示制御について説明する。すなわち、病変部の検出を支援する機能、鑑別を支援する機能、及び、観察の進捗状況を報知する機能のすべてがＯＮにされている場合の支援情報（第１支援情報から第３支援情報）の表示制御について説明する。
　図１２は、支援情報の表示処理の手順を示すフローチャートである。
　まず、支援情報を表示させるか否かが判定される（ステップＳ１）。支援情報を表示させる場合は、複数の支援情報を同時に表示させるか否かが判定される（ステップＳ２）。
　複数の支援情報を同時に表示させない場合、すなわち、表示させる支援情報が１つのみの場合、対象の支援情報が、そのまま表示される（ステップＳ４）。
　一方、複数の支援情報を同時に表示させる場合、表示させる支援情報について優先度を設定する（ステップＳ３）。優先度は、テーブル（図７参照）を参照して、設定される。設定された優先度に基づいて、支援情報が表示される（ステップＳ４）。本実施の形態では、優先度が１（閾値）より低い支援情報が非表示とされる。換言すると、優先度が１の支援情報のみが表示される。
　ここで、本実施の形態の場合、第１支援情報（図８参照）は、画像から病変部が検出された場合に表示される。同様に、第２支援情報（図９及び図１０参照）は、鑑別が行われ場合に表示される。一方、第３支援情報（第１１参照）については、観察開始から表示が開始される。したがって、第１支援情報又は第２支援情報を表示させる状況では、常に、複数の支援情報が表示される状況となる。よって、第１支援情報又は第２支援情報を表示させる場合は、常に優先度の設定が行われ、その設定に応じた表示が行われる。具体的には、第１支援情報又は第２支援情報のみが表示される。また、すべての支援情報を表示させる状況では、第２支援情報のみが表示される。
　このように、本実施の形態の内視鏡システム１によれば、複数の支援情報を同時に表示させる場合、その表示の優先度が設定され、設定された優先度に応じて、各支援情報が表示される。これにより、画面が煩雑になるのを抑制できる。また、これにより、視認性のよいユーザインターフェースを提供できる。
　［変形例］
　［優先度に応じた支援情報の表示］
　上記実施の形態では、優先度に応じた表示として、優先度が閾値より低い支援情報の表示を非表示にする場合を例に説明したが、優先度に応じた表示の態様は、これに限定されるものではない。たとえば、優先度に応じて、表示の強調度合いを変えることもできる。たとえば、表示させる位置を変えたり（レイアウトを変える場合を含む）、サイズを変えたり、輝度を変えたり、枠等の太さを変えたりして、表示の強調度合いを変えることができる。また、これらを適宜組み合わせて、優先度に応じた表示を行うことができる。たとえば、第１支援情報及び第３支援情報を同時に表示させる場合は、第３支援情報の輝度を低下させて表示させる一方、第２支援情報及び第３支援情報を同時に表示させる場合は、第２支援情報のみ表示させる構成とすることもできる。
　図１３は、優先度に応じて輝度を変えて表示する場合の一例を示す図である。同図は、第１支援情報及び第３支援情報を同時に表示する場合の一例を示している。また、同図は、優先度が閾値（閾値＝１）よりも低い支援情報の輝度を下げる場合の例を示している。同図に示すように、この場合、第３支援情報（プログレスバー６０）の輝度が下げられる。このように、優先度の低い支援情報の輝度を下げることにより、複数の支援情報を同時に表示させる場合であっても、画面が煩雑になるのを抑制できる。なお、本例は、優先度が閾値よりも低い支援情報の輝度を下げる構成であるが、優先度が閾値よりも高い支援情報の輝度を上げる構成とすることもできる。すなわち、優先度が閾値よりも高い支援情報の輝度を上げ、当該支援情報を強調させる構成とすることもできる。これにより、優先度の低い支援情報の輝度が相対的に低下し、同様の効果が得られる。
　強調する場合は、輝度を上げる他、点滅させたり、サイズを大きくしたり、表示させる位置を変えたり（より目立つ位置に表示させる）、枠を太くしたりすることもできる。図１４は、第１支援情報を強調して表示する場合の一例を示す図である。同図は、検出ボックス５４を構成する枠の太さを太くして、検出ボックス５４を強調表示する場合の例を示している。第１支援情報については、この他、検出ボックス５４を構成する枠の長さ（各コーナーから各辺に沿って延びる線の長さ）を変えることで、強調度合いを変えることもできる。
　また、１つの支援機能から複数の支援情報が表示される場合、優先度に応じて、表示させる支援情報の種類を変えてもよい。たとえば、上記実施の形態では、病変部の検出を支援する機能において、第１支援情報として、検出ボックス５４及び検出アシストサークル５５Ｒ、５５Ｌが表示される。この場合、優先度に応じて、一方のみ表示させたり、両方を表示させたり、両方を非表示としたりすることができる。
　［第３支援情報の変形例］
　図１５は、第３支援情報の他の一例を示す図である。
　同図は、観察状況表示マップＭＰを用いて、観察の進捗状況を示す場合の例を示している。観察状況表示マップＭＰは、観察対象とする臓器のシェーマ図を用いて生成される。図１５は、観察対象が胃である場合の例を示している。具体的には、矩形のボックス内に観察対象とする臓器（本例では胃）のシェーマ図が表示され、そのシェーマ図上に観察対象部位Ｏｔ１～Ｏｔ６がラインで示される。図１５は、第１観察対象部位Ｏｔ１が「食道胃接合部」、第２観察対象部位Ｏｔ２が「噴門直下の小弯」、第３観察対象部位Ｏｔ３が「噴門直下の大弯」、第４観察対象部位Ｏｔ４が「胃角部又は体下部からの小弯後壁」、第５観察対象部位Ｏｔ５が「幽門輪前部から幽門輪」、第６観察対象部位Ｏｔ６が、「体下部大弯見下ろし」の場合の例を示している。各観察対象部位Ｏｔ１～Ｏｔ６を示すラインは、その観察対象部位が「観察済み」であるか、「未観察」であるかによって、異なる色で表示される。たとえば、「未観察」観察対象部位のラインは、グレーで表示され、「観察済み」観察対象部位のラインは、緑（図１５では黒で表示）で表示される。図１５は、第１観察対象部位Ｏｔ１、第２観察対象部位Ｏｔ２及び第３観察対象部位Ｏｔ３が「未観察」であり、第４観察対象部位Ｏｔ４、第５観察対象部位Ｏｔ５及び第６観察対象部位Ｏｔ６「観察済み」の場合の例を示している。このように、観察状況表示マップＭＰに観察対象部位を示すラインを表示し、そのラインの色で「観察済み」及び「未観察」を区別して表示することにより、各観察対象部位の観察状況、及び、全体の進捗状況を一目で把握することが可能になる。
　図１６は、観察状況表示マップの画面への表示の一例を示す図である。同図は、観察状況表示マップＭＰを通常表示させる場合（優先度なしで表示させる場合）の例を示している。
　観察状況表示マップＭＰは、所定の位置に所定のサイズで表示される。図１６は、副表示領域５２に観察状況表示マップＭＰを表示させた場合の例を示している。
　図１７は、優先度に応じた支援情報の表示の一例を示す図である。同図は、第１支援情報及び第３支援情報を同時に表示する場合の一例を示している。また、同図は、第１支援情報の優先度が１、第３支援情報の優先度が２の場合において、優先度が閾値（閾値＝１）よりも低い支援情報の輝度を下げる場合の例を示している。同図に示すように、この場合、第３支援情報である観察状況表示マップＭＰの輝度が下げられる。
　図１８は、優先度に応じた支援情報の表示の他の一例を示す図である。同図は、第１支援情報及び第３支援情報を同時に表示する場合の一例を示している。また、同図は、第１支援情報の優先度が１、第３支援情報の優先度が２の場合において、優先度が閾値（閾値＝１）よりも低い支援情報の位置及びサイズを変える場合の例を示している。すなわち、サイズを小さくし、かつ、観察像表示領域５３から話して表示する場合の例を示している。同図に示すように、この場合、第３支援情報である観察状況表示マップＭＰが、通常（図１６参照）よりも小さく表示され、かつ、通常（図１６参照）よりも観察像表示領域５３から離れた位置に表示される。
　図１９は、第３支援情報を強調して表示する場合の一例を示す図である。
　同図は、第３支援情報である観察状況表示マップＭＰの位置を変える場合の例を示している。位置を変える場合、同図に示すように、通常（図１６参照）よりも観察像表示領域５３に近づけて表示させる。図１９に示す例では、観察状況表示マップＭＰを水平移動させて、観察像表示領域５３に近づけている。
　なお、第３支援情報については、その表示内容を更新する際に優先度を変えることが好ましい。たとえば、観察状況表示マップＭＰについては、観察対象部位の一つを「未観察」の状態から「観察済み」の状態に変える場合に優先度を変えることが好ましい。また、プログレスバー６０については、目盛りを１つ増やす場合に優先度を変えることが好ましい。この場合、優先度を高くする方向に変える。たとえば、第１支援情報及び第３支援情報が表示されている状態において、第３支援情報の表示内容を更新する場合、第１支援情報の優先度を１から２に下げる一方、第３支援情報の優先度を２から１に上げる。これにより、第３支援情報が更新されたことをユーザに認識させやすくできる。
　なお、このように第３支援情報の表示内容の更新に基づいて優先度を変更する場合、変更してから一定時間経過後に元の優先度の設定に復帰させることが好ましい。たとえば、上記例の場合、変更から一定時間経過後、第１支援情報の優先度を１、第３支援情報の優先度を２に戻す。これにより、適切に優先度を切り替えることができる。
　第３支援情報については、その優先度に応じた表示態様として、プログレスバー６０による表示と、観察状況表示マップＭＰとを切り替えて表示させることができる。たとえば、通常の表示態様として、観察状況表示マップＭＰを採用し、優先度が下げられた場合にプログレスバー６０を表示させる構成とすることができる。あるいは、通常の表示態様として、プログレスバー６０を採用し、優先度が上げられた場合に観察状況表示マップＭＰを表示させる構成とすることができる。
　また、上記実施の形態では、観察像表示領域５３の淵に沿った形態のプログレスバーを用いて第３支援情報を表示しているが、プログレスバーの形状及び表示位置は、これに限定されるものではない。たとえば、直線状のプログレスバーを用いて表示することもできる。また、円形状のプログレスバーを用いて言表示することもできる。
　また、プログレスバー等に代えて、又は、プログレスバー等に加えて、観察の進捗状況を数値（たとえば、百分率）で示して、第３支援情報を表示させてもよい。
　［第２の実施の形態］
　各支援情報の表示の優先度は、その情報の重要性及び有用性等に基づいて設定される。しかし、各支援情報の重要性及び有用性等は状況に応じて変化する。したがって、状況を考慮することで、より適切に優先度を設定できる。本実施の形態では、状況に応じて、優先度を設定（変更を含む）する場合について説明する。
　図２０は、内視鏡画像観察支援装置が有する主な機能のブロック図である。
　同図に示すよう、本実施の形態の内視鏡画像観察支援装置１００は、操作状態判定部１１５の機能を更に有する。
　操作状態判定部１１５は、内視鏡１０の操作状態を判定する。本実施の形態では、部位認識部１１２Ｃによる部位の認識結果、及び、進捗状況判定部１１２Ｄによる進捗状況の判定結果に基づいて、内視鏡１０の操作状態を判定する。具体的には、観察済みの部位を観察しているか否かを判定する。観察済みの部位を観察しているか否かは、観察の進捗状況の判定結果及び部位の認識結果に基づいて判定する。
　優先度設定部１１３は、病変検出部１１２Ａ、鑑別部１１２Ｂ及び進捗状況判定部１１２Ｄの出力、並びに、操作状態判定部１１５の判定結果に基づいて、各支援情報の優先度を設定ないし変更する。たとえば、観察済みの部位を観察している場合、第１支援情報の優先度を下げる。この結果、たとえば、第１支援情報及び第３支援情報を表示させる場合、観察済みの部位を観察しているか否かによって、設定される優先度が変わる。すなわち、観察済みの部位を観察していない場合は、通常通り、第１支援情報の優先度が１、第３支援情報の優先度が２に設定される。一方、観察済みの部位を観察している場合は、第１支援情報の優先度が２、第３支援情報の優先度が１に設定される。
　このように、状況に応じて、各支援情報の表示の優先度を設定ないし変更することで、有用な情報を適切に表示できる。これにより、複数の支援情報を表示させる場合であっても、画面が煩雑になるのを抑制でき、視認性の高いユーザインターフェースを提供できる。
　なお、上記実施の形態では、観察済みの部位を観察しているか否かによって、優先度を設定ないし変更する場合を例に説明したが、状況の判定は、これに限定されるものではない。この他、たとえば、病変部を観察しているか否か、病変部の検出が可能な領域を観察しているか否か、未観察の部位の有無、処置中であるか否か等を判定し、その判定結果に応じて、優先度を設定ないし変更することができる。また、これらの状況は、内視鏡で撮影された画像から判定することが好ましい。たとえば、病変部を観察しているか否かは、病変部の認識結果を利用して判定することできる。また、病変部の検出が可能な領域を観察しているか否かは、部位の認識結果を利用して判定することができる。また、未観察の部位の有無は、観察の進行状況の判定結果を利用して判定することができる。また、処置中であるか否かは、たとえば、画像から鉗子、スネア等の処置具の有無を検出して判定することができる。この場合、画像から処理具が検出された場合に処置中と判定する。
　また、内視鏡の操作状態は、内視鏡１０の操作部の操作情報、ユーザが手動入力した情報等を用いて判定することできる。
　［その他の実施の形態］
　［優先度の設定］
　優先度は、他の支援情報との比較において設定する構成とすることができる。この際、次の基準に従って、各支援情報の表示の優先度を設定することが好ましい。
　第３支援情報に関して、第１支援情報を表示させる場合に、その優先度を下げ、輝度を下げたり、あるいは、非表示にしたりする。同様に、第３支援情報を表示させる場合に、その優先度を下げ、輝度を下げたり、あるいは、非表示にしたりする。
　また、第３支援情報については、その表示内容を更新する場合に優先度を上げ、点滅表示させたり、あるいは、表示位置を変えたりする。
　また、第１支援情報については、観察済みの部位を観察（撮影）している場合、及び、病変部を観察している場合に、その優先度を下げる。
　また、第１支援情報及び第２支援情報については、通常（抜去など）は、第１支援情報の優先度を相対的に上げる一方、観察の際は、第２支援情報の優先度を相対的に上げる。
　この他、以下の基準を採用できる。
　第３支援情報については、次の場面において、その優先度を上げることが好ましい。すなわち、検出すべき病変部がない場合及びユーザが観察していない場合である。検出すべき病変部がない場合には、病変部の検出を支援する機能が対応していない部位を観察している場合、及び、病変部が未検出の場合が含まれる。また、ユーザ（術者）が観察していない場合には、前処置を行っている場合、内視鏡の挿入操作を行っている場合、及び、すでに観察済みの部位を撮影（観察）している場合が含まれる。
　第２支援情報については、たとえば、病変部を観察している場合に、その優先度を上げることが好ましい。
　第１支援情報については、たとえば、観察の目的が、スクリーニング検査である場合に、その優先度を上げることが好ましい。
　また、上記実施の形態では、複数の支援情報を同時に表示させる場合に、その表示の優先度を設定する構成としているが、同時に表示させることの有無に関わらず、各支援情報の表示の優先度を設定してもよい。この場合、たとえば、上記基準に従って、各支援情報の優先度を動的に変化させて、各支援情報を表示させる。
　また、優先度を設定する際、複数の支援情報に同じ優先度を設定してもよい。たとえば、３つの支援情報に優先度を設定する際、２つの支援情報に同じ優先度を設定することができる。また、たとえば、各支援情報に対し、個別に「高」又は「低」の優先度を設定することができる。
　［単独で表示させる場合］
　各支援情報を単独で表示させる場合、各種イベントをトリガとして、その表示態様を変えることができる。たとえば、第３支援情報については、上記のように、その内容を更新するタイミングで一定時間強調表示させることができる。他の支援情報についても、同様に表示開始の一定時間強調表示させることができる。
　また、各支援情報を単独で表示させる場合、他の支援機能の出力を参照して、その表示態様を変えることができる。この際、上記基準を利用して、その表示態様を変えることができる。
　［提供する支援機能］
　上記実施の形態では、観察を支援する機能として、病変部の検出を支援する機能、鑑別を支援する機能、及び、観察の進捗状況を報知する機能を有する場合を例に説明したが、提供する支援機能は、これに限定されるものではない。少なくとも２つの支援機能を提供できればよい。
　［観察対象］
　上記実施の形態では、上部消化器官を観察（検査）するシステムに説明したが、本発明の適用は、これに限定されるものではない。たとえば、大腸等の下部消化管を観察するシステムにも同様に適用できる。
　［ハードウェア構成］
　内視鏡画像観察支援装置が有する機能は、各種のプロセッサ（Processor）で実現できる。各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）及び／又はＧＰＵ（Graphic Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。プログラムは、ソフトウェアと同義である。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどに用いられるコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
１　内視鏡システム
１０　内視鏡
２０　光源装置
３０　プロセッサ装置
３１　内視鏡制御部
３２　光源制御部
３３　画像処理部
３４　入力制御部
３５　出力制御部
４０　入力装置
５０　表示装置
５０Ａ　表示装置の画面
５１　主表示領域
５２　副表示領域
５３　観察像表示領域
５４　検出ボックス
５５Ｌ　検出アシストサークル
５５Ｒ　検出アシストサークル
５６　鑑別結果
５７　ポジションマップ
５８　鑑別アシストサークル
５９　ステータスバー
６０　プログレスバー
１００　内視鏡画像観察支援装置
１０１　プロセッサ
１０２　主記憶装置
１０３　補助記憶装置
１０４　入出力インターフェース
１１１　画像取得部
１１２　画像認識処理部
１１２Ａ　病変検出部
１１２Ｂ　鑑別部
１１２Ｃ　部位認識部
１１２Ｄ　進捗状況判定部
１１３　優先度設定部
１１４　表示制御部
１１５　操作状態判定部
ＩＭ　画像
ＬＰ　病変部
ＭＰ　観察状況表示マップ
Ｏｔ１　第１観察対象部位
Ｏｔ２　第２観察対象部位
Ｏｔ３　第３観察対象部位
Ｏｔ４　第４観察対象部位
Ｏｔ５　第５観察対象部位
Ｏｔ６　第６観察対象部位
Ｓ１－Ｓ４　支援情報の表示処理の手順

Claims (18)

  1. 　内視鏡で撮影された画像の観察を支援する内視鏡画像観察支援装置であって、
    　プロセッサを備え、
    　前記プロセッサは、
    　前記画像を表示装置に表示させ、
    　前記表示装置に表示させる複数の支援情報の優先度を設定し、
    　前記優先度に基づいて複数の前記支援情報を前記表示装置に表示させる、
    　内視鏡画像観察支援装置。
  2. 　複数の前記支援情報は、病変部の位置を示す情報、鑑別結果を示す情報、及び、観察の進捗状況を示す情報の少なくとも１つを含む、
    　請求項１に記載の内視鏡画像観察支援装置。
  3. 　前記観察の進捗状況を示す情報が、プログレスバーを用いて表示される、
    　請求項２に記載の内視鏡画像観察支援装置。
  4. 　前記観察の進捗状況を示す情報が、観察対象の臓器のシェーマ図を用いて表示される、
    　請求項２に記載の内視鏡画像観察支援装置。
  5. 　前記プロセッサは、前記優先度に応じた位置で複数の前記支援情報を前記表示装置に表示させる、
    　請求項１から４のいずれか１項に記載の内視鏡画像観察支援装置。
  6. 　前記プロセッサは、前記優先度に応じたサイズで複数の前記支援情報を前記表示装置に表示させる、
    　請求項１から５のいずれか１項に記載の内視鏡画像観察支援装置。
  7. 　前記プロセッサは、前記優先度に応じた輝度で複数の前記支援情報を前記表示装置に表示させる、
    　請求項１から６のいずれか１項に記載の内視鏡画像観察支援装置。
  8. 　前記プロセッサは、前記優先度が閾値より高い前記支援情報の表示を強調させる、
    　請求項１から７のいずれか１項に記載の内視鏡画像観察支援装置。
  9. 　前記プロセッサは、前記優先度が閾値より高い前記支援情報の表示を点滅させる、
    　請求項８に記載の内視鏡画像観察支援装置。
  10. 　前記プロセッサは、前記優先度が閾値より低い前記支援情報の表示を非表示にする、
    　請求項１から９のいずれか１項に記載の内視鏡画像観察支援装置。
  11. 　前記プロセッサは、前記内視鏡の操作状態に応じて前記優先度を変更する、
    　請求項１から１０のいずれか１項に記載の内視鏡画像観察支援装置。
  12. 　前記プロセッサは、前記画像から前記内視鏡の操作状態を判定する、
    　請求項１１に記載の内視鏡画像観察支援装置。
  13. 　前記内視鏡の操作状態は、観察済みの部位及び／又は病変部を観察しているか否かである、
    　請求項１１又は１２に記載の内視鏡画像観察支援装置。
  14. 　前記内視鏡の操作状態は、病変部の検出が可能な領域を観察しているか否かである、
    　請求項１１から１３のいずれか１項に記載の内視鏡画像観察支援装置。
  15. 　前記内視鏡の操作状態は、未観察の部位の有無である、
    　請求項１１から１４のいずれか１項に記載の内視鏡画像観察支援装置。
  16. 　前記内視鏡の操作状態は、処置中であるか否かである、
    　請求項１１から１５のいずれか１項に記載の内視鏡画像観察支援装置。
  17. 　前記プロセッサは、特定の前記支援情報の表示内容を更新する場合に前記優先度を変更する、
    　請求項１から１６のいずれか１項に記載の内視鏡画像観察支援装置。
  18. 　内視鏡と、
    　表示装置と、
    　請求項１から１７のいずれか１項に記載の内視鏡画像観察支援装置と、
    　を備えた内視鏡システム。
PCT/JP2022/039849 2021-12-13 2022-10-26 内視鏡画像観察支援装置及び内視鏡システム Ceased WO2023112499A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023567585A JPWO2023112499A1 (ja) 2021-12-13 2022-10-26
US18/735,153 US20240315531A1 (en) 2021-12-13 2024-06-05 Endoscopic image observation support device and endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-201741 2021-12-13
JP2021201741 2021-12-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/735,153 Continuation US20240315531A1 (en) 2021-12-13 2024-06-05 Endoscopic image observation support device and endoscope system

Publications (1)

Publication Number Publication Date
WO2023112499A1 true WO2023112499A1 (ja) 2023-06-22

Family

ID=86774462

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039849 Ceased WO2023112499A1 (ja) 2021-12-13 2022-10-26 内視鏡画像観察支援装置及び内視鏡システム

Country Status (3)

Country Link
US (1) US20240315531A1 (ja)
JP (1) JPWO2023112499A1 (ja)
WO (1) WO2023112499A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05211991A (ja) * 1992-02-07 1993-08-24 Olympus Optical Co Ltd 内視鏡装置
WO2013031512A1 (ja) * 2011-08-26 2013-03-07 オリンパスメディカルシステムズ株式会社 医療機器システム
WO2020170791A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置及び方法
JP2020156860A (ja) * 2019-03-27 2020-10-01 学校法人兵庫医科大学 脈管認識装置、脈管認識方法および脈管認識システム
JP2021100555A (ja) * 2019-12-24 2021-07-08 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2021145265A1 (ja) * 2020-01-17 2021-07-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05211991A (ja) * 1992-02-07 1993-08-24 Olympus Optical Co Ltd 内視鏡装置
WO2013031512A1 (ja) * 2011-08-26 2013-03-07 オリンパスメディカルシステムズ株式会社 医療機器システム
WO2020170791A1 (ja) * 2019-02-19 2020-08-27 富士フイルム株式会社 医療画像処理装置及び方法
JP2020156860A (ja) * 2019-03-27 2020-10-01 学校法人兵庫医科大学 脈管認識装置、脈管認識方法および脈管認識システム
JP2021100555A (ja) * 2019-12-24 2021-07-08 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2021145265A1 (ja) * 2020-01-17 2021-07-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援方法及びプログラム
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム

Also Published As

Publication number Publication date
JPWO2023112499A1 (ja) 2023-06-22
US20240315531A1 (en) 2024-09-26

Similar Documents

Publication Publication Date Title
US20250375092A1 (en) Endoscope diagnosis support system, storage medium, and endoscope diagnosis support method
US12201260B2 (en) Control apparatus, diagnosis support method, and recording medium
WO2020195807A1 (ja) 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法
WO2020110214A1 (ja) 内視鏡システム、及び、内視鏡用画像処理方法、並びに、内視鏡用画像処理プログラム
WO2020036121A1 (ja) 内視鏡システム
US20220414880A1 (en) Medical system, information processing method, and computer-readable medium
EP4111938A1 (en) Endoscope system, medical image processing device, and operation method therefor
US20240257348A1 (en) Endoscopic image processing device, endoscopic image processing method, and endoscope system
JPWO2020039931A1 (ja) 内視鏡システム及び医療画像処理システム
JP2022071617A (ja) 内視鏡システム及び内視鏡装置
WO2023112499A1 (ja) 内視鏡画像観察支援装置及び内視鏡システム
US20250078267A1 (en) Medical support device, endoscope apparatus, medical support method, and program
US20240148235A1 (en) Information processing apparatus, information processing method, endoscope system, and report creation support device
EP4306031A1 (en) Endoscope system and method for operating same
EP3868281A1 (en) Medical image processing system and learning method
WO2022191129A1 (ja) 内視鏡システム及びその作動方法
US20240296563A1 (en) Image processing apparatus and endoscope system
WO2021176665A1 (ja) 手術支援システム、手術支援方法、及び、プログラム
EP4306035A1 (en) Endoscope system and method for operating same
US20240266017A1 (en) Information processing apparatus, information processing method, endoscope system, and report creation support device
US20250143538A1 (en) Image processing device, image processing method, and storage medium
WO2023228659A1 (ja) 画像処理装置及び内視鏡システム
US20250363656A1 (en) Endoscopic image processing device and method for operating endoscopic image processing device
CN116194027A (zh) 内窥镜系统及其工作方法
WO2023153069A1 (ja) 医療画像装置、内視鏡システム、及び、診断書作成システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907033

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023567585

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22907033

Country of ref document: EP

Kind code of ref document: A1