[go: up one dir, main page]

WO2024122027A1 - 画像処理装置、手術支援システム、画像処理方法及びプログラム - Google Patents

画像処理装置、手術支援システム、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2024122027A1
WO2024122027A1 PCT/JP2022/045305 JP2022045305W WO2024122027A1 WO 2024122027 A1 WO2024122027 A1 WO 2024122027A1 JP 2022045305 W JP2022045305 W JP 2022045305W WO 2024122027 A1 WO2024122027 A1 WO 2024122027A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
region
area
processing device
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/045305
Other languages
English (en)
French (fr)
Inventor
雅昭 伊藤
成浩 小島
ゆり子 原井
佳祐 大渕
一幸 林
範仁 小杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Cancer Center Japan
National Cancer Center Korea
Original Assignee
National Cancer Center Japan
National Cancer Center Korea
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Cancer Center Japan, National Cancer Center Korea filed Critical National Cancer Center Japan
Priority to PCT/JP2022/045305 priority Critical patent/WO2024122027A1/ja
Publication of WO2024122027A1 publication Critical patent/WO2024122027A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis

Definitions

  • the present invention relates to an image processing device, a surgery support system, an image processing method, and a program.
  • one aspect of the present invention is to output a surgical field image showing the range of tissue to be dissected.
  • FIG. 1 is a block diagram showing an example of the overall configuration of a surgery support system.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of a computer.
  • 1 is a block diagram showing an example of a functional configuration of a surgery support system.
  • 13 is a flowchart illustrating an example of a learning process.
  • 13 is a flowchart illustrating an example of a model learning process.
  • 13 is a flowchart illustrating an example of a recognition process.
  • FIG. 2 is a diagram showing an example of a navigation image.
  • One embodiment of the present invention is a surgery support system that supports a surgeon performing laparoscopic surgery.
  • the surgery support system in this embodiment displays an area indicating the range of tissue to be dissected (hereinafter also referred to as a "recommended dissection area”) on an image captured inside a patient's body by an endoscope (hereinafter also referred to as a "surgical field image”), and outputs the image to a display device such as a monitor installed in an operating room.
  • a surgeon can easily grasp the range of tissue to be dissected in the surgical field by viewing the surgical field image output to the display device.
  • Laparoscopic rectal cancer surgery is known to be highly difficult because there is a lot of tissue surrounding the rectum that needs to be preserved.
  • low anterior resection the basic surgical procedure for rectal cancer, a total mesorectal resection is performed, in which the entire mesorectum up to just above the anal canal is removed together with the mesorectal fascia.
  • the loose connective tissue surrounding the rectum is known to be an appropriate dissection layer.
  • the surgical support system of this embodiment inputs a surgical field image captured by an endoscope into a trained region segmentation model, thereby recognizing the region representing the range of tissue to be removed (hereinafter also referred to as the "removal region") and the region representing the range of tissue to be preserved (hereinafter also referred to as the "preservation region”), and outputs a surgical field image showing the recommended dissection region based on the recognition result to a display device.
  • the surgical support system of this embodiment can properly instruct the surgeon on the range of tissue to be dissected. This enables the surgeon to perform laparoscopic surgery efficiently.
  • Fig. 1 is a block diagram showing an example of the overall configuration of the surgery support system in this embodiment.
  • the surgery support system 1 in this embodiment includes an endoscope 2, an imaging control device 3, a display device 4, and an image processing device 10.
  • the endoscope 2 and the display device 4 are installed in the same operating room.
  • the imaging control device 3 and the image processing device 10 may be installed in the same operating room as the endoscope 2 and the display device 4, or may be installed in a different facility.
  • the endoscope 2 and the imaging control device 3 are electrically connected by a universal cord or the like.
  • the display device 4 and the image processing device 10 are electrically connected by a multimedia interface or the like.
  • the display device 4 may be electrically connected to the imaging control device 3.
  • the imaging control device 3 and the image processing device 10 are connected to each other so that they can communicate data with each other via a communication network such as a LAN (Local Area Network).
  • LAN Local Area Network
  • the endoscope 2 is a medical device that captures images of the inside of a patient's body.
  • the endoscope 2 has an insertion section that is inserted into the patient's body, an imaging device such as a camera located at the tip of the insertion section, an operation section that is located at the rear end of the insertion section, and a connection section that connects to the imaging control device 3.
  • an imaging device such as a camera located at the tip of the insertion section
  • an operation section that is located at the rear end of the insertion section
  • a connection section that connects to the imaging control device 3.
  • the imaging device of the endoscope 2 captures images of the inside of the patient's body constantly or at desired timing, according to the control of the imaging control device 3, and inputs images of the surgical field to the imaging control device 3 via the connection section.
  • the imaging device may capture still images or video (i.e., a time series of still images).
  • the imaging control device 3 is an electronic device or information processing device that controls the imaging device of the endoscope 2.
  • the imaging control device 3 may be connected to a light source device or an image recording device, or may be a device integrated with the light source device and the image recording device.
  • the imaging control device 3 transmits a control signal to the imaging device of the endoscope 2 via the connection part of the endoscope 2.
  • the control signal is a signal that instructs the start or stop of imaging, the emission or stop of illumination light, change of imaging magnification, etc.
  • the imaging control device 3 transmits the surgical field image input from the endoscope 2 to the image processing device 10 via the communication network.
  • the imaging control device 3 may output the surgical field image to the display device 4.
  • the image processing device 10 is an information processing device such as a personal computer, workstation, or server that performs predetermined image processing on the operative field image input from the imaging control device 3.
  • the image processing device 10 recognizes a predetermined area contained in the operative field image by inputting the operative field image into a trained area segmentation model.
  • the image processing device 10 identifies an area in the operative field image where dissection is recommended based on the recognition result, and generates an image (hereinafter also referred to as a "navigation image") showing the area in the operative field image where dissection is recommended.
  • the image processing device 10 outputs the navigation image to the display device 4.
  • the display device 4 displays the navigation image input from the image processing device 10 on the display.
  • the display device 4 displays the navigation image and the surgical field image in a manner that allows comparison.
  • the display device 4 may display the navigation image and the surgical field image side by side in the vertical or horizontal direction, or may display them in a switchable manner in response to an operation by the surgeon, etc.
  • the overall configuration of the surgery support system 1 shown in FIG. 1 is just one example, and various system configuration examples are possible depending on the application and purpose.
  • the image processing device 10 may be realized by multiple computers, or may be realized as a cloud computing service.
  • the surgery support system 1 may be realized as a stand-alone information processing device that combines the functions that the imaging control device 3 and the image processing device 10 should each have.
  • it may be realized as an image display system in which the functions that the image processing device 10 should have are incorporated into the display device 4.
  • ⁇ Computer hardware configuration> The imaging control device 3 and the image processing device 10 in this embodiment are realized by, for example, a computer.
  • Fig. 2 is a block diagram showing an example of the hardware configuration of a computer 500 in this embodiment.
  • computer 500 has a CPU (Central Processing Unit) 501, a ROM (Read Only Memory) 502, a RAM (Random Access Memory) 503, a HDD (Hard Disk Drive) 504, an input device 505, a display device 506, a communication I/F (Interface) 507, and an external I/F 508.
  • the CPU 501, ROM 502, and RAM 503 form what is known as a computer.
  • Each piece of hardware in computer 500 is connected to each other via a bus line 509. Note that the input device 505 and the display device 506 may be connected to the external I/F 508 for use.
  • the CPU 501 is a calculation device that reads programs and data from storage devices such as the ROM 502 or the HDD 504 onto the RAM 503 and executes processing to realize the overall control and functions of the computer 500.
  • the computer 500 may have a GPU (Graphics Processing Unit) in addition to or instead of the CPU 501.
  • ROM 502 is an example of a non-volatile semiconductor memory (storage device) that can retain programs and data even when the power is turned off.
  • ROM 502 functions as a main storage device that stores various programs, data, etc. required for CPU 501 to execute various programs installed in HDD 504.
  • boot programs such as BIOS (Basic Input/Output System) and EFI (Extensible Firmware Interface) that are executed when computer 500 is started, as well as data such as OS (Operating System) settings and network settings.
  • BIOS Basic Input/Output System
  • EFI Extensible Firmware Interface
  • RAM 503 is an example of a volatile semiconductor memory (storage device) from which programs and data are erased when the power is turned off.
  • RAM 503 is, for example, a DRAM (Dynamic Random Access Memory) or an SRAM (Static Random Access Memory).
  • RAM 503 provides a working area into which various programs installed in HDD 504 are expanded when executed by CPU 501.
  • HDD 504 is an example of a non-volatile storage device that stores programs and data.
  • the programs and data stored in HDD 504 include the OS, which is the basic software that controls the entire computer 500, and applications that provide various functions on the OS.
  • computer 500 may use a storage device that uses flash memory as a storage medium (e.g., SSD: Solid State Drive, etc.).
  • the input device 505 includes a touch panel that the user uses to input various signals, operation keys or buttons, a keyboard or mouse, a microphone for inputting sound data such as voice, etc.
  • the display device 506 is composed of a display such as a liquid crystal or organic EL (Electro-Luminescence) display for displaying a screen, a speaker for outputting sound data such as voice, etc.
  • a display such as a liquid crystal or organic EL (Electro-Luminescence) display for displaying a screen
  • a speaker for outputting sound data such as voice, etc.
  • the communication I/F 507 is an interface that connects to a communication network and enables the computer 500 to perform data communication.
  • the external I/F 508 is an interface with external devices.
  • External devices include a drive device 510.
  • the drive unit 510 is a device for setting the recording medium 511.
  • the recording medium 511 here includes media that record information optically, electrically, or magnetically, such as CD-ROMs, flexible disks, and magneto-optical disks.
  • the recording medium 511 may also include semiconductor memory that records information electrically, such as ROM and flash memory. This allows the computer 500 to read and/or write to the recording medium 511 via the external I/F 508.
  • the various programs to be installed in the HDD 504 are installed, for example, by setting the distributed recording medium 511 in a drive device 510 connected to the external I/F 508 and reading the various programs recorded on the recording medium 511 by the drive device 510.
  • the various programs to be installed in the HDD 504 may be installed by downloading them via the communication I/F 507 from a network different from the communication network.
  • Fig. 3 is a block diagram showing an example of the functional configuration of the surgery support system 1 in this embodiment.
  • the image processing device 10 in this embodiment includes a model storage unit 100 , an image acquisition unit 101 , a label assignment unit 102 , a model learning unit 103 , an area recognition unit 104 , and an image output unit 105 .
  • the image acquisition unit 101, label assignment unit 102, model learning unit 103, area recognition unit 104, and image output unit 105 are realized by processing that is executed by the CPU 501 according to a program loaded onto the RAM 503 from the HDD 504 shown in FIG. 2.
  • the model storage unit 100 is realized by the HDD 504 shown in FIG. 2.
  • the model storage unit 100 stores a trained region segmentation model.
  • the region segmentation model is trained by the model training unit 103.
  • segmentation model is a machine learning model that performs semantic segmentation based on deep learning.
  • the network structure of the segmentation model is, for example, a convolutional neural network.
  • a segmentation model such as SegNet or U-Net can be used.
  • region segmentation model is not limited to the above model, and any machine learning model that can recognize a specific region from an input image can be used.
  • Another example of a region segmentation model is a machine learning model that performs instance segmentation or panoptic segmentation based on deep learning.
  • the image acquisition unit 101 acquires operative field images.
  • the operative field images acquired by the image acquisition unit 101 are operative field images for generating a navigation image (hereinafter referred to as a "target image”) and operative field images for training a region segmentation model (hereinafter also referred to as a "training image").
  • the image acquisition unit 101 acquires the target image by receiving image data of the target image from the imaging control device 3.
  • the image acquisition unit 101 acquires the learning image by accepting image data of the learning image input to the input device 505 by user operation.
  • the labeling unit 102 assigns correct labels to the training images acquired by the image acquisition unit 101.
  • the correct labels include correct values for the excision region and correct values for the conservation region.
  • the labeling unit 102 stores the training data in which correct labels have been assigned to multiple training images in a storage unit such as the HDD 504.
  • the model learning unit 103 learns the region segmentation model based on the learning data generated by the label assignment unit 102.
  • the learning algorithm may be selected according to the type of region segmentation model.
  • the model learning unit 103 stores the learned region segmentation model in the model storage unit 100.
  • the area recognition unit 104 recognizes the area to be excised and the area to be preserved contained in the target image by inputting the target image acquired by the image acquisition unit 101 into the trained area segmentation model read from the model storage unit 100.
  • the area recognition unit 104 identifies the area to be excised and the area to be preserved contained in the target image based on the recognized area to be excised and the area to be preserved.
  • the image output unit 105 generates a navigation image by indicating the recommended peeling area identified by the area recognition unit 104 in the target image acquired by the image acquisition unit 101.
  • the image output unit 105 outputs the generated navigation image to the display device 4.
  • the processing procedure of the surgery support method executed by the surgery support system 1 in this embodiment will be described with reference to Fig. 4 to Fig. 7.
  • the surgery support method in this embodiment includes a learning process (see Fig. 4) for learning an area division model, and a recognition process (see Fig. 6) for outputting a navigation image based on a recognition result by the learned area division model.
  • FIG. 4 is a flowchart showing an example of the learning process in this embodiment.
  • step S1 the image acquisition unit 101 of the image processing device 10 accepts image data of multiple training images input to the input device 505 by user operation. As a result, the image acquisition unit 101 acquires multiple training images. The number of training images may be sufficient for training the region segmentation model. The image acquisition unit 101 sends the acquired multiple training images to the label assignment unit 102.
  • step S2 the label assignment unit 102 of the image processing device 10 receives a plurality of training images from the image acquisition unit 101. Next, the label assignment unit 102 assigns a correct label to each training image. The label assignment unit 102 stores the training images to which the correct labels have been assigned in the storage unit.
  • the label assignment unit 102 assigns the correct label as follows. First, the label assignment unit 102 displays the training image on the display device 506. Next, the label assignment unit 102 accepts the input of the correct label input to the input device 505 by the user's operation.
  • the correct label includes the correct value of the extraction region and the correct value of the conservation region.
  • the correct label is a label assigned to each pixel of the surgical field image. The label indicates either the extraction region, the conservation region, or another region.
  • correct labels may be assigned using rule-based or broad machine learning (other than deep learning) methods.
  • training data may be generated by correcting correct labels assigned using rule-based or other methods through user operations.
  • the areas to be removed and areas to be preserved indicated by the correct answer label differ depending on the location of the dissection captured in the training image. If the training image is an image of the surgical field captured during laparoscopic rectal cancer surgery, for example, the tissue to be removed and the tissue to be preserved will differ depending on whether the anterior wall of the rectum is imaged, the side wall of the rectum is imaged, or the posterior wall of the rectum is imaged.
  • the tissue to be removed is the resected organ.
  • the resected organ is the rectum.
  • the resected organ may include loose connective tissue that appears in the vicinity of these tissues.
  • the tissues to be preserved are the Denonvilliers fascia and the preserved organ.
  • the preserved organ is the hypogastric nerve, pelvic plexus, ureter, seminal vesicles, prostate, vagina, and neurovascular bundle (NVB).
  • the preserved organ may include loose connective tissue that appears in the vicinity of these tissues.
  • the tissues to be removed are the rectal fascia proper and the resected organ.
  • the resected organs are the rectum and mesorectum.
  • the resected organs may include loose connective tissue that appears near these tissues.
  • the tissues to be preserved are the ureteral hypogastric prefascia and the preserved organ.
  • the preserved organs are the hypogastric nerve, pelvic plexus, pelvic splanchnic nerves, ureter, and neurovascular bundle.
  • the preserved organs may include loose connective tissue that appears near these tissues.
  • the tissues to be removed are the rectal fascia proper and the resected organ.
  • the resected organs are the rectum and mesorectum.
  • the resected organs may include loose connective tissue that appears near these tissues.
  • the tissues to be preserved are the ureteral hypogastric prefascia and the preserved organ.
  • the preserved organs are the hypogastric nerve, pelvic plexus, pelvic splanchnic nerves, ureter, and median sacral vessels.
  • the preserved organs may include loose connective tissue that appears near these tissues.
  • step S3 the model learning unit 103 of the image processing device 10 reads out the learning data stored in the memory unit.
  • the model learning unit 103 uses the read out learning data to learn the region segmentation model.
  • the model learning unit 103 optimizes the model parameters based on the error between the recognition result when the learning image is input to the region segmentation model and the correct label.
  • the optimization method may be selected according to the network structure of the region segmentation model.
  • FIG. 5 is a flowchart showing an example of the model learning process.
  • step S3-1 the model learning unit 103 sets initial values for the model parameters of the region segmentation model.
  • the initial values for the model parameters may be set to predetermined values or may be set to random values.
  • step S3-2 the model learning unit 103 selects a learning image to be used for learning from the learning data.
  • step S3-3 the model learning unit 103 inputs the selected learning image into a region segmentation model to recognize the resection region and the conservation region contained in the learning image.
  • step S3-4 the model learning unit 103 calculates the error between the recognition results of the resection area and the conservation area contained in the training image and the correct label assigned to the selected training image.
  • step S3-5 the model learning unit 103 updates the model parameters of the area segmentation model based on the error between the recognition results and the correct label, according to the backpropagation method or the like.
  • step S3-6 the model learning unit 103 determines whether learning is complete. Whether learning is complete may be determined based on whether the model parameters have converged or whether a predetermined number of repetitions has been exceeded. If learning is not complete (NO), the model learning unit 103 returns the process to step S3-2. Thereafter, the model learning unit 103 repeatedly executes the processes of steps S3-2 to S3-5 for different training images. If learning is complete (YES), the model learning unit 103 ends the model learning process.
  • the region segmentation model may be trained using time series data consisting of multiple training images with different time information. Such time series data can be generated, for example, by extracting multiple frames from video data captured by an endoscope.
  • the region segmentation model has a network structure capable of handling time series data. Examples of networks capable of handling time series data include a recurrent neural network (RNN) or a long short-term memory (LSTM).
  • RNN recurrent neural network
  • LSTM long short-term memory
  • step S4 the model learning unit 103 of the image processing device 10 stores the learned region segmentation model learned in step S3 in the model storage unit 100.
  • FIG. 6 is a flowchart showing an example of the recognition process in this embodiment.
  • step S11 the image acquisition unit 101 of the image processing device 10 receives image data of the target image from the imaging control device 3. As a result, the image acquisition unit 101 acquires the target image. The image acquisition unit 101 sends the acquired target image to the area recognition unit 104.
  • step S12 the area recognition unit 104 of the image processing device 10 receives the target image from the image acquisition unit 101.
  • the area recognition unit 104 reads out the area division model stored in the model storage unit 100.
  • the area recognition unit 104 then inputs the received target image into the read area division model.
  • the area recognition unit 104 obtains a recognition result output from the area division model.
  • the recognition result includes information indicating whether each pixel of the target image is an extraction area, a conservation area, or another area.
  • step S13 the area recognition unit 104 of the image processing device 10 identifies an area for which peeling is recommended based on the recognition result of the target image obtained in step S12.
  • the area for which peeling is recommended is the area between the excision area and the conserving area included in the recognition result.
  • the area recognition unit 104 identifies the boundary line between the excision area and the conserving area as the area for which peeling is recommended.
  • the area recognition unit 104 may identify a range where the distance between the excision area and the conserving area is equal to or less than a predetermined threshold as the area for which peeling is recommended.
  • the area recognition unit 104 sends the recognition results of the excision area and the conserving area, and the identification result indicating the area for which peeling is recommended, together with the target image, to the image output unit 105.
  • the recommended dissection area includes at least one of the loose connective tissue between the rectal wall and Denonvie's fascia and the boundary line between the rectal wall and Denonvie's fascia.
  • the loose connective tissue between the rectal wall and Denonvie's fascia is included in the recognition result of the area to be removed or preserved, the loose connective tissue is not included in the recommended dissection area.
  • the recommended dissection area includes at least one of the loose connective tissues between the rectal fascia proper and the ureteral hypogastric preneural fascia, and the boundary between the rectal fascia proper and the ureteral hypogastric preneural fascia.
  • the loose connective tissues between the rectal fascia proper and the ureteral hypogastric preneural fascia are included in the recognition results of the resection area or the preserved area, the loose connective tissues are not included in the recommended dissection area.
  • step S14 the image output unit 105 of the image processing device 10 receives from the area recognition unit 104 the target image, the recognition results of the extraction area and the conservation area, and the identification results indicating the recommended excision area.
  • the image output unit 105 displays the recommended excision area displayed in the identification results in the received target image. This generates a navigation image.
  • the image output unit 105 may display the extraction area and the conservation area displayed in the recognition results in the navigation image.
  • the image output unit 105 outputs the generated navigation image to the display device 4.
  • the display device 4 displays the navigation image on a display.
  • the display device 4 may also display the target image input from the imaging control device 3 so that it can be contrasted with the navigation image.
  • the surgeon views the navigation image displayed on the display device 4 and determines the dissection location in the current surgical field. The surgeon then operates the endoscope 2 or surgical instruments to perform the dissection operation at the determined dissection location.
  • FIG. 7 is a diagram showing an example of a navigation image in this embodiment.
  • the navigation image in this embodiment is an image in which a recommended dissection region 91 is shown in a surgical field image 90 captured inside a patient's body by an endoscope 2.
  • the navigation image shown in FIG. 7 also shows an extraction region 92 and a preservation region 93.
  • the recommended dissection region 91, extraction region 92, and preservation region 93 are filled in in a manner that makes each range distinct.
  • each region may be filled in with a different transparent color, or each region may not be filled in and the outer edges of each region may be drawn with a different line type, or each region may be labeled with a label indicating the type of region.
  • the image processing device 10 in this embodiment inputs the operative field image into a trained region segmentation model to recognize the region to be excised and the region to be preserved contained in the operative field image, and outputs a navigation image showing the region recommended for dissection on the operative field image based on the recognition result to a display device. Therefore, the image processing device 10 in this embodiment can output a operative field image showing the range of tissue to be dissected.
  • the boundary line between the resection area and the conserved area can be displayed as a recommended dissection area. Furthermore, if the area segmentation model is trained so that the conserved area includes loose connective tissue near the conserved organ, the area will not be displayed as a recommended dissection area even if loose connective tissue is present within the conserved area. Similarly, if the area segmentation model is trained so that the resection area includes loose connective tissue near the resected organ, the area will not be displayed as a recommended dissection area even if loose connective tissue is present within the resection area. Therefore, the image processing device 10 in this embodiment can output a surgical field image in which an appropriate recommended dissection area is displayed.
  • the preservation region when the surgical field image is an image of the anterior rectum wall in laparoscopic rectal cancer surgery, the preservation region includes the Denonvier's fascia, and the recommended dissection region includes the boundary between the rectal wall and the Denonvier's fascia. Also, when the surgical field image is an image of the lateral rectum wall or the posterior rectum wall in laparoscopic rectal cancer surgery, the preservation region includes the ureteral hypogastric preneurial fascia, and the recommended dissection region includes the boundary between the rectal fascia proper and the ureteral hypogastric preneurial fascia.
  • the image processing device 10 of this embodiment appropriately selects the resection region, the preservation region, and the recommended dissection region according to the dissection location according to classification rules based on basic anatomical and clinical surgical anatomical viewpoints. Therefore, the image processing device 10 of this embodiment can output a surgical field image in which an appropriate recommended dissection region is indicated based on basic anatomical and clinical surgical anatomical viewpoints.
  • a region segmentation model is trained to recognize an excision region and a tissue-conserving region, and is configured to identify a recommended tissue-conserving region based on the recognized excision region and tissue-conserving region.
  • a region segmentation model is trained to further recognize a region representing a range of tissue that can be dissected (hereinafter, also referred to as a "resectable region"), and is configured to identify a recommended tissue-conserving region based on the recognized excision region, tissue-conserving region, and tissue-conserving region.
  • the functional configuration of the surgery support system in this embodiment is similar to that of the surgery support system in the first embodiment.
  • the labeling unit 102 and the area recognition unit 104 are configured to perform different processes from those of the labeling unit 102 and the area recognition unit 104 in the first embodiment.
  • the labeling unit 102 in this embodiment assigns correct labels including correct values for the extraction region, the conservation region, and the peelable region to the training images acquired by the image acquisition unit 101. Specifically, the labeling unit 102 assigns correct labels indicating either the extraction region, the conservation region, the peelable region, or another region to each pixel of the surgical field image.
  • the area recognition unit 104 recognizes the extraction area, the preservation area, and the peelable area included in the target image by inputting the target image acquired by the image acquisition unit 101 into the trained area segmentation model read from the model storage unit 100.
  • the area recognition unit 104 identifies the recommended peeling area included in the target image based on the recognized extraction area, the preservation area, and the peelable area.
  • the area recognition unit 104 may identify the recognized peelable area itself as the recommended peeling area.
  • the image processing device 10 in this embodiment learns a region segmentation model using learning data in which an excision region, a preservation region, and a peelable region are assigned to a learning image, and inputs a target image into the learned region segmentation model to recognize the excision region, the preservation region, and the peelable region included in the target image.
  • the image processing device 10 in this embodiment can output a surgical field image in which an appropriate recommended peeling region is indicated.
  • tissue to be removed and the tissues to be preserved are assigned to the training images, and a region segmentation model is trained.
  • the tissues to be removed and the tissues to be preserved can be determined according to classification rules based on basic anatomical and clinical surgical anatomical viewpoints. Therefore, according to the surgery support system in variant example 1, it is possible to output a surgical field image in which the recommended dissection region is appropriately identified based on basic anatomical as well as clinical surgical anatomical viewpoints.
  • learning data may be generated for each dissection location, and each learning data may be used to learn a region segmentation model for each dissection location.
  • the region segmentation model to be used may be switched according to the dissection location, by the surgeon's operation or based on the recognition results of the surgical field image.
  • first learning data consisting only of learning images of the anterior rectal wall
  • second learning data consisting only of learning images of the lateral rectal wall
  • third learning data consisting only of learning images of the posterior rectal wall
  • the correct labels assigned to each learning image are the correct values of the excised region and the correct values of the preserved region appropriately selected according to the dissection location.
  • the first learning data is used to learn a first region segmentation model corresponding to the anterior rectal wall
  • the second learning data is used to learn a second region segmentation model corresponding to the lateral rectal wall
  • the third learning data is used to learn a third region segmentation model corresponding to the posterior rectal wall.
  • the region segmentation model to be used is selected according to the progress of the surgery, and the target image is input into the selected region segmentation model to recognize the resection region and the preserved region contained in the target image.
  • the target image may be input into a trained classification model that has been trained to classify surgical field images by dissection region, recognizing the dissection region of the target image, and the region segmentation model to be used may be selected based on the recognition results.
  • the image processing device 10 in this modified example can output a surgical field image showing a more appropriate recommended dissection area.
  • region division models may be generated from different perspectives. For example, different region division models may be generated depending on the surgical procedure. Also, for example, different region division models may be generated depending on the model of endoscope or the specifications of the imaging device equipped in the endoscope.
  • the image processing device 10 in the above embodiment may be implemented as an image processing system including a model learning device that executes a learning process and an image processing device that executes a recognition process.
  • the model learning device learns an area segmentation model using a plurality of learning images, and the image processing device recognizes an area recommended for peeling from a target image using the learned area segmentation model.
  • the image processing system in this modified example may be configured as follows.
  • the model learning device includes an image acquisition unit 101, a label assignment unit 102, and a model learning unit 103.
  • the image processing device includes a model storage unit 100, an image acquisition unit 101, an area recognition unit 104, and an image output unit 105.
  • the image acquisition unit 101 of the model learning device accepts image data of multiple learning images input to the input device 505.
  • the image acquisition unit 101 of the image processing device receives image data of the target image from the imaging control device 3.
  • the region segmentation model output by the model learning unit 103 of the model learning device is stored in the model storage unit 100 of the image processing device.
  • the image processing device 10 recognizes each region from the surgical field image using a machine learning model based on deep learning, but the method of recognizing each region from the surgical field image is not limited to the machine learning model based on deep learning.
  • the image processing device 10 may recognize each region from the surgical field image using a method such as template matching or a support vector machine (SVM).
  • SVM support vector machine
  • processing circuit includes a processor programmed to execute each function by software, such as a CPU (Central Processing Unit) or GPU (Graphics Processing Unit) implemented by an electronic circuit, and an ASIC (Application Specific Integrated Circuit), DSP (Digital Signal Processor), FPGA (Field Programmable Gate Array), conventional circuit module, and other devices designed to execute each function described above.
  • CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • ASIC Application Specific Integrated Circuit
  • DSP Digital Signal Processor
  • FPGA Field Programmable Gate Array

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置は、鏡視下手術の術野を撮像した術野画像を取得する画像取得部と、画像取得部により取得された術野画像を、術野を撮影した学習画像に摘出すべき組織の範囲を表す摘出領域及び温存すべき組織の範囲を表す温存領域が付与された学習データを用いて学習された学習済みモデルに入力することで、術野画像に含まれる摘出領域及び温存領域を認識する領域認識部と、領域認識部による認識結果に基づいて、剥離すべき組織の範囲を表す剥離推奨領域を示した術野画像を出力する画像出力部と、を備える。

Description

画像処理装置、手術支援システム、画像処理方法及びプログラム
　本発明は、画像処理装置、手術支援システム、画像処理方法及びプログラムに関する。
　内視鏡により患者の体内を撮像した術野画像を手術室に設置されたモニタに出力し、術者が術野画像を閲覧しながら各種の手術器具を操作する鏡視下手術が行われている。鏡視下手術では、摘出すべき組織と温存すべき組織とを剥離するための組織を、術者が術野画像から適切に把握することが重要である。
　適切な剥離層として知られる疎性結合組織の位置を、術者に教示するための手術支援装置が利用されている。例えば、特許文献１には、鏡視下手術の術野を撮像して得られる術野画像を学習モデルに入力し、術野画像に含まれる疎性結合組織部分を認識する手術支援装置が開示されている。
国際公開第２０２２／２５１５１号
　しかしながら、従来技術では、剥離すべき組織を認識できないことがある。例えば、癒合等により、摘出すべき組織と温存すべき組織との間に疎性結合組織が存在しない場合や疎性結合組織を表出することが困難な場合には、術野画像から疎性結合組織部分を認識することができない。
　本発明の一態様は、上記のような技術的課題に鑑みて、剥離すべき組織の範囲が示された術野画像を出力することである。
　本発明の一態様による画像処理装置は、鏡視下手術の術野を撮像した術野画像を取得するように構成されている画像取得部と、前記画像取得部により取得された前記術野画像を、前記術野を撮影した学習画像に摘出すべき組織の範囲を表す摘出領域及び温存すべき組織の範囲を表す温存領域が付与された学習データを用いて学習された学習済みモデルに入力することで、当該術野画像に含まれる前記摘出領域及び前記温存領域を認識するように構成されている領域認識部と、前記領域認識部による認識結果に基づいて、剥離すべき組織の範囲を表す剥離推奨領域を示した前記術野画像を出力するように構成されている画像出力部と、を備える。
　本発明の一態様によれば、剥離すべき組織の範囲が示された術野画像を出力することができる。
手術支援システムの全体構成の一例を示すブロック図である。 コンピュータのハードウェア構成の一例を示すブロック図である。 手術支援システムの機能構成の一例を示すブロック図である。 学習処理の一例を示すフローチャートである。 モデル学習処理の一例を示すフローチャートである。 認識処理の一例を示すフローチャートである。 ナビゲーション画像の一例を示す図である。
　以下、本開示の各実施形態について添付の図面を参照しながら説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　［第１実施形態］
　本発明の一実施形態は、鏡視下手術を実施する術者を支援する手術支援システムである。本実施形態における手術支援システムは、内視鏡により患者の体内を撮像した画像（以下、「術野画像」とも呼ぶ）に、剥離すべき組織の範囲を表す領域（以下、「剥離推奨領域」とも呼ぶ）を示して、手術室に設置されたモニタ等の表示装置に出力する。本実施形態における手術支援システムによれば、術者は、表示装置に出力された術野画像を閲覧することで、術野において剥離すべき組織の範囲を容易に把握することができる。
　本実施形態では、鏡視下手術の一例として、鏡視下直腸がん手術に適用した例を説明する。鏡視下手術では、患者の腹部や胸部等の身体表面にトロッカと呼ばれる開孔器具を複数個取り付け、トロッカに設けられた開孔から、内視鏡、電気メス、鉗子等の手術器具を患者の体内に挿入する。術者は、内視鏡によって撮像された術野画像をモニタでリアルタイムに閲覧しながら、電気メスを用いて患部を切除する等の処置を行う。なお、術者とは、鏡視下手術に関わる医療従事者であり、執刀医、助手、看護師、手術をモニタしている医師等を含む。
　直腸は周囲に温存すべき組織が多く存在するため、鏡視下直腸がん手術は難易度が高いことが知られている。直腸がんに対する基本術式である低位前方切除術では、肛門管直上までの直腸間膜を直腸間膜筋膜ごとすべて切除する直腸間膜全切除が行われる。直腸間膜全切除においては、直腸周囲に存在する疎性結合組織が適切な剥離層として知られている。
　しかしながら、直腸間膜全切除における直腸前壁、側壁又は後壁の剥離操作では、癒合等により疎性結合組織が存在しない部分、又は疎性結合組織を表出することが困難な部分が存在することがある。このような場合、剥離すべき組織を術野から把握することは容易ではない。術者は、知識や経験に基づいて剥離箇所を慎重に決定する必要がある。
　本実施形態における手術支援システムは、内視鏡により撮像された術野画像を学習済みの領域分割モデルに入力することで、摘出すべき組織の範囲を表す領域（以下、「摘出領域」とも呼ぶ）及び温存すべき組織の範囲を表す領域（以下、「温存領域」とも呼ぶ）を認識し、認識結果に基づいて剥離推奨領域を示した術野画像を表示装置に出力する。本実施形態における手術支援システムによれば、術者に剥離すべき組織の範囲を適切に教示することができる。これにより、術者は鏡視下手術を効率的に実施することが可能となる。
　＜手術支援システムの全体構成＞
　本実施形態における手術支援システムの全体構成を、図１を参照しながら説明する。図１は、本実施形態における手術支援システムの全体構成の一例を示すブロック図である。
　図１に示されているように、本実施形態における手術支援システム１は、内視鏡２、撮像制御装置３、表示装置４及び画像処理装置１０を含む。内視鏡２及び表示装置４は、同一の手術室に設置されている。撮像制御装置３及び画像処理装置１０は、内視鏡２及び表示装置４と同一の手術室に設置されてもよいし、異なる施設に設置されていてもよい。
　内視鏡２と撮像制御装置３とは、ユニバーサルコード等で電気的に接続されている。表示装置４と画像処理装置１０とは、マルチメディアインターフェース等で電気的に接続されている。表示装置４は、撮像制御装置３と電気的に接続されていてもよい。撮像制御装置３と画像処理装置１０とは、ＬＡＮ（Local Area Network）等の通信ネットワークを介して相互にデータ通信可能に接続されている。
　内視鏡２は、患者の体内を撮像する医療機器である。内視鏡２は、患者の体内に挿入する挿入部、挿入部の先端部分に配置されたカメラ等の撮像装置、挿入部の後端部分に配置された操作部、及び撮像制御装置３に接続する接続部を有する。術者が操作部を操作することで、挿入部の湾曲が上下左右に制御され、患者の体内の所望の位置に挿入部を移動させることができる。
　内視鏡２の撮像装置は、撮像制御装置３による制御に従って、常時又は所望のタイミングで患者の体内を撮像し、接続部を介して術野画像を撮像制御装置３に入力する。撮像装置は、静止画を撮像してもよいし、動画（すなわち、静止画の時系列）を撮像してもよい。
　撮像制御装置３は、内視鏡２が有する撮像装置を制御する電子機器又は情報処理装置である。撮像制御装置３は、光源装置又は画像記録装置と接続されていてもよいし、光源装置及び画像記録装置と一体の装置であってもよい。
　撮像制御装置３は、内視鏡２の接続部を介して内視鏡２の撮像装置に制御信号を送信する。制御信号は、撮像の開始又は停止、照明光の出射又は停止、撮像倍率の変更等を指示する信号である。撮像制御装置３は、内視鏡２から入力された術野画像を、通信ネットワークを介して画像処理装置１０に伝送する。撮像制御装置３は、術野画像を表示装置４に出力してもよい。
　画像処理装置１０は、撮像制御装置３から入力された術野画像に対して、所定の画像処理を行うパーソナルコンピュータ、ワークステーション、サーバ等の情報処理装置である。画像処理装置１０は、術野画像を学習済みの領域分割モデルに入力することで、術野画像に含まれる所定の領域を認識する。画像処理装置１０は、認識結果に基づいて術野画像に含まれる剥離推奨領域を特定し、術野画像に剥離推奨領域を示した画像（以下、「ナビゲーション画像」とも呼ぶ）を生成する。画像処理装置１０は、ナビゲーション画像を表示装置４に出力する。
　表示装置４は、画像処理装置１０から入力されるナビゲーション画像をディスプレイに表示する。表示装置４は、撮像制御装置３から術野画像が入力された場合、ナビゲーション画像と術野画像とを対比可能に表示する。例えば、表示装置４は、ナビゲーション画像と術野画像とを上下方向又は左右方向に並べて表示してもよいし、術者等による操作に応じて切り替え可能に表示してもよい。
　なお、図１に示した手術支援システム１の全体構成は一例であって、用途や目的に応じて様々なシステム構成例があり得る。例えば、画像処理装置１０は、複数台のコンピュータにより実現してもよいし、クラウドコンピューティングのサービスとして実現してもよい。また、例えば、手術支援システム１は、撮像制御装置３及び画像処理装置１０がそれぞれ備えるべき機能を兼ね備えたスタンドアローンの情報処理装置として実現してもよい。また、例えば、画像処理装置１０が備えるべき機能を表示装置４に組み込んだ画像表示システムとして実現してもよい。
　＜手術支援システムのハードウェア構成＞
　本実施形態における手術支援システム１のハードウェア構成を、図２を参照しながら説明する。
　≪コンピュータのハードウェア構成≫
　本実施形態における撮像制御装置３及び画像処理装置１０は、例えばコンピュータにより実現される。図２は、本実施形態におけるコンピュータ５００のハードウェア構成の一例を示すブロック図である。
　図２に示されているように、コンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤＤ（Hard Disk Drive）５０４、入力装置５０５、表示装置５０６、通信Ｉ／Ｆ（Interface）５０７及び外部Ｉ／Ｆ５０８を有する。ＣＰＵ５０１、ＲＯＭ５０２及びＲＡＭ５０３は、いわゆるコンピュータを形成する。コンピュータ５００の各ハードウェアは、バスライン５０９を介して相互に接続されている。なお、入力装置５０５及び表示装置５０６は外部Ｉ／Ｆ５０８に接続して利用する形態であってもよい。
　ＣＰＵ５０１は、ＲＯＭ５０２又はＨＤＤ５０４等の記憶装置からプログラムやデータをＲＡＭ５０３上に読み出し、処理を実行することで、コンピュータ５００全体の制御や機能を実現する演算装置である。コンピュータ５００は、ＣＰＵ５０１に加えて又はＣＰＵ５０１に代えて、ＧＰＵ（Graphics Processing Unit）を有していてもよい。
　ＲＯＭ５０２は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０２は、ＨＤＤ５０４にインストールされている各種プログラムをＣＰＵ５０１が実行するために必要な各種プログラム、データ等を格納する主記憶装置として機能する。具体的には、ＲＯＭ５０２には、コンピュータ５００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＥＦＩ（Extensible Firmware Interface）等のブートプログラムや、ＯＳ（Operating System）設定、ネットワーク設定等のデータが格納されている。
　ＲＡＭ５０３は、電源を切るとプログラムやデータが消去される揮発性の半導体メモリ（記憶装置）の一例である。ＲＡＭ５０３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等である。ＲＡＭ５０３は、ＨＤＤ５０４にインストールされている各種プログラムがＣＰＵ５０１によって実行される際に展開される作業領域を提供する。
　ＨＤＤ５０４は、プログラムやデータを格納している不揮発性の記憶装置の一例である。ＨＤＤ５０４に格納されるプログラムやデータには、コンピュータ５００全体を制御する基本ソフトウェアであるＯＳ、及びＯＳ上において各種機能を提供するアプリケーション等がある。なお、コンピュータ５００はＨＤＤ５０４に替えて、記憶媒体としてフラッシュメモリを用いる記憶装置（例えばＳＳＤ：Solid State Drive等）を利用するものであってもよい。
　入力装置５０５は、ユーザが各種信号を入力するために用いるタッチパネル、操作キーやボタン、キーボードやマウス、音声等の音データを入力するマイクロホン等である。
　表示装置５０６は、画面を表示する液晶や有機ＥＬ（Electro-Luminescence）等のディスプレイ、音声等の音データを出力するスピーカ等で構成されている。
　通信Ｉ／Ｆ５０７は、通信ネットワークに接続し、コンピュータ５００がデータ通信を行うためのインタフェースである。
　外部Ｉ／Ｆ５０８は、外部装置とのインタフェースである。外部装置には、ドライブ装置５１０等がある。
　ドライブ装置５１０は、記録媒体５１１をセットするためのデバイスである。ここでいう記録媒体５１１には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体５１１には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。これにより、コンピュータ５００は外部Ｉ／Ｆ５０８を介して記録媒体５１１の読み取り及び／又は書き込みを行うことができる。
　なお、ＨＤＤ５０４にインストールされる各種プログラムは、例えば、配布された記録媒体５１１が外部Ｉ／Ｆ５０８に接続されたドライブ装置５１０にセットされ、記録媒体５１１に記録された各種プログラムがドライブ装置５１０により読み出されることでインストールされる。あるいは、ＨＤＤ５０４にインストールされる各種プログラムは、通信Ｉ／Ｆ５０７を介して、通信ネットワークとは異なる他のネットワークよりダウンロードされることでインストールされてもよい。
　＜手術支援システムの機能構成＞
　本実施形態における手術支援システムの機能構成を、図３を参照しながら説明する。図３は、本実施形態における手術支援システム１の機能構成の一例を示すブロック図である。
　≪画像処理装置の機能構成≫
　図３に示されているように、本実施形態における画像処理装置１０は、モデル記憶部１００、画像取得部１０１、ラベル付与部１０２、モデル学習部１０３、領域認識部１０４及び画像出力部１０５を備える。
　画像取得部１０１、ラベル付与部１０２、モデル学習部１０３、領域認識部１０４及び画像出力部１０５は、図２に示されているＨＤＤ５０４からＲＡＭ５０３上に展開されたプログラムがＣＰＵ５０１に実行させる処理によって実現される。モデル記憶部１００は、図２に示されているＨＤＤ５０４によって実現される。
　モデル記憶部１００には、学習済みの領域分割モデルが記憶されている。領域分割モデルは、モデル学習部１０３により学習される。
　領域分割モデルの一例は、深層学習に基づくセマンティックセグメンテーションを行う機械学習モデルである。領域分割モデルのネットワーク構造は、例えば、畳み込みニューラルネットワークである。具体的には、ＳｅｇＮｅｔ又はＵ－Ｎｅｔ等のセグメンテーションモデルを用いることができる。
　なお、領域分割モデルは上記のモデルに限定されず、入力画像から所定の領域を認識可能な機械学習モデルであれば、任意のモデルを用いることができる。領域分割モデルの他の例は、深層学習に基づいてインスタンスセグメンテーション又はパノプティックセグメンテーションを行う機械学習モデルである。
　画像取得部１０１は、術野画像を取得する。画像取得部１０１が取得する術野画像は、ナビゲーション画像を生成するための術野画像（以下、「対象画像」と呼ぶ）、及び領域分割モデルを学習するための術野画像（以下、「学習画像」とも呼ぶ）である。
　画像取得部１０１は、撮像制御装置３から対象画像の画像データを受信することで、対象画像を取得する。画像取得部１０１は、ユーザの操作により入力装置５０５に入力された学習画像の画像データを受け付けることで、学習画像を取得する。
　ラベル付与部１０２は、画像取得部１０１により取得された学習画像に、正解ラベルを付与する。本実施形態における正解ラベルは、摘出領域の正解値及び温存領域の正解値を含む。ラベル付与部１０２は、複数の学習画像に正解ラベルが付与された学習データを、ＨＤＤ５０４等の記憶部に記憶する。
　モデル学習部１０３は、ラベル付与部１０２により生成された学習データに基づいて、領域分割モデルを学習する。学習アルゴリズムは、領域分割モデルの種類に応じて選択すればよい。モデル学習部１０３は、学習済みの領域分割モデルをモデル記憶部１００に記憶する。
　領域認識部１０４は、モデル記憶部１００から読み出した学習済みの領域分割モデルに、画像取得部１０１により取得された対象画像を入力することで、対象画像に含まれる摘出領域及び温存領域を認識する。領域認識部１０４は、認識された摘出領域及び温存領域に基づいて、対象画像に含まれる剥離推奨領域を特定する。
　画像出力部１０５は、画像取得部１０１により取得された対象画像に、領域認識部１０４により特定された剥離推奨領域を示すことで、ナビゲーション画像を生成する。画像出力部１０５は、生成されたナビゲーション画像を表示装置４に出力する。
　＜手術支援システムの処理手順＞
　本実施形態における手術支援システム１が実行する手術支援方法の処理手順を、図４乃至図７を参照しながら説明する。本実施形態における手術支援方法は、領域分割モデルを学習する学習処理（図４参照）と、学習済みの領域分割モデルによる認識結果に基づいてナビゲーション画像を出力する認識処理（図６参照）とを含む。
　≪学習処理≫
　図４は、本実施形態における学習処理の一例を示すフローチャートである。
　ステップＳ１において、画像処理装置１０の画像取得部１０１は、ユーザの操作により入力装置５０５に入力された複数の学習画像の画像データを受け付ける。これにより、画像取得部１０１は、複数の学習画像を取得する。学習画像の数は、領域分割モデルを学習するために十分な数であればよい。画像取得部１０１は、取得した複数の学習画像をラベル付与部１０２に送る。
　ステップＳ２において、画像処理装置１０のラベル付与部１０２は、画像取得部１０１から複数の学習画像を受け取る。次に、ラベル付与部１０２は、各学習画像に正解ラベルを付与する。ラベル付与部１０２は、正解ラベルが付与された学習画像を記憶部に記憶する。
　具体的には、ラベル付与部１０２は、以下のようにして、正解ラベルを付与する。ラベル付与部１０２は、まず、学習画像を表示装置５０６に表示する。次に、ラベル付与部１０２は、ユーザの操作により入力装置５０５に入力された正解ラベルの入力を受け付ける。正解ラベルは、摘出領域の正解値及び温存領域の正解値を含む。具体的には、正解ラベルは、術野画像の各ピクセルに対して付与されたラベルである。当該ラベルは、摘出領域、温存領域又はその他の領域のいずれかを示す。上記の操作を各学習画像について繰り返し実行することで、すべての学習画像に正解ラベルが付与された学習データが生成される。
　正解ラベルの付与は、ユーザの操作による手法に限定されない。例えば、ルールベース又は（深層学習以外の）広義の機械学習による手法で正解ラベルを付与してもよい。また、ルールベース等による手法で付与された正解ラベルを、ユーザの操作により修正することで学習データを生成してもよい。
　正解ラベルで示される摘出領域及び温存領域は、学習画像に撮像された剥離箇所に応じて異なる。学習画像が鏡視下直腸がん手術における術野を撮像した術野画像である場合、例えば、直腸前壁が撮像されている場合と、直腸側壁が撮像されている場合と、直腸後壁が撮像されている場合とでは、摘出すべき組織と温存すべき組織とは異なるものとなる。
　学習画像が直腸前壁を撮像した術野画像である場合、摘出すべき組織は、切除臓器である。ただし、切除臓器は、直腸である。切除臓器には、これらの組織の近傍に現れる疎性結合組織が含まれてもよい。温存すべき組織は、デノビエ（Denonvilliers）筋膜及び温存臓器である。ただし、温存臓器は、下腹神経、骨盤神経叢、尿管、精嚢、前立腺、膣及び神経血管束（NVB; Neurovascular bundle）である。温存臓器には、これらの組織の近傍に現れる疎性結合組織が含まれてもよい。
　学習画像が直腸側壁を撮像した術野画像である場合、摘出すべき組織は、直腸固有筋膜及び切除臓器である。ただし、切除臓器は、直腸及び直腸間膜である。切除臓器には、これらの組織の近傍に現れる疎性結合組織が含まれてもよい。温存すべき組織は、尿管下腹神経前筋膜及び温存臓器である。ただし、温存臓器は、下腹神経、骨盤神経叢、骨盤内臓神経、尿管及び神経血管束である。温存臓器には、これらの組織の近傍に現れる疎性結合組織が含まれてもよい。
　学習画像が直腸後壁を撮像した術野画像である場合、摘出すべき組織は、直腸固有筋膜及び切除臓器である。ただし、切除臓器は、直腸及び直腸間膜である。切除臓器には、これらの組織の近傍に現れる疎性結合組織が含まれてもよい。温存すべき組織は、尿管下腹神経前筋膜及び温存臓器である。ただし、温存臓器は、下腹神経、骨盤神経叢、骨盤内臓神経、尿管及び正中仙骨血管である。温存臓器には、これらの組織の近傍に現れる疎性結合組織が含まれてもよい。
　ステップＳ３において、画像処理装置１０のモデル学習部１０３は、記憶部に記憶されている学習データを読み出す。次に、モデル学習部１０３は、読み出した学習データを用いて、領域分割モデルを学習する。モデル学習部１０３は、学習画像を領域分割モデルに入力したときの認識結果と正解ラベルとの誤差に基づいて、モデルパラメータを最適化する。最適化手法は、領域分割モデルのネットワーク構造に応じて選択すればよい。
　ここで、領域分割モデルの学習処理（図４のステップＳ３）について、図５を参照しながら詳細に説明する。図５は、モデル学習処理の一例を示すフローチャートである。
　ステップＳ３－１において、モデル学習部１０３は、領域分割モデルのモデルパラメータの初期値を設定する。モデルパラメータの初期値は、予め定めた値を設定してもよいし、ランダムな値を設定してもよい。
　ステップＳ３－２において、モデル学習部１０３は、学習データから学習に用いる学習画像を選択する。ステップＳ３－３において、モデル学習部１０３は、選択した学習画像を領域分割モデルに入力することで、当該学習画像に含まれる摘出領域及び温存領域を認識する。
　ステップＳ３－４において、モデル学習部１０３は、学習画像に含まれる摘出領域及び温存領域の認識結果と、選択した学習画像に付与された正解ラベルとの誤差を計算する。ステップＳ３－５において、モデル学習部１０３は、誤差逆伝播法等に従って、認識結果と正解ラベルとの誤差に基づいて、領域分割モデルのモデルパラメータを更新する。
　ステップＳ３－６において、モデル学習部１０３は、学習が完了したか否かを判定する。学習が完了したか否かは、モデルパラメータが収束したか否か、又は所定の繰り返し回数を超過したか否か等により判定すればよい。学習が完了していない場合（ＮＯ）、モデル学習部１０３はステップＳ３－２に処理を戻す。その後、モデル学習部１０３は、異なる学習画像について、ステップＳ３－２からＳ３－５の処理を繰り返し実行する。学習が完了した場合（ＹＥＳ）、モデル学習部１０３はモデル学習処理を終了する。
　領域分割モデルは、時間情報が異なる複数枚の学習画像からなる時系列データを用いて学習してもよい。このような時系列データは、例えば内視鏡で撮影された動画データから複数フレームを抽出することで生成することができる。この場合、領域分割モデルは、時系列データを扱うことが可能なネットワーク構造とする。時系列データを扱うことが可能なネットワークの一例は、再帰型ニューラルネットワーク（RNN; Recurrent Neural Network）又は長期短期記憶（LSTM; Long Short-Term Memory）等が挙げられる。
　図４に戻って説明する。ステップＳ４において、画像処理装置１０のモデル学習部１０３は、ステップＳ３で学習した学習済みの領域分割モデルをモデル記憶部１００に記憶する。
　≪認識処理≫
　図６は、本実施形態における認識処理の一例を示すフローチャートである。
　ステップＳ１１において、画像処理装置１０の画像取得部１０１は、撮像制御装置３から対象画像の画像データを受信する。これにより、画像取得部１０１は、対象画像を取得する。画像取得部１０１は、取得した対象画像を領域認識部１０４に送る。
　ステップＳ１２において、画像処理装置１０の領域認識部１０４は、画像取得部１０１から対象画像を受け取る。次に、領域認識部１０４は、モデル記憶部１００に記憶されている領域分割モデルを読み出す。続いて、領域認識部１０４は、受け取った対象画像を、読み出した領域分割モデルに入力する。これにより、領域認識部１０４は、領域分割モデルから出力される認識結果を得る。認識結果には、対象画像の各ピクセルが摘出領域、温存領域、又はその他の領域のいずれであるかを示す情報が含まれる。
　ステップＳ１３において、画像処理装置１０の領域認識部１０４は、ステップＳ１２で得た対象画像の認識結果に基づいて、剥離推奨領域を特定する。剥離推奨領域は、認識結果に含まれる摘出領域と温存領域との間の領域である。領域認識部１０４は、摘出領域と温存領域とが接している場合、摘出領域と温存領域との境界線を剥離推奨領域として特定する。領域認識部１０４は、摘出領域及び温存領域との距離が所定の閾値以下の範囲を剥離推奨領域として特定してもよい。領域認識部１０４は、摘出領域及び温存領域の認識結果、並びに剥離推奨領域を表す特定結果を、対象画像と共に画像出力部１０５に送る。
　なお、対象画像が直腸前壁を撮像した術野画像である場合、剥離推奨領域には、直腸壁とデノビエ筋膜との間に存在する疎性結合組織、及び直腸壁とデノビエ筋膜との境界線の少なくとも一方が含まれる。ただし、直腸壁とデノビエ筋膜との間に存在する疎性結合組織が摘出領域又は温存領域の認識結果に含まれる場合、当該疎性結合組織は剥離推奨領域に含まれない。
　また、対象画像が直腸側壁又は直腸後壁を撮像した術野画像である場合、剥離推奨領域には、直腸固有筋膜と尿管下腹神経前筋膜との間に存在する疎性結合組織、及び直腸固有筋膜と尿管下腹神経前筋膜との境界線の少なくとも一方が含まれる。ただし、直腸固有筋膜と尿管下腹神経前筋膜との間に存在する疎性結合組織が摘出領域又は温存領域の認識結果に含まれる場合、当該疎性結合組織は剥離推奨領域に含まれない。
　ステップＳ１４において、画像処理装置１０の画像出力部１０５は、領域認識部１０４から対象画像、摘出領域及び温存領域の認識結果、並びに剥離推奨領域を表す特定結果を受け取る。次に、画像出力部１０５は、受け取った対象画像に特定結果に表された剥離推奨領域を示す。これにより、ナビゲーション画像が生成される。画像出力部１０５は、ナビゲーション画像に認識結果に表された摘出領域及び温存領域を示してもよい。
　画像出力部１０５は、生成されたナビゲーション画像を表示装置４に出力する。表示装置４は、ナビゲーション画像をディスプレイに表示する。表示装置４は、撮像制御装置３から入力された対象画像をナビゲーション画像と対比可能に表示してもよい。
　術者は、表示装置４に表示されたナビゲーション画像を閲覧し、現在の術野における剥離箇所を決定する。その後、術者は、内視鏡２又は手術器具を操作することで、決定した剥離箇所において剥離操作を実施する。
　本実施形態におけるナビゲーション画像について、図７を参照しながら説明する。図７は、本実施形態におけるナビゲーション画像の一例を示す図である。
　図７に示されているように、本実施形態におけるナビゲーション画像は、患者の体内を内視鏡２により撮像した術野画像９０に、剥離推奨領域９１が示された画像である。図７に示されたナビゲーション画像には、摘出領域９２及び温存領域９３も示されている。剥離推奨領域９１、摘出領域９２及び温存領域９３は、それぞれの範囲が区別可能な態様で塗り潰されている。
　図７に示されたナビゲーション画像では、剥離推奨領域９１、摘出領域９２及び温存領域９３が相異なるパターンで塗り潰されているが、それらの範囲が区別可能に可視化されていればよく、表示の態様は限定されない。例えば、それぞれの領域が異なる透過色で塗り潰されていてもよいし、それぞれの領域が塗りつぶされておらず、それぞれの外縁が異なる線種で描画されていてもよいし、それぞれの領域の種類を示すラベルが付されていてもよい。
　＜第１実施形態の効果＞
　本実施形態における画像処理装置１０は、術野画像を学習済みの領域分割モデルに入力することで、当該術野画像に含まれる摘出領域及び温存領域を認識し、認識結果に基づいて剥離推奨領域を術野画像に示したナビゲーション画像を表示装置に出力する。したがって、本実施形態における画像処理装置１０によれば、剥離すべき組織の範囲が示された術野画像を出力することができる。
　本実施形態における画像処理装置１０は、上記のように構成することで、疎性結合組織が存在しない場合や疎性結合組織を表出することが困難な場合であっても、摘出領域と温存領域との境界線を剥離推奨領域として示すことができる。また、温存領域に温存臓器近傍の疎性結合組織が含まれるように領域分割モデルを学習すれば、温存領域内に疎性結合組織が存在する場合であっても剥離推奨領域として示されることがない。同様に、摘出領域に切除臓器近傍の疎性結合組織が含まれるように領域分割モデルを学習すれば、摘出領域内に疎性結合組織が存在する場合であっても剥離推奨領域として示されることがない。したがって、本実施形態における画像処理装置１０によれば、適切な剥離推奨領域が示された術野画像を出力することができる。
　本実施形態における画像処理装置１０は、術野画像が鏡視下直腸がん手術における直腸前壁を撮影した画像であるとき、温存領域はデノビエ筋膜を含み、剥離推奨領域は、直腸壁とデノビエ筋膜との境界線を含む。また、術野画像が鏡視下直腸がん手術における直腸側壁又は直腸後壁を撮影した画像であるとき、温存領域は尿管下腹神経前筋膜を含み、剥離推奨領域は、直腸固有筋膜と尿管下腹神経前筋膜との境界線を含む。すなわち、本実施形態における画像処理装置１０は、基礎解剖学的見地及び臨床外科解剖学的見地に基づいた分類規則に従って、剥離箇所に応じた摘出領域、温存領域及び剥離推奨領域が適切に選択されている。したがって、本実施形態における画像処理装置１０によれば、基礎解剖学的見地及び臨床外科解剖学的見地に基づいて適切な剥離推奨領域が示された術野画像を出力することができる。
　［第２実施形態］
　本発明の第１実施形態では、領域分割モデルを摘出領域及び温存領域を認識するように学習し、認識された摘出領域及び温存領域に基づいて剥離推奨領域を特定するように構成した。第２実施形態では、領域分割モデルを剥離可能な組織の範囲を表す領域（以下、「剥離可能領域」とも呼ぶ）をさらに認識するように学習し、認識された摘出領域、温存領域及び剥離可能領域に基づいて剥離推奨領域を特定するように構成する。
　＜手術支援システムの機能構成＞
　本実施形態における手術支援システムの機能構成は、第１実施形態における手術支援システムと同様である。ただし、本実施形態における画像処理装置１０では、ラベル付与部１０２及び領域認識部１０４が、第１実施形態におけるラベル付与部１０２及び領域認識部１０４と異なる処理を行うように構成される。
　本実施形態におけるラベル付与部１０２は、画像取得部１０１により取得された学習画像に、摘出領域の正解値、温存領域の正解値及び剥離可能領域の正解値を含む正解ラベルを付与する。具体的には、ラベル付与部１０２は、術野画像の各ピクセルに対して、摘出領域、温存領域、剥離可能領域又はその他の領域のいずれかを示す正解ラベルを付与する。
　本実施形態における領域認識部１０４は、モデル記憶部１００から読み出した学習済みの領域分割モデルに、画像取得部１０１により取得された対象画像を入力することで、対象画像に含まれる摘出領域、温存領域及び剥離可能領域を認識する。領域認識部１０４は、認識された摘出領域、温存領域及び剥離可能領域に基づいて、対象画像に含まれる剥離推奨領域を特定する。領域認識部１０４は、認識された剥離可能領域そのものを剥離推奨領域として特定してもよい。
　＜第２実施形態の効果＞
　本実施形態における画像処理装置１０は、学習画像に摘出領域、温存領域及び剥離可能領域が付与された学習データを用いて領域分割モデルを学習し、対象画像を学習済みの領域分割モデルに入力することで、対象画像に含まれる摘出領域、温存領域及び剥離可能領域を認識する。このように構成することで、対象画像に含まれる摘出領域及び温存領域以外の領域において、剥離可能領域の認識結果に基づいて剥離推奨領域を特定することができる。したがって、本実施形態における画像処理装置１０によれば、適切な剥離推奨領域が示された術野画像を出力することができる。
　［変形例１］
　上記の実施形態では、鏡視下直腸がん手術を例として手術支援システムの構成を説明した。上記の実施形態における手術支援システムを適用可能な手術は、鏡視下直腸がん手術に限定されず、様々な鏡視下手術に適用することができる。
　他の臓器に対する鏡視下手術に適用する場合、対象の臓器の種類に応じて摘出すべき組織と温存すべき組織を適切に選択した正解ラベルを学習画像に付与し、領域分割モデルを学習すればよい。摘出すべき組織と温存すべき組織は、基礎解剖学的見地及び臨床外科解剖学的見地に基づいた分類規則に従って決定することができる。したがって、変形例１における手術支援システムによれば、基礎解剖学に加え臨床外科解剖学的見地に基づいて、適切に剥離推奨領域が特定された術野画像を出力することができる。
　［変形例２］
　上記の実施形態では、剥離箇所に関わらず共通の領域分割モデルを用いて摘出領域及び温存領域を認識する構成を説明した。例えば、上記の実施形態では、鏡視下直腸がん手術における直腸前壁、直腸側壁及び直腸後壁を撮像した学習画像に正解ラベルが付与された学習データを用いて、１つの領域分割モデルを学習するように構成した。
　学習処理において、剥離箇所ごとに学習データを生成し、各学習データを用いて剥離箇所ごとの領域分割モデルを学習してもよい。この場合、認識処理においては、剥離箇所に応じて、術者の操作により、又は術野画像の認識結果に基づいて、使用する領域分割モデルを切り替えればよい。
　例えば、直腸前壁を撮像した学習画像のみからなる第１の学習データ、直腸側壁を撮像した学習画像のみからなる第２の学習データ、及び直腸後壁を撮像した学習画像のみからなる第３の学習データを用意する。各学習画像に付与する正解ラベルは、剥離箇所に応じて適切に選択した摘出領域の正解値及び温存領域の正解値とする。第１の学習データを用いて直腸前壁に対応する第１の領域分割モデルを学習し、第２の学習データを用いて直腸側壁に対応する第２の領域分割モデルを学習し、第３の学習データを用いて直腸後壁に対応する第３の領域分割モデルを学習する。
　鏡視下直腸がん手術においては、手術の進行に応じて使用する領域分割モデルを選択し、選択された領域分割モデルに対象画像を入力することで、対象画像に含まれる摘出領域及び温存領域を認識すればよい。もしくは、術野画像を剥離箇所ごとに分類するように学習された学習済みの分類モデルに対象画像を入力することで、対象画像の剥離箇所を認識し、その認識結果に基づいて、使用する領域分割モデルを選択してもよい。
　このように構成することで、剥離箇所に特化した領域分割モデルを学習することができる。したがって、本変形例における画像処理装置１０によれば、より適切な剥離推奨領域が示された術野画像を出力することができる。
　ここでは、剥離箇所ごとに複数の領域分割モデルを生成する例を説明したが、異なる観点から複数の領域分割モデルを生成してもよい。例えば、術式に応じて異なる領域分割モデルを生成してもよい。また、例えば、内視鏡の機種又は内視鏡が備える撮像装置の仕様ごとに異なる領域分割モデルを生成してもよい。
　［変形例３］
　上記実施形態における画像処理装置１０は、学習処理を実行するモデル学習装置と、認識処理を実行する画像処理装置とからなる画像処理システムとして実装してもよい。この場合、モデル学習装置は、複数の学習画像を用いて領域分割モデルを学習し、画像処理装置は、学習済みの領域分割モデルを用いて対象画像から剥離推奨領域を認識する。
　本変形例における画像処理システムは、以下のように構成すればよい。モデル学習装置は、画像取得部１０１、ラベル付与部１０２及びモデル学習部１０３を備える。画像処理装置は、モデル記憶部１００、画像取得部１０１、領域認識部１０４及び画像出力部１０５を備える。
　モデル学習装置の画像取得部１０１は、入力装置５０５に入力された複数の学習画像の画像データを受け付ける。画像処理装置の画像取得部１０１は、撮像制御装置３から対象画像の画像データを受信する。モデル学習装置のモデル学習部１０３が出力する領域分割モデルは、画像処理装置のモデル記憶部１００に記憶される。
　［変形例４］
　上記の各実施形態では、画像処理装置１０が、深層学習に基づく機械学習モデルを用いて術野画像から各領域を認識する構成を説明したが、術野画像から各領域を認識する手法は深層学習に基づく機械学習モデルに限定されない。例えば、画像処理装置１０は、テンプレートマッチング又はサポートベクターマシン（SVM; Support Vector Machine）等の手法により、術野画像から各領域を認識してもよい。
　［補足］
　上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）のようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Application Specific Integrated Circuit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）や従来の回路モジュール等の機器を含むものとする。
　以上、本発明の実施の形態について詳述したが、本発明はこれらの実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。

Claims (11)

  1. 　鏡視下手術の術野を撮像した術野画像を取得するように構成されている画像取得部と、
    　前記画像取得部により取得された前記術野画像を、前記術野を撮影した学習画像に摘出すべき組織の範囲を表す摘出領域及び温存すべき組織の範囲を表す温存領域が付与された学習データを用いて学習された学習済みモデルに入力することで、当該術野画像に含まれる前記摘出領域及び前記温存領域を認識するように構成されている領域認識部と、
    　前記領域認識部による認識結果に基づいて、剥離すべき組織の範囲を表す剥離推奨領域を示した前記術野画像を出力するように構成されている画像出力部と、
    　を備える画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記学習データは、前記学習画像に剥離可能な組織の範囲を表す剥離可能領域がさらに付与されており、
    　前記領域認識部は、前記術野画像に含まれる前記剥離可能領域を認識するように構成されている、
    　画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記剥離推奨領域は、前記摘出領域と前記温存領域との境界線を含む、
    　画像処理装置。
  4. 　請求項１に記載の画像処理装置であって、
    　前記学習済みモデルは、温存すべき組織の近傍に存在する疎性結合組織が前記温存領域に含まれるように学習されている、
    　画像処理装置。
  5. 　請求項１に記載の画像処理装置であって、
    　前記学習済みモデルは、摘出すべき組織の近傍に存在する疎性結合組織が前記摘出領域に含まれるように学習されている、
    　画像処理装置。
  6. 　請求項１に記載の画像処理装置であって、
    　前記画像出力部は、前記領域認識部により認識された前記摘出領域及び前記温存領域をさらに示した前記術野画像を出力するように構成されている、
    　画像処理装置。
  7. 　請求項１から６のいずれかに記載の画像処理装置であって、
    　前記術野画像は、鏡視下直腸がん手術において内視鏡により直腸前壁を撮影した画像であり、
    　前記摘出領域は、直腸を含み、
    　前記温存領域は、デノビエ筋膜を含み、
    　前記剥離推奨領域は、直腸壁とデノビエ筋膜との間の疎性結合組織又は直腸壁とデノビエ筋膜との境界線を含む、
    　画像処理装置。
  8. 　請求項１から６のいずれかに記載の画像処理装置であって、
    　前記術野画像は、鏡視下直腸がん手術において内視鏡により直腸側壁又は直腸後壁を撮影した画像であり、
    　前記摘出領域は、直腸及び直腸間膜を含み、
    　前記温存領域は、尿管下腹神経前筋膜を含み、
    　前記剥離推奨領域は、直腸固有筋膜と尿管下腹神経前筋膜との間の疎性結合組織又は直腸固有筋膜と尿管下腹神経前筋膜との境界線を含む、
    　画像処理装置。
  9. 　鏡視下手術に用いられる内視鏡、前記鏡視下手術が行われる手術室に設置された表示装置、及び画像処理装置を含む手術支援システムであって、
    　前記画像処理装置は、
    　前記鏡視下手術の術野を撮像した術野画像を前記内視鏡から取得するように構成されている画像取得部と、
    　前記画像取得部により取得された前記術野画像を、前記術野を撮影した学習画像に摘出すべき組織の範囲を表す摘出領域及び温存すべき組織の範囲を表す温存領域が付与された学習データを用いて学習された学習済みモデルに入力することで、当該術野画像に含まれる前記摘出領域及び前記温存領域を認識するように構成されている領域認識部と、
    　前記領域認識部による認識結果に基づいて、剥離すべき組織の範囲を表す剥離推奨領域を示した前記術野画像を前記表示装置に出力するように構成されている画像出力部と、
    　を備える手術支援システム。
  10. 　コンピュータが、
    　鏡視下手術の術野を撮像した術野画像を取得する画像取得手順と、
    　前記画像取得手順により取得された前記術野画像を、前記術野を撮影した学習画像に摘出すべき組織の範囲を表す摘出領域及び温存すべき組織の範囲を表す温存領域が付与された学習データを用いて学習された学習済みモデルに入力することで、当該術野画像に含まれる前記摘出領域及び前記温存領域を認識する領域認識手順と、
    　前記領域認識手順による認識結果に基づいて、剥離すべき組織の範囲を表す剥離推奨領域を示した前記術野画像を出力する画像出力手順と、
    　を実行する画像処理方法。
  11. 　コンピュータに、
    　鏡視下手術の術野を撮像した術野画像を取得する画像取得手順と、
    　前記画像取得手順により取得された前記術野画像を、前記術野を撮影した学習画像に摘出すべき組織の範囲を表す摘出領域及び温存すべき組織の範囲を表す温存領域が付与された学習データを用いて学習された学習済みモデルに入力することで、当該術野画像に含まれる前記摘出領域及び前記温存領域を認識する領域認識手順と、
    　前記領域認識手順による認識結果に基づいて、剥離すべき組織の範囲を表す剥離推奨領域を示した前記術野画像を出力する画像出力手順と、
    　を実行させるためのプログラム。
PCT/JP2022/045305 2022-12-08 2022-12-08 画像処理装置、手術支援システム、画像処理方法及びプログラム Ceased WO2024122027A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/045305 WO2024122027A1 (ja) 2022-12-08 2022-12-08 画像処理装置、手術支援システム、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/045305 WO2024122027A1 (ja) 2022-12-08 2022-12-08 画像処理装置、手術支援システム、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2024122027A1 true WO2024122027A1 (ja) 2024-06-13

Family

ID=91379065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/045305 Ceased WO2024122027A1 (ja) 2022-12-08 2022-12-08 画像処理装置、手術支援システム、画像処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2024122027A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
WO2021153797A1 (ja) * 2020-01-30 2021-08-05 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、画像処理装置、及び手術支援システム
WO2022025151A1 (ja) * 2020-07-30 2022-02-03 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
WO2022176874A1 (ja) * 2021-02-22 2022-08-25 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム
WO2022250031A1 (ja) * 2021-05-24 2022-12-01 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019116592A1 (ja) * 2017-12-14 2019-06-20 オリンパス株式会社 内視鏡の表示画像の調整装置及び手術システム
WO2021153797A1 (ja) * 2020-01-30 2021-08-05 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、画像処理装置、及び手術支援システム
WO2022025151A1 (ja) * 2020-07-30 2022-02-03 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
WO2022176874A1 (ja) * 2021-02-22 2022-08-25 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及びプログラム
WO2022250031A1 (ja) * 2021-05-24 2022-12-01 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
Padoy et al. On-line Recognition of Surgical Activity for Monitoring in the Operating Room.
JP7127785B2 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
JP7194889B2 (ja) コンピュータプログラム、学習モデルの生成方法、手術支援装置、及び情報処理方法
JP7153974B2 (ja) コンピュータプログラム、学習モデルの生成方法、及び画像処理装置
JP2020532347A (ja) 外科用認識システム
US20240362777A1 (en) Surgery assisting system, surgery assisting method, and surgery assisting program
CN114945937A (zh) 用于内窥镜流程的引导式解剖操纵
CN116723787A (zh) 计算机程序、学习模型的生成方法、以及辅助装置
JP2022548237A (ja) Ｖａｔｓ及び低侵襲手術での術中仮想アノテーションのためのインタラクティブ内視鏡検査
JP7497930B2 (ja) 臨床記録データ生成方法及び装置
WO2022221342A1 (en) Systems and methods for ai-assisted medical image annotation
WO2021166208A1 (ja) 画像処理システム、内視鏡システム及び画像処理方法
US11900615B2 (en) Tracking device, endoscope system, and tracking method
WO2022185369A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
WO2024122027A1 (ja) 画像処理装置、手術支援システム、画像処理方法及びプログラム
US20210290306A1 (en) Medical information management server, surgery training device, surgery training system, image transmission method, display method, and computer readable recording medium
WO2025013186A1 (ja) 画像処理装置、手術支援システム、画像処理方法及びプログラム
EP4295762A1 (en) Medical image processing device, medical image processing method, and program
KR102806593B1 (ko) 인공지능에 기반하여 수술 이미지를 처리하는 방법 및 그 장치
CN113317874A (zh) 一种医学图像处理装置及介质
US20250064533A1 (en) Processing system, endoscope system, and processing method
US20240366324A1 (en) Medical assistance device, endoscope apparatus, medical assistance method, and program
JP7750418B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、プログラム
US20250022127A1 (en) Medical support device, endoscope apparatus, medical support method, and program
EP4585178A1 (en) Surgery assistance program, surgery assistance device, and surgery assistance method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22967874

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22967874

Country of ref document: EP

Kind code of ref document: A1