[go: up one dir, main page]

WO2016185912A1 - 画像処理装置および画像処理方法、並びに手術システム - Google Patents

画像処理装置および画像処理方法、並びに手術システム Download PDF

Info

Publication number
WO2016185912A1
WO2016185912A1 PCT/JP2016/063620 JP2016063620W WO2016185912A1 WO 2016185912 A1 WO2016185912 A1 WO 2016185912A1 JP 2016063620 W JP2016063620 W JP 2016063620W WO 2016185912 A1 WO2016185912 A1 WO 2016185912A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
intraoperative
unit
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/063620
Other languages
English (en)
French (fr)
Inventor
浩司 鹿島
恒生 林
白木　寿一
鶴　大輔
丈士 上森
健太郎 深沢
雄生 杉江
山口　健太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP16796306.5A priority Critical patent/EP3298949B1/en
Priority to US15/566,790 priority patent/US10413369B2/en
Publication of WO2016185912A1 publication Critical patent/WO2016185912A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B18/1442—Probes having pivoting end effectors, e.g. forceps
    • A61B18/1445—Probes having pivoting end effectors, e.g. forceps at the distal end of a shaft, e.g. forceps or scissors at the end of a rigid rod
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00973—Surgical instruments, devices or methods pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00571—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body for achieving a particular surgical effect
    • A61B2018/00601—Cutting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B2018/1405—Electrodes having a specific shape
    • A61B2018/1412—Blade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a surgical system, and in particular, an image processing device, an image processing method, and a surgery that enable surgical resection in a shorter time and more accurately. About the system.
  • marking the excision line there is a method of attaching a marker on the tissue along the excision line. Because it is undesirable for the marker to disappear, dislodge, or bleed, marking can be done by lightly baking with an energy treatment tool to denature the tissue or by staining the tissue locally with a dye. Done.
  • the markers are generally attached in a dotted line shape with an interval instead of a continuous line shape. Therefore, when the operator performs resection, it is necessary to imagine a resection line connecting dotted markers based on experience and judgment, and perform resection along the resection line. Therefore, the judgment power of the surgeon is required, and the burden on the surgeon is large. Moreover, when there is little operator's experience etc., many markers are required, the influence on a structure
  • a method of marking the resection line there is a method of discoloring the tissue by compressing or ligating an inflow blood vessel flowing into the tissue including the lesioned portion to inhibit the blood flow.
  • the surgeon memorizes the discolored area and, when excising, imagines an excision line along the discolored area and excises it. Therefore, the operator's memory is required, and the burden on the operator is great.
  • a fluorescence diagnostic apparatus that detects a contour of a lesioned part and a contour of a tissue excised outside the body so as to include the lesioned part from a fluorescent image, and displays a distance between the contours on a monitor (for example, Patent Documents). 1).
  • the present disclosure has been made in view of such a situation, and makes it possible to perform surgical resection in a shorter time and more accurately.
  • An image processing apparatus is directed to an operator who superimposes on an intraoperative image based on an identification unit that identifies a type of tissue degeneration in an intraoperative image and the identified type of tissue degeneration.
  • the image processing apparatus includes a drawing unit that draws the auxiliary information.
  • the image processing method according to the first aspect of the present disclosure corresponds to the image processing apparatus according to the first aspect of the present disclosure.
  • the type of tissue degeneration in the intraoperative image is identified, and auxiliary information for the operator to be superimposed on the intraoperative image is drawn based on the identified type of tissue degeneration.
  • the image processing apparatus can be realized by causing a computer to execute a program.
  • a program to be executed by a computer can be provided by being transmitted through a transmission medium or by being recorded on a recording medium.
  • a surgical system includes a treatment device that degenerates a surgical target, an imaging device that captures an intraoperative image of the surgical target, and an image processing device that performs image processing on the intraoperative image.
  • the image processing apparatus draws auxiliary information for the operator to be superimposed on the intraoperative image based on the identified type of the tissue degeneration and an identification unit for identifying the type of tissue degeneration in the intraoperative image And a drawing system.
  • the surgical target is denatured, an intraoperative image of the surgical target is captured, and image processing is performed on the intraoperative image.
  • image processing the type of tissue degeneration in the intraoperative image is identified, and auxiliary information for the operator to be superimposed on the intraoperative image is drawn based on the identified type of tissue degeneration.
  • FIG. 1 is a diagram illustrating a configuration example of a first embodiment of an endoscopic surgery system to which the present disclosure is applied.
  • the endoscopic surgery system 10 includes a cart 18 on which a display device 11, a CCU (camera control unit) 12, a light source device 13, a treatment tool device 14, a pneumoperitoneum device 15, a recorder 16, and a printer 17 are mounted.
  • the endoscopic surgery system 10 includes an endoscope (laparoscope) 19, an energy treatment tool 20, forceps 21, trocars 22 to 25, a foot switch 26, and a patient bed 27.
  • the endoscopic surgery system 10 is arranged in, for example, an operating room and supports an operator who performs a laparoscopic operation on an affected part included in an abdomen 31 of a patient lying on a patient bed 27.
  • the display device 11 of the endoscopic surgery system 10 is configured by a stationary 2D display, a head mounted display, or the like.
  • the display device 11 displays an intraoperative image or the like supplied from the CCU 12.
  • the CCU 12 (image processing device) is connected to the endoscope 19 via a camera cable.
  • the CCU 12 may be connected to the endoscope 19 wirelessly.
  • the CCU 12 receives an intraoperative image captured by the endoscope 19 and transmitted via the camera cable, and supplies it to the display device 11.
  • the CCU 12 supplies the received intraoperative image to the recorder 16 and the printer 17 as necessary.
  • the CCU 12 uses the intraoperative image based on the operation signal supplied from the foot switch 26, and as a degeneration area that is a tissue degeneration area in the intraoperative image, and a tissue degeneration type corresponding to the degeneration area.
  • the denaturation method is detected.
  • the CCU 12 draws an ablation line based on the degeneration region by a method corresponding to the degeneration method, and superimposes the ablation line on the intraoperative image.
  • the CCU 112 supplies an intraoperative image on which the excision line is superimposed to the display device 11 for display.
  • the light source device 13 is connected to the endoscope 19 through a light guide cable.
  • the light source device 13 switches light of various wavelengths and emits it to the endoscope 19.
  • the treatment instrument device 14 is a high-frequency output device, and is connected to the energy treatment instrument 20 and the foot switch 26 via a cable.
  • the treatment instrument device 14 outputs a high-frequency current to the energy treatment instrument 20 in accordance with an operation signal supplied from the foot switch 26.
  • the insufflation apparatus 15 includes an air supply unit and an intake unit, and supplies air into the abdomen 31 through a hole of the trocar 24 that is an opening device attached to the abdominal wall of the abdomen 31.
  • the recorder 16 records an intraoperative image supplied from the CCU 12.
  • the printer 17 prints the intraoperative image supplied from the CCU.
  • the endoscope 19 (imaging device) includes an imaging unit and an optical system such as an illumination lens.
  • the endoscope 19 is inserted into the abdomen 31 as an operation target through a hole of a trocar 22 attached to the abdominal wall of the abdomen 31.
  • the optical system of the endoscope 19 irradiates the light emitted from the light source device 13 into the abdomen 31, and the imaging unit captures an image inside the abdomen 31 as an intraoperative image.
  • the endoscope 19 supplies an intraoperative image to the CCU 12 via a camera cable.
  • the energy treatment tool 20 (treatment device) is constituted by an electric knife or the like.
  • the energy treatment device 20 is inserted into the abdomen 31 through a hole in the trocar 23 attached to the abdominal wall of the abdomen 31.
  • the energy treatment device 20 denatures or cuts the inside of the abdomen 31 using electric heat.
  • the forceps 21 is inserted into the abdomen 31 through a hole in the trocar 25 attached to the abdominal wall of the abdomen 31.
  • the forceps 21 grips the inside of the abdomen 31.
  • the endoscope 19, the energy treatment tool 20, and the forceps 21 are grasped by an operator, an assistant, a scoopist, a robot, or the like.
  • the foot switch 26 accepts an operation by the foot of an operator or assistant.
  • the foot switch 26 supplies an operation signal representing the accepted operation to the CCU 12 and the treatment instrument device 14.
  • the surgeon first operates the foot switch 26 to input that the intraoperative image inside the abdomen 31 captured by the endoscope 19 is an intraoperative image before the mark of the resection line is added. Next, the operator marks the resection line by degenerating at least a part of the region including the affected part in the abdomen 31.
  • the abdomen 31 is lightly baked at intervals along the ablation line using the energy treatment device 20 (hereinafter referred to as a baking method), and the abdomen 31 is spaced along the ablation line using a pigment. And the like (hereinafter referred to as a staining method), a method of discoloring the affected part by squeezing or ligating the inflowing blood vessels flowing into the affected part of the abdomen 31 and inhibiting the blood flow (hereinafter referred to as the discoloration method), etc. .
  • the operator operates the foot switch 26 after marking the excision line, and the intraoperative image inside the abdomen 31 that is subsequently imaged by the endoscope 19 is intraoperative after the excision line is marked. Enter that it is an image.
  • the CCU 12 detects the degenerated region and the degeneration method using the intraoperative images before and after the occurrence of the degenerated region as a mark of the ablation line, and displays the intraoperative image on which the ablation line is superimposed on the display device 11.
  • the surgeon removes the affected part in the abdomen 31 by excising the abdomen 31 along the ablation line using the energy treatment tool 20 or the like while looking at the ablation line displayed on the display device 11.
  • the surgeon can remove the affected part in the abdomen 31 without performing a laparotomy in which the abdominal wall is cut and opened.
  • an intraoperative image in which an excision line is superimposed is displayed on the display device 11, even an operator with little experience or the like can easily excise the affected part in the abdomen 31.
  • FIG. 2 is a block diagram illustrating a configuration example of the CCU 12 of FIG.
  • FIG. 2 includes an input memory 71, a developing unit 72, a developing memory 73, a detecting unit 74, an identifying unit 75, an information memory 76, a tracking unit 77, a drawing unit 78, a drawing memory 79, and an output memory 80. .
  • an intraoperative image transmitted from the endoscope 19 is input.
  • the input memory 71 stores the input intraoperative image.
  • the input memory 71 reads out the stored intraoperative image and supplies it to the developing unit 72.
  • the developing unit 72 performs a development process on the intraoperative image supplied from the input memory 71 and supplies the intraoperative image after the development process to the development memory 73.
  • the development memory 73 stores an intraoperative image supplied from the development unit 72.
  • the development memory 73 reads the stored intraoperative image and supplies it to the tracking unit 77 and the output memory 80.
  • the detection unit 74 acquires an operation signal representing the operation of the foot switch 26 of the surgeon immediately before the start of degeneration supplied from the foot switch 26.
  • the detection unit 74 reads an intraoperative image from the development memory 73 in response to the operation signal, and uses it as an intraoperative image immediately before the occurrence of a degenerated region (hereinafter referred to as an image before degeneration).
  • the detection unit 74 acquires an operation signal representing the operation of the operator's foot switch 26 supplied from the foot switch 26 immediately after the end of the degeneration.
  • the detection unit 74 reads out the intraoperative image from the development memory 73 in response to this operation signal, and sets it as an intraoperative image immediately after the occurrence of the degenerated region (hereinafter referred to as post-degeneration image).
  • the detection unit 74 detects a denatured region in the post-denaturation image based on a change in color or luminance between the pre-denature image and the post-denature image.
  • the detection unit 74 first detects a motion vector between the pre-denature image and the post-denature image and performs motion compensation to cancel the movement of the endoscope 19 and the subject.
  • the detection unit 74 uses the affine transformation to rotate the pre-denature image or the post-denature image. Also, motion compensation is performed by scaling.
  • the detection unit 74 obtains a color and luminance difference between the pre-denatured image and the post-denatured image whose positional deviation has been corrected by motion compensation, and detects a region where the color and luminance difference is larger than the threshold value. Then, the detection unit 74 deletes a small area from the detected areas and sets the remaining area as a denatured area.
  • the detection unit 74 detects the denatured region based on the difference in color and brightness between the pre-denature image and the post-denature image, in order to improve the detection accuracy, a mark of the ablation line is provided. It is desirable not to move the endoscope 19 before and after. Note that the detection unit 74 determines the denatured region based not only on the difference in color and brightness between the pre-denature image and the post-denature image, but also on image information such as the luminance gradient and edges in the pre-denature image and the post-denature image. You may make it detect.
  • the detection unit 74 includes feature information such as the shape, brightness change amount, color change amount, edge pattern, and texture of each modified region, information about feature points around the modified region for specifying each modified region, and a modified image. Position information representing the upper position and the number of denatured regions are supplied to the identification unit 75.
  • the identification unit 75 identifies the modification method of the modified region based on the feature information of each modified region supplied from the detection unit 74 and the number of modified regions. Examples of the identification method include discrimination based on a threshold value, pattern matching, and machine learning.
  • the identification unit 75 modifies the degenerate area identification information, the degeneration method, the position information, and the shape including the edge pattern, texture, or feature point information around the degenerate area, and the number of degenerate areas. This is supplied to the information memory 76 as denatured area information regarding the area.
  • the information memory 76 stores the denatured region information supplied from the identification unit 75. Further, the information memory 76 updates the stored modified area information with the modified area information supplied from the tracking unit 77. The information memory 76 reads the stored denatured area information and supplies it to the tracking unit 77.
  • the tracking unit 77 supplies the rendering unit 78 with the modification method, position information, and shape of each modified region in the modified region information supplied from the information memory 76, and the number of modified regions.
  • the tracking unit 77 also supplies a degenerated area in the intraoperative image after the intraoperative image corresponding to the degenerated area information supplied from the development memory 73 based on degenerated area identification information and position information in the degenerated area information. Is detected. That is, the tracking unit 77 tracks the temporal change of the degenerated area in the intraoperative image after the degenerated area is generated based on the degenerated area identification information and the position information.
  • the tracking unit 77 supplies denatured area information of the detected denatured area to the information memory 76.
  • the drawing unit 78 draws a resection line or the like based on the degeneration method, position information, and shape of each degeneration region supplied from the tracking unit 77 and the number of degeneration regions, and the resection line is used as auxiliary information for the operator. Generate an image. Therefore, the ablation line image changes over time based on the change over time of the degenerated region tracked by the tracking unit 77.
  • the drawing unit 78 averages the ablation line determined based on the denaturation method, position information, and shape of each denatured region, and the number of denatured regions, and the ablation line at a time before the ablation line.
  • An ablation line may be drawn to generate an ablation line image. In this case, it is possible to prevent the ablation line from changing suddenly.
  • the drawing unit 78 supplies the cut line image to the drawing memory 79.
  • the drawing memory 79 stores the ablation line image supplied from the drawing unit 78.
  • the drawing memory 79 reads out the stored ablation line image and supplies it to the output memory 80.
  • the output memory 80 stores the intraoperative image supplied from the development memory 73. When the ablation line image corresponding to the stored intraoperative image is supplied, the output memory 80 overwrites the stored intraoperative image with the ablation line image. That is, the output memory 80 draws a resection line superimposed on the intraoperative image. The output memory 80 reads the stored intraoperative image on which the excision line is superimposed or the intraoperative image on which the excision line is not superimposed, and transmits it to the display device 11.
  • the CCU 12 tracks the time change of the degenerated region, an appropriate resection line can be superimposed on the intraoperative image even when the degenerated region in the intraoperative image changes over time. Therefore, for example, when the degenerated region is deleted from the intraoperative image due to excision or movement of the endoscope 19, it is possible to prevent the ablation line corresponding to the degenerated region from being displayed wastefully.
  • FIG. 3 is a diagram showing an example of a modified image when the modification method is a printing method.
  • the abdomen 31 is the stomach.
  • the post-degeneration image 100 includes a plurality (26 in the example of FIG. 3) degeneration regions so as to surround the affected part 101 on the inner wall of the abdomen 31. 102 exists in a dotted line shape.
  • the detection unit 74 includes a plurality (including in the example of FIG. 4) including at least a part of the denatured region 102 based on the pre-denaturation image and the post-denaturation image 100 in which the denatured region 102 does not exist. 23) circular regions 111 are detected as denatured regions.
  • the identification unit 75 for example, based on the fact that the region 111 of the feature information of the modified region 102 has a small circular shape and the number of the regions 111 is plural, Is identified as a baking method.
  • the drawing unit 78 is based on the fact that the modification method of the modified region information of the region 111 is a printing method, the positional information and shape of each modified region, and the number of modified regions. For example, the ablation line 121 passing through the center of gravity of all the regions 111 in the post-denaturation image 100 is drawn. As a result, in the output memory 80, the denatured image 100 on which the excision line 121 is superimposed is generated.
  • the cutting line 121 may be a straight line or a curved line, and may or may not be the shortest path that passes through all the regions 111. Also, the drawing unit 78 extracts the discolored portions of the affected part 101 and the tissue of the abdomen 31 from the post-degeneration image 100 and draws the resection line 121 so that they are included in the region surrounded by the resection line 121. Good.
  • the drawing unit 78 may attach a scale 131 to the excision line 121. In this case, the surgeon can easily grasp the distance between the regions 111.
  • the drawing unit 78 is a plurality of radial lines centering on the center of gravity of each region 111 in addition to the resection line 121 and representing a horizontal angle (example in FIG. 7). Then, the line 132 of 4) may be drawn. In this case, the operator can easily grasp the angle of the resection line 121 between the regions 111. In the example of FIG. 7, for convenience of explanation, the line 132 is drawn only for one region 111.
  • the drawing unit 78 may draw an ablation line 133 having a different route determination method from the ablation line 121 in addition to the ablation line 121.
  • the operator operates the foot switch 26 to select one of the resection line 121 and the resection line 133 displayed on the display device 11, so that the selected resection line 121 or the resection line 133 is selected. Select the corresponding route determination method. After the route selection method is selected by the surgeon, the drawing unit 78 draws only one cut line according to the selected route determination method.
  • FIG. 9 is a diagram illustrating an example of the ablation line when the denaturing method is a color changing method.
  • the abdomen 31 is the liver.
  • the detection unit 74 detects, for example, the front area of the abdomen 31 including the affected part 151 in the post-degeneration image 150 as the degeneration region 152.
  • the identification unit 75 uses the modification method of the modified region based on the fact that the shape of the modified region 152 in the feature information of the modified region 152 is large and the number of the modified regions 152 is one. Identify the color change method.
  • the rendering unit 78 uses the color-changing method as the modification method of the modified region information of the modified region 152, and the modified image based on the positional information and the shape of each modified region.
  • An ablation line 153 representing the contour of the denatured region 152 in 150 is drawn.
  • a denatured image 150 on which the excision line 153 is superimposed is generated.
  • the drawing unit 78 may place a scale on the excision line 153 as in the case of FIG. In addition to the ablation line 153, the drawing unit 78 may draw a radial line centered on a predetermined position of the ablation line 153, as in the case of FIG.
  • FIG. 10 is a flowchart for explaining image processing of the CCU 12 of FIG.
  • the input memory 71 stores the intraoperative image received from the endoscope 19.
  • the input memory 71 reads out the stored intraoperative image and supplies it to the developing unit 72.
  • step S12 the developing unit 72 performs a developing process on the intraoperative image supplied from the input memory 71, and supplies the postoperative image after the developing process to the developing memory 73.
  • step S13 the development memory 73 stores the intraoperative image after the development process supplied from the development unit 72.
  • the development memory 73 reads the stored intraoperative image and supplies it to the tracking unit 77 and the output memory 80.
  • the output memory 80 stores the intraoperative image supplied from the development memory 73.
  • step S14 the detection unit 74 determines whether or not the foot switch 26 has been operated by an operator or the like, that is, whether or not an operation signal has been acquired from the foot switch 26. If it is determined in step S14 that the foot switch 26 has not been operated yet, the process proceeds to step S15.
  • step S15 the output memory 80 outputs the stored intraoperative image to the display device 11. Thereby, an intraoperative image is displayed on the display device 11.
  • step S15 the process returns to step S11, and the processes of steps S11 to S15 are repeated until the foot switch 26 is operated.
  • step S14 if it is determined in step S14 that the foot switch 26 has been operated, the process proceeds to step S16.
  • the detection unit 74 reads out the intraoperative image after the development processing stored in the development memory 73 as the pre-degeneration image.
  • step S17 the output memory 80 outputs the stored intraoperative image to the display device 11. Thereby, an intraoperative image is displayed on the display device 11.
  • steps S18 to S20 Since the processing of steps S18 to S20 is the same as the processing of steps S11 to S13, description thereof is omitted.
  • step S21 the detection unit 74 determines whether or not the foot switch 26 has been operated again by an operator or the like. If it is determined in step S21 that the foot switch 26 has not been operated again, the process proceeds to step S22.
  • step S22 the output memory 80 outputs the stored intraoperative image to the display device 11. Thereby, an intraoperative image is displayed on the display device 11.
  • step S22 the process returns to step S18, and the processes of steps S18 to S22 are repeated until the foot switch 26 is operated again.
  • step S21 if it is determined in step S21 that the foot switch 26 has been operated again, the process proceeds to step S23.
  • step S23 the detection unit 74 reads out the intraoperative image stored in the development memory 73 as a post-degeneration image.
  • the detection unit 74 detects a denatured region in the post-denaturation image based on a change in color or luminance between the pre-denature image and the post-denature image.
  • the detecting unit 74 identifies feature information such as the shape, luminance change amount, color change amount, edge pattern, and texture of each denatured area, information about the feature points around each denatured area, position information, and the number of denatured areas. To the unit 75.
  • the identification unit 75 identifies the modification method of the modified region based on the feature information of each modified region supplied from the detection unit 74 and the number of modified regions.
  • the identification unit 75 supplies the denatured area identification information, the denature method, the position information, and the shape of each denatured area, and the number of denatured areas to the information memory 76 as denatured area information.
  • step S26 the information memory 76 stores the denatured region information supplied from the identification unit 75.
  • the information memory 76 reads the stored denatured area information and supplies it to the tracking unit 77.
  • the tracking unit 77 supplies the rendering unit 78 with the modification method, position information, and shape of each modified region in the modified region information supplied from the information memory 76 and the number of modified regions.
  • step S ⁇ b> 27 the drawing unit 78 draws the ablation line based on the degeneration method, position information, and shape of each denatured region supplied from the tracking unit 77 and the number of denatured regions, and generates an ablation line image. .
  • the drawing unit 78 supplies the cut line image to the drawing memory 79.
  • step S28 the drawing memory 79 stores the cut line image supplied from the drawing unit 78.
  • the drawing memory 79 reads out the stored ablation line image and supplies it to the output memory 80.
  • step S29 the output memory 80 superimposes the ablation line on the intraoperative image by overwriting the ablation line image supplied from the drawing memory 79 to the intraoperative image stored in step S20 or step S34.
  • step S30 the output memory 80 outputs the intraoperative image on which the stored excision line is superimposed to the display device 11. Thereby, the intraoperative image on which the excision line is superimposed is displayed on the display device 11.
  • step S31 the CCU 12 determines whether or not to end the image processing, for example, whether or not the transmission of the intraoperative image from the endoscope 19 has ended. If it is determined in step S31 that the image processing is not finished, the process proceeds to step S32. Since the processing of steps S32 to S34 is the same as the processing of steps S11 to S13, description thereof is omitted.
  • step S35 the tracking unit 77 performs the intraoperative procedure supplied from the development memory 73 in step S34 based on the modified region identification information and the position information in the modified region information supplied from the information memory 76 in step S26 or step S36. Detect denatured areas in the image. The tracking unit 77 supplies denatured area information of the detected denatured area to the information memory 76.
  • step S36 the information memory 76 updates the stored denatured area information to the denatured area information supplied from the tracking unit 77 in step S35.
  • the information memory 76 reads the denatured area information after update and supplies it to the tracking unit 77. Then, the process returns to step S27.
  • step S31 determines whether the image processing is to be ended.
  • the CCU 12 supports the surgeon's judgment and memory by drawing an ablation line superimposed on the intraoperative image based on the degenerated region in the intraoperative image. Therefore, the burden on the operator is reduced, and the surgical resection can be performed more accurately in a shorter time.
  • FIG. 11 is a block diagram illustrating a configuration example of the CCU according to the second embodiment of the endoscopic surgery system to which the present disclosure is applied.
  • the configuration of the CCU 160 in FIG. 11 is that a parallax memory 170 is newly provided, and that a detection unit 171, a tracking unit 172, and a drawing unit 173 are provided instead of the detection unit 74, the tracking unit 77, and the drawing unit 78. However, it is different from the configuration of FIG.
  • the parallax image received from the endoscope 19 is input and stored in the parallax memory 170 of the CCU 160.
  • the parallax image is an image that represents, as a pixel value, a depth value that represents a distance in the depth direction between the endoscope 19 and a subject in each pixel of the intraoperative image captured by the endoscope 19.
  • the detection unit 171 acquires an operation signal representing the operation of the foot switch 26 of the surgeon immediately before the start of degeneration supplied from the foot switch 26.
  • the detection unit 171 reads the intraoperative image from the development memory 73 as a pre-degeneration image in response to the operation signal.
  • the detection unit 171 obtains an operation signal representing the operation of the operator's foot switch 26 supplied from the foot switch 26 immediately after the end of the degeneration.
  • the detection unit 171 reads out the intraoperative image from the development memory 73 as a post-degeneration image in response to the operation signal.
  • the detection unit 171 reads a parallax image corresponding to the modified image from the parallax memory 170.
  • the detection unit 171 detects a denatured region in the post-denaturation image based on a change in color or luminance between the pre-denature image and the post-denature image.
  • the detection unit 171 corrects the detected modified region based on the parallax image corresponding to the modified image.
  • the detection unit 171 deletes an area in which the depth value is significantly different from the surrounding area in the detected denatured area, or is an area that exists around the detected denatured area and has the same depth value as the denatured area. In the denatured region. As described above, the detection unit 171 corrects the detected denatured region based on the parallax image corresponding to the post-denaturation image, so that the detection accuracy of the denatured region can be improved.
  • the detection unit 171 supplies the feature information of each modified region after correction, information on surrounding feature points, position information, and the number of modified regions to the identification unit 75.
  • the tracking unit 172 supplies the rendering unit 173 with the modification method, position information, and shape of each modified region in the modified region information supplied from the information memory 76, and the number of modified regions.
  • the tracking unit 172 also supplies a modified region in the intraoperative image after the intraoperative image corresponding to the modified region information supplied from the development memory 73 based on the modified region identification information and position information in the modified region information. Is detected.
  • the tracking unit 172 reads a parallax image corresponding to the intraoperative image including the detected degeneration area from the parallax memory 170. Similar to the detection unit 171, the tracking unit 172 corrects the detected denatured region based on the read parallax image. The tracking unit 172 supplies the modified area information of the modified area after correction to the information memory 76.
  • the drawing unit 173 reads a parallax image corresponding to the information supplied from the tracking unit 172 from the parallax memory 170.
  • the drawing unit 173 draws an ablation line and the like based on the degeneration method, position information, and shape of each denatured region supplied from the tracking unit 172, the number of denatured regions, and the parallax image, and generates an ablation line image. .
  • the drawing unit 173 draws a resection line that minimizes the resection area, or draws a smooth resection line with a small difference in depth value.
  • the drawing unit 173 supplies the cut line image to the drawing memory 79.
  • the output memory 80 supplies only the intraoperative image on which the excision line is superimposed to the display device 11.
  • the display device 11 is configured by a 3D display
  • the parallax image corresponding to the intraoperative image is provided. Is also supplied to the display device 11.
  • the display device 11 converts the intraoperative image on which the excision line is superimposed based on the parallax image in the horizontal direction, thereby converting the 1D 2D intraoperative image into a multiview 3D intraoperative image, and displays the image. To do.
  • FIG. 12 is a diagram illustrating an example of a cutting line when the denaturing method is a baking method.
  • the drawing unit 173 draws the ablation line 121 passing through the center of gravity of all the regions 111 in the post-denaturation image 100, similarly to the drawing unit 78. Further, the drawing unit 173 displays a normal vector 181 indicating the angle of the surface of the region 111 based on the parallax image corresponding to the post-denaturation image 100.
  • the drawing unit 173 may calculate and draw the total length of the ablation line 121 or the area of the region surrounded by the ablation line 121 based on the parallax image corresponding to the post-degeneration image 100. Further, the color and thickness of the cut line 121 may be changed according to the depth value of the pixel on which the cut line 121 is drawn.
  • FIG. 13 is a flowchart for explaining image processing of the CCU 160 of FIG.
  • the input memory 71 stores the intraoperative image received from the endoscope 19.
  • the input memory 71 reads out the stored intraoperative image and supplies it to the developing unit 72.
  • step S52 the parallax memory 170 stores the parallax image received from the endoscope 19 together with the intraoperative image.
  • steps S53 to S65 Since the processing of steps S53 to S65 is the same as the processing of steps S12 to S24 in FIG.
  • step S66 the detection unit 171 reads out the parallax image corresponding to the post-deformation image from the parallax memory 170, and corrects the denatured region detected in step S65 based on the parallax image.
  • the detection unit 171 supplies the feature information of each modified region after correction, information on surrounding feature points, position information, and the number of modified regions to the identification unit 75.
  • steps S67 and S68 is the same as the processing in steps S25 and S26 in FIG.
  • step S ⁇ b> 69 the rendering unit 173 modifies the modification method, position information, and shape of each modified region supplied from the tracking unit 172, the number of modified regions, and the disparity read from the disparity memory 170 corresponding thereto. Based on the image, an ablation line is drawn to generate an ablation line image.
  • the drawing unit 173 supplies the cut line image to the drawing memory 79.
  • steps S70 through S77 is the same as the processing in steps S28 through S35 in FIG.
  • step S78 the tracking unit 172 reads out the parallax image corresponding to the denatured area detected in step S77 from the parallax memory 170, and corrects the denatured area based on the parallax image.
  • the tracking unit 172 supplies the modified area information of the modified area after correction to the information memory 76.
  • step S79 the information memory 76 updates the stored denatured area information to the denatured area information supplied from the tracking unit 172 in step S78.
  • the information memory 76 reads the updated denatured area information and supplies it to the tracking unit 172. Then, the process returns to step S69.
  • the ablation line is drawn based on the information about the intraoperative image and the parallax image.
  • the ablation line may be drawn based on the information other than the intraoperative image and the parallax image. .
  • an ablation line consists of intraoperative images and information obtained from medical images taken before or during surgery by medical devices such as computed tomography (CT) devices, magnetic resonance (MRI) devices, and ultrasound diagnostic devices. Based on the above, the ablation line may be drawn.
  • an ablation line can be drawn so as to avoid blood vessels, tubes, nerves, and the like that run under the tissue surface of the abdomen 31, which are difficult to recognize from intraoperative images. Also, make the ablation line stand out by changing the color of the ablation line, which is close to blood vessels, ducts, and nerves, to be cautious when resecting, increasing the thickness, or blinking the ablation line. be able to.
  • the ablation line intersecting with the blood vessel can be drawn, and the amount of bleeding due to resection estimated from the thickness and pulsation of the blood vessel can be drawn.
  • the excision line can be drawn so that the total amount of bleeding due to excision estimated from the thickness and pulsation of the blood vessel is minimized.
  • FIG. 14 is a diagram for explaining a method of superimposing ablation lines by the output memory 80.
  • the output memory 80 superimposes the resection line on the intraoperative image by overwriting the resection line image on the intraoperative image. Therefore, as shown in FIG. 14A, even when the intraoperative image 190 includes images of surgical instruments such as the energy treatment instrument 20 and the forceps 21, the resection line 191 is included in the images of the energy treatment instrument 20 and the forceps 21. Will be overwritten. As a result, as shown in FIG. 14A, when the forceps 21 straddles the resection line 191, the resection line 191 becomes obstructive, which may impair the procedure.
  • the output memory 80 may not overwrite the image of the resection line on the image of the energy treatment tool 20 or the forceps 21 in the intraoperative image.
  • the resection line 191 is not drawn on the image of the forceps 21 included in the intraoperative image 190.
  • the CCU 12 or the CCU 160 performs image recognition of the energy treatment tool 20 or the forceps 21 on the intraoperative image output from the development memory 73, or displays color information of the energy treatment tool 20 or the forceps 21.
  • the energy treatment tool 20 and the forceps 21 in the intraoperative image are detected by performing the color identification used.
  • the CCU 160 may detect the energy treatment tool 20 and the forceps 21 in the intraoperative image based on the parallax image.
  • the CCU 12 and the CCU 160 based on the detection information indicating the position of the energy treatment tool 20 and forceps 21 in the intraoperative image detected when the excision line 191 is superimposed by the output memory 80, The superposition of the excision line 191 on the forceps 21 is prohibited. As described above, by displaying the images of the energy treatment tool 20 and the forceps 21 used in the procedure preferentially over the resection line, it is possible to make the operator easier to perform the procedure.
  • the series of processes of the CCUs 12 and 160 described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 15 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing of the CCUs 12 and 160 by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, operation buttons, a camera cable connection unit, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the CCUs 12 and 160 do not perform real-time image processing on intraoperative images and parallax images transmitted from the endoscope 19, but store intraoperative images and parallax images, and store stored intraoperative images and parallax images. You may make it perform image processing with respect to a parallax image. In this case, for example, laparoscopic surgery can be performed in a pseudo manner for educational purposes.
  • the output memory 80 may control whether or not the excision line is superimposed according to the operation of the foot switch 26 by the operator or the like. Further, the parallax image may be generated by the CCU 160 using intraoperative images of a plurality of viewpoints captured by the endoscope 19.
  • the light source device 13 may be a white light source or a special light source for fluorescence observation.
  • the denaturing method may be a method of changing the affected area to a fluorescent color by injection of a fluorescent sample, a method of attaching a tape at intervals along the excision line, or the like.
  • the auxiliary information may not be an ablation line image as long as the operator can recognize the ablation line.
  • the modification method is a method of changing the affected part to a fluorescent color by injecting a fluorescent sample, an image representing a modified region in the intraoperative image with a predetermined color can be adopted as auxiliary information.
  • the CCU 12 detects the position of the surgical instrument such as the forceps 21 from the intraoperative image or the like, and displays a warning on the screen of the display device 11 when the forceps 21 or the like is separated from the excision line. Or may be output by voice.
  • the present disclosure can be applied not only to a system for surgical purposes but also to a system for inspection and observation purposes.
  • this indication can also take the following structures.
  • An identification part for identifying the type of tissue degeneration in the intraoperative image An image processing apparatus comprising: a drawing unit that draws auxiliary information for an operator to be superimposed on the intraoperative image based on the identified type of tissue degeneration.
  • the drawing unit is configured to draw the plurality of lines passing through the tissue degeneration in the intraoperative image.
  • the drawing unit is configured to draw the line representing the outline of the tissue degeneration in the intraoperative image.
  • the identification unit is configured to identify the type of the tissue degeneration based on the feature information of the degeneration region of the tissue degeneration and the number of the degeneration regions, according to any one of (1) to (4) The image processing apparatus described. (6) The image processing apparatus according to (5), wherein the identification unit is configured to identify the tissue modification as a modification by a baking method when the number of the modified regions is plural. (7) The image processing apparatus according to (5), wherein the identification unit is configured to identify the tissue modification from modification by a color change method when the number of the modified regions is one. (8) The drawing unit is configured to draw auxiliary information for the surgeon based on a degeneration region of the tissue degeneration and a parallax image corresponding to the intraoperative image.
  • the image processing device An identification step for identifying the type of tissue degeneration in the intraoperative image; An image processing method comprising: a drawing step of drawing auxiliary information for an operator to be superimposed on the intraoperative image based on the identified type of tissue degeneration.
  • a treatment device for degenerating a surgical target An imaging device for imaging an intraoperative image of the surgical target; An image processing device that performs image processing on the intraoperative image,
  • the image processing apparatus includes: An identification unit for identifying the type of tissue degeneration in the intraoperative image;
  • a surgical operation system comprising: a drawing unit that draws auxiliary information for an operator to be superimposed on the intraoperative image based on the identified type of tissue degeneration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Geometry (AREA)
  • Surgical Instruments (AREA)

Abstract

本開示は、より短時間でより正確に外科手術による切除を行うことを可能にすることができるようにする画像処理装置および画像処理方法、並びに手術システムに関する。 識別部は、術中画像内の組織変性の種類を識別する。描画部は、識別された組織変性の種類に基づいて、術中画像に重畳する、術者への補助情報を描画する。本開示は、例えば、表示装置、ＣＣＵ（カメラコントロールユニット）、光源装置、処置具用装置、気腹装置、レコーダ、プリンタ、内視鏡、エネルギ処置具、鉗子、トロッカ、フットスイッチ、および患者ベッドを備える内視鏡手術システム等に適用することができる。

Description

画像処理装置および画像処理方法、並びに手術システム
　本開示は、画像処理装置および画像処理方法、並びに手術システムに関し、特に、より短時間でより正確に外科手術による切除を行うことを可能にするようにした画像処理装置および画像処理方法、並びに手術システムに関する。
　従来の外科手術において、術者は、メスやエネルギ処置具を用いて病変部を含む組織の一部分を切除する場合、切除ラインを事前に決定し、その切除ラインに沿って切除を行う。従って、術者は、切除の前に切除ラインの目印をつける。
　切除ラインの目印をつける方法としては、切除ラインに沿って組織上にマーカを付す方法がある。マーカが、消失したり、外れたり、にじんだりすることは望ましくないため、マーキングは、エネルギ処置具で軽く焼いて組織を変性させたり、色素を用いて局所的に組織を染色したりすることにより行われる。
　この方法では、マーキングによる組織への影響を最小限にするため、マーカは、一般的に、連続した線状ではなく、間隔をあけた点線状に付される。従って、術者は、切除する際、経験と判断により点線状のマーカを結ぶ切除ラインを想像し、その切除ラインに沿って切除を行う必要がある。よって、術者の判断力が求められ、術者の負担が大きい。また、術者の経験等が少ない場合、多くのマーカが必要とされ、組織への影響および手術時間が増加する。
　また、切除ラインの目印をつける方法としては、病変部を含む組織に流れ込んでいる流入血管を圧迫または結紮して血流を阻害することにより、その組織を変色させる方法もある。この方法では、術者は、変色領域を記憶しておき、切除する際、その変色領域に沿った切除ラインを想像して切除する。従って、術者の記憶力が求められ、術者の負担が大きい。
　一方、蛍光画像から、病変部の輪郭と、その病変部を含むように体外に切除された組織の輪郭を検出し、輪郭間の距離をモニタに表示する蛍光診断装置がある（例えば、特許文献１参照）。
特開平10-309281号公報
　上述したように、術者が外科手術による切除を行う場合、術者の負担が大きい。従って、術者の判断力や記憶力を支援することで術者の負担を軽減し、より短時間でより正確に外科手術による切除を行うことを可能にすることが求められている。
　本開示は、このような状況に鑑みてなされたものであり、より短時間でより正確に外科手術による切除を行うことを可能にするようにするものである。
　本開示の第１の側面の画像処理装置は、術中画像内の組織変性の種類を識別する識別部と、識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報を描画する描画部とを備える画像処理装置である。
　本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
　本開示の第１の側面においては、術中画像内の組織変性の種類が識別され、識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報が描画される。
　なお、第１の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
　また、第１の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
　本開示の第２の側面の手術システムは、手術対象を変性させる処置装置と、前記手術対象の術中画像を撮像する撮像装置と、前記術中画像に対して画像処理を行う画像処理装置とを備え、前記画像処理装置は、前記術中画像内の組織変性の種類を識別する識別部と、識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報を描画する描画部とを備える手術システムである。
　本開示の第２の側面においては、手術対象が変性され、前記手術対象の術中画像が撮像され、前記術中画像に対して画像処理が行われる。前記画像処理では、前記術中画像内の組織変性の種類が識別され、識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報が描画される。
　本開示の第１および第２の側面によれば、より短時間でより正確に外科手術による切除を行うことを可能にする。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。 図１のＣＣＵの構成例を示すブロック図である。 変性方法が焼き付け法である場合の変性後画像の例を示す図である。 変性方法が焼き付け法である場合に検出される変性領域の例を示す図である。 変性方法が焼き付け法である場合の切除ラインの第１の例を示す図である。 変性方法が焼き付け法である場合の切除ラインの第２の例を示す図である。 変性方法が焼き付け法である場合の切除ラインの第３の例を示す図である。 変性方法が焼き付け法である場合の切除ラインの第４の例を示す図である。 変性方法が変色法である場合の切除ラインの例を示す図である。 図２のＣＣＵの画像処理を説明するフローチャートである。 本開示を適用した内視鏡手術システムの第２実施の形態のＣＣＵの構成例を示すブロック図である。 変性方法が焼き付け法である場合の切除ラインの例を示す図である。 図１１のＣＣＵの画像処理を説明するフローチャートである。 出力メモリによる切除ラインの重畳方法を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：内視鏡手術システム（図１乃至図１０）
　２．第２実施の形態：内視鏡手術システム（図１１乃至図１３）
　３．重畳方法の説明（図１４）
　４．コンピュータの説明（図１５）
　＜第１実施の形態＞
　（内視鏡手術システムの第１実施の形態の構成例）
　図１は、本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。
　内視鏡手術システム１０は、表示装置１１、ＣＣＵ（カメラコントロールユニット）１２、光源装置１３、処置具用装置１４、気腹装置１５、レコーダ１６、およびプリンタ１７が搭載されたカート１８を備える。また、内視鏡手術システム１０は、内視鏡（腹腔鏡）１９、エネルギ処置具２０、鉗子２１、トロッカ２２乃至２５、フットスイッチ２６、および患者ベッド２７を有する。内視鏡手術システム１０は、例えば手術室に配置され、患者ベッド２７に横たわった患者の腹部３１に含まれる患部に対して腹腔鏡下手術を行う術者を支援する。
　具体的には、内視鏡手術システム１０の表示装置１１は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１１は、ＣＣＵ１２から供給される術中画像等を表示する。
　ＣＣＵ１２（画像処理装置）は、カメラケーブルを介して内視鏡１９と接続する。なお、ＣＣＵ１２は、内視鏡１９と無線で接続していてもよい。ＣＣＵ１２は、内視鏡１９により撮像され、カメラケーブルを介して送信されてくる術中画像を受信し、表示装置１１に供給する。ＣＣＵ１２は、必要に応じて、受信された術中画像をレコーダ１６やプリンタ１７に供給する。
　また、ＣＣＵ１２は、フットスイッチ２６から供給される操作信号に基づいて、術中画像を用いて、術中画像内の組織変性の領域である変性領域と、その変性領域に対応する組織変性の種類としての変性方法とを検出する。ＣＣＵ１２は、変性方法に応じた方法で、変性領域に基づいて切除ラインを描画し、その切除ラインを術中画像に重畳する。ＣＣＵ１１２は、切除ラインが重畳された術中画像を表示装置１１に供給して、表示させる。
　光源装置１３は、ライトガイドケーブルを介して内視鏡１９と接続する。光源装置１３は、各種の波長の光を切り換えて内視鏡１９に出射する。
　処置具用装置１４は、高周波出力装置であり、ケーブルを介してエネルギ処置具２０およびフットスイッチ２６と接続する。処置具用装置１４は、フットスイッチ２６から供給される操作信号に応じて、エネルギ処置具２０に高周波電流を出力する。
　気腹装置１５は、送気手段および吸気手段を備え、腹部３１の腹壁に取り付けられた開孔器具であるトロッカ２４の孔から、腹部３１の内部に空気を送気する。
　レコーダ１６は、ＣＣＵ１２から供給される術中画像を記録する。プリンタ１７は、ＣＣＵから供給される術中画像を印刷する。
　内視鏡１９(撮像装置)は、撮像部と照明レンズなどの光学系とにより構成される。内視鏡１９は、腹部３１の腹壁に取り付けられたトロッカ２２の孔から、手術対象としての腹部３１の内部に挿入される。内視鏡１９の光学系は、光源装置１３から出射された光を腹部３１の内部に照射し、撮像部は、腹部３１の内部の画像を術中画像として撮像する。内視鏡１９は、術中画像を、カメラケーブルを介してＣＣＵ１２に供給する。
　エネルギ処置具２０（処置装置）は、電気メスなどにより構成される。エネルギ処置具２０は、腹部３１の腹壁に取り付けられたトロッカ２３の孔から、腹部３１の内部に挿入される。エネルギ処置具２０は、腹部３１の内部を、電気熱を用いて変性させたり、切断したりする。
　鉗子２１は、腹部３１の腹壁に取り付けられたトロッカ２５の孔から、腹部３１の内部に挿入される。鉗子２１は、腹部３１の内部を把持する。内視鏡１９、エネルギ処置具２０、および鉗子２１は、術者、助手、スコピスト、またはロボット等により把持される。
　フットスイッチ２６は、術者や助手等の足による操作を受け付ける。フットスイッチ２６は、受け付けた操作を表す操作信号を、ＣＣＵ１２や処置具用装置１４に供給する。
　術者は、まず、フットスイッチ２６を操作し、内視鏡１９により撮像された腹部３１の内部の術中画像が、切除ラインの目印がつけられる前の術中画像であることを入力する。次に、術者は、腹部３１内の患部を含む領域の少なくとも一部を変性させることにより、切除ラインの目印をつける。
　変性方法としては、エネルギ処置具２０を用いて切除ラインに沿って間隔をあけて腹部３１を軽く焼く方法（以下、焼き付け法という）、色素を用いて切除ラインに沿って間隔をあけて腹部３１を染色する方法（以下、染色法という）、腹部３１の患部に流れ込んでいる流入血管を圧迫または結紮して血流を阻害することにより患部を変色させる方法（以下、変色法という）などがある。
　術者は、切除ラインの目印をつけた後、フットスイッチ２６を操作し、以降に内視鏡１９により撮像される腹部３１の内部の術中画像が、切除ラインの目印がつけられた後の術中画像であることを入力する。その結果、ＣＣＵ１２により、切除ラインの目印としての変性領域の発生前後の術中画像を用いて変性領域と変性方法が検出され、切除ラインが重畳された術中画像が表示装置１１に表示される。
　術者は、表示装置１１に表示された切除ラインを見ながら、エネルギ処置具２０等を用いて切除ラインに沿って腹部３１を切除することにより、腹部３１内の患部を切除する。
　以上のように、術者は、内視鏡手術システム１０を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部３１内の患部を切除することができる。また、表示装置１１に切除ラインが重畳された術中画像が表示されるので、経験等の少ない術者であっても腹部３１内の患部を容易に切除することができる。
　（ＣＣＵの構成例）
　図２は、図１のＣＣＵ１２の構成例を示すブロック図である。
　図２のＣＣＵ１２は、入力メモリ７１、現像部７２、現像メモリ７３、検出部７４、識別部７５、情報メモリ７６、追跡部７７、描画部７８、描画メモリ７９、および出力メモリ８０により構成される。
　入力メモリ７１には、内視鏡１９から送信されてきた術中画像が入力される。入力メモリ７１は、入力された術中画像を記憶する。また、入力メモリ７１は、記憶している術中画像を読み出し、現像部７２に供給する。
　現像部７２は、入力メモリ７１から供給される術中画像に対して現像処理を行い、現像処理後の術中画像を現像メモリ７３に供給する。現像メモリ７３は、現像部７２から供給される術中画像を記憶する。また、現像メモリ７３は、記憶している術中画像を読み出し、追跡部７７と出力メモリ８０に供給する。
　検出部７４は、フットスイッチ２６から供給される変性開始直前の術者のフットスイッチ２６の操作を表す操作信号を取得する。検出部７４は、この操作信号に応じて、現像メモリ７３から術中画像を読み出し、変性領域の発生直前の術中画像（以下、変性前画像という）とする。
　また、検出部７４は、フットスイッチ２６から供給される変性終了直後の術者のフットスイッチ２６の操作を表す操作信号を取得する。検出部７４は、この操作信号に応じて、現像メモリ７３から術中画像を読み出し、変性領域の発生直後の術中画像（以下、変性後画像という）とする。検出部７４は、変性前画像と変性後画像との間の色や輝度の変化に基づいて、変性後画像内の変性領域を検出する。
　具体的には、検出部７４は、まず、変性前画像と変性後画像との間の動きベクトルを検出し、動き補償を行うことにより、内視鏡１９や被写体の移動をキャンセルする。変性前画像または変性後画像の水平方向および垂直方向の移動だけでは十分な動き補償を行うことができない場合、検出部７４は、アフィン変換を用いて、変性前画像または変性後画像を回転したり、拡大縮小したりすることによる動き補償も行う。
　次に、検出部７４は、動き補償によって位置ずれが補正された変性前画像と変性後画像の間の色や輝度の差分を求め、色や輝度の差分が閾値より大きい領域を検出する。そして、検出部７４は、検出された領域のうちの面積の小さな領域を削除し、残った領域を変性領域とする。
　以上のように、検出部７４は、変性前画像と変性後画像の間の色や輝度の差分に基づいて変性領域を検出するので、検出精度を向上させるためには、切除ラインの目印をつける前と後で内視鏡１９を移動させないことが望ましい。なお、検出部７４は、変性前画像と変性後画像の間の色や輝度の差分だけでなく、変性前画像と変性後画像における輝度勾配やエッジ等の画像情報にも基づいて、変性領域を検出するようにしてもよい。
　検出部７４は、各変性領域の形状、輝度変化量、色変化量、エッジパターン、テクスチャなどの特徴情報、各変性領域を特定するための変性領域の周囲の特徴点の情報、および変性後画像上の位置を表す位置情報、並びに変性領域の個数を識別部７５に供給する。
　識別部７５は、検出部７４から供給される各変性領域の特徴情報と変性領域の個数とに基づいて、変性領域の変性方法の識別を行う。識別手法としては、閾値による判別、パターンマッチング、機械学習などがある。識別部７５は、各変性領域のエッジパターン、テクスチャ、または、変性領域の周囲の特徴点の情報からなる変性領域識別情報、変性方法、位置情報、および形状、並びに、変性領域の個数を、変性領域に関する変性領域情報として情報メモリ７６に供給する。
　情報メモリ７６は、識別部７５から供給される変性領域情報を記憶する。また、情報メモリ７６は、記憶している変性領域情報を、追跡部７７から供給される変性領域情報に更新する。情報メモリ７６は、記憶している変性領域情報を読み出し、追跡部７７に供給する。
　追跡部７７は、情報メモリ７６から供給される変性領域情報のうちの各変性領域の変性方法、位置情報、および形状、並びに変性領域の個数を描画部７８に供給する。また、追跡部７７は、変性領域情報のうちの変性領域識別情報と位置情報に基づいて、現像メモリ７３から供給される、その変性領域情報に対応する術中画像より後の術中画像内の変性領域を検出する。即ち、追跡部７７は、変性領域識別情報と位置情報に基づいて、変性領域が発生した後の術中画像内の変性領域の時間変化を追跡する。追跡部７７は、検出された変性領域の変性領域情報を情報メモリ７６に供給する。
　描画部７８は、追跡部７７から供給される各変性領域の変性方法、位置情報、および形状、並びに変性領域の個数に基づいて、切除ライン等を描画し、術者への補助情報として切除ライン画像を生成する。従って、切除ライン画像は、追跡部７７により追跡される変性領域の時間変化に基づいて時間変化する。
　なお、描画部７８は、各変性領域の変性方法、位置情報、および形状、並びに変性領域の個数に基づいて決定される切除ラインと、その切除ラインより前の時刻の切除ラインとを平均化した切除ラインを描画し、切除ライン画像を生成するようにしてもよい。この場合、切除ラインが急激に変化することを防止することができる。
　描画部７８は、切除ライン画像を描画メモリ７９に供給する。描画メモリ７９は、描画部７８から供給される切除ライン画像を記憶する。描画メモリ７９は、記憶している切除ライン画像を読み出し、出力メモリ８０に供給する。
　出力メモリ８０は、現像メモリ７３から供給される術中画像を記憶する。また、出力メモリ８０は、記憶している術中画像に対応する切除ライン画像が供給されると、記憶している術中画像に切除ライン画像を上書きする。即ち、出力メモリ８０は、術中画像に重畳して切除ラインを描画する。出力メモリ８０は、記憶している、切除ラインが重畳された術中画像、または、切除ラインが重畳されていない術中画像を読み出し、表示装置１１に送信する。
　以上のように、ＣＣＵ１２は、変性領域の時間変化を追跡するので、術中画像内の変性領域が時間変化する場合であっても、適切な切除ラインを術中画像に重畳することができる。従って、例えば、切除の実施や内視鏡１９の移動によって、変性領域が術中画像から削除された場合に、その変性領域に対応する切除ラインが無駄に表示されることを防止することができる。
　（変性方法が焼き付け法である場合の切除ラインの説明）
　図３は、変性方法が焼き付け法である場合の変性後画像の例を示す図である。
　図３の例では、腹部３１は胃である。図３に示すように、焼き付け法により腹部３１が変性される場合、変性後画像１００には、腹部３１の内壁の患部１０１を囲むように、複数（図３の例では２６個）の変性領域１０２が点線状に存在する。
　この場合、図４に示すように、検出部７４は、変性領域１０２が存在しない変性前画像と変性後画像１００とに基づいて、変性領域１０２の少なくとも一部を含む複数（図４の例では２３個）の円形状の領域１１１を変性領域として検出する。
　また、識別部７５は、例えば、変性領域１０２の特徴情報のうちの領域１１１の形状が小さい円形状であること、および、領域１１１の個数が複数であることに基づいて、変性領域の変性方法が焼き付け法であることを識別する。
　そして、図５に示すように、描画部７８は、領域１１１の変性領域情報のうちの変性方法が焼き付け法であること、各変性領域の位置情報および形状、並びに変性領域の個数に基づいて、例えば変性後画像１００内の全ての領域１１１の重心を通る切除ライン１２１を描画する。その結果、出力メモリ８０において、切除ライン１２１が重畳された変性後画像１００が生成される。
　切除ライン１２１は、直線であっても曲線であってもよく、全ての領域１１１を通る最短経路であってもなくてもよい。また、描画部７８は、変性後画像１００から患部１０１や腹部３１の組織の変色部を抽出し、それらが切除ライン１２１で囲われた領域内に含まれるように切除ライン１２１を描画してもよい。
　また、図６に示すように、描画部７８は、切除ライン１２１に目盛り１３１を付してもよい。この場合、術者は、領域１１１間の距離を容易に把握することができる。
　さらに、図７に示すように、描画部７８は、切除ライン１２１のほかに、各領域１１１の重心を中心とした放射線状の線であって、水平方向の角度を表す複数（図７の例では４）の線１３２を描画するようにしてもよい。この場合、術者は、領域１１１間の切除ライン１２１の角度を容易に把握することができる。なお、図７の例では、説明の便宜上、１つの領域１１１に対してのみ線１３２が描画されている。
　また、図８に示すように、描画部７８は、切除ライン１２１のほかに、切除ライン１２１とは経路の決定方法が異なる切除ライン１３３を描画するようにしてもよい。この場合、術者が、フットスイッチ２６を操作して、表示装置１１に表示された切除ライン１２１と切除ライン１３３のうちの一方を選択することにより、選択された切除ライン１２１または切除ライン１３３に対応する経路の決定方法を選択する。術者により経路の決定方法が選択された後、描画部７８は、選択された経路の決定方法にしたがって１つの切除ラインのみを描画する。
　（変性方法が変色法である場合の切除ラインの説明）
　図９は、変性方法が変色法である場合の切除ラインの例を示す図である。
　図９の例では、腹部３１は肝臓である。図９に示すように、変色法により腹部３１が変性される場合、検出部７４は、例えば、変性後画像１５０内の患部１５１を含む腹部３１の前区域を変性領域１５２として検出する。
　また、識別部７５は、例えば、変性領域１５２の特徴情報のうちの変性領域１５２の形状が大きいこと、および、変性領域１５２の個数が１つであることに基づいて、変性領域の変性方法が変色法であることを識別する。
　そして、図９に示すように、描画部７８は、変性領域１５２の変性領域情報のうちの変性方法が変色法であること、並びに、各変性領域の位置情報および形状に基づいて、変性後画像１５０内の変性領域１５２の輪郭を表す切除ライン１５３を描画する。その結果、出力メモリ８０において、切除ライン１５３が重畳された変性後画像１５０が生成される。
　なお、描画部７８は、図６の場合と同様に切除ライン１５３に目盛りを付してもよい。また、描画部７８は、図７の場合と同様に、切除ライン１５３のほかに、切除ライン１５３の所定の位置を中心とした放射線状の線を描画してもよい。
　（ＣＣＵの処理の説明）
　図１０は、図２のＣＣＵ１２の画像処理を説明するフローチャートである。
　図１０のステップＳ１１において、入力メモリ７１は、内視鏡１９から受信された術中画像を記憶する。また、入力メモリ７１は、記憶している術中画像を読み出し、現像部７２に供給する。
　ステップＳ１２において、現像部７２は、入力メモリ７１から供給される術中画像に対して現像処理を行い、現像処理後の術中画像を現像メモリ７３に供給する。
　ステップＳ１３において、現像メモリ７３は、現像部７２から供給される現像処理後の術中画像を記憶する。また、現像メモリ７３は、記憶している術中画像を読み出し、追跡部７７と出力メモリ８０に供給する。出力メモリ８０は、現像メモリ７３から供給される術中画像を記憶する。
　ステップＳ１４において、検出部７４は、術者等によりフットスイッチ２６が操作されたかどうか、即ちフットスイッチ２６から操作信号を取得したかどうかを判定する。ステップＳ１４で、まだフットスイッチ２６が操作されていないと判定された場合、処理はステップＳ１５に進む。
　ステップＳ１５において、出力メモリ８０は、記憶している術中画像を表示装置１１に出力する。これにより、表示装置１１には、術中画像が表示される。ステップＳ１５の処理後、処理はステップＳ１１に戻り、フットスイッチ２６が操作されるまで、ステップＳ１１乃至Ｓ１５の処理が繰り返される。
　一方、ステップＳ１４で、フットスイッチ２６が操作されたと判定された場合、処理はステップＳ１６に進む。ステップＳ１６において、検出部７４は、現像メモリ７３に記憶されている現像処理後の術中画像を変性前画像として読み出す。
　ステップＳ１７において、出力メモリ８０は、記憶している術中画像を表示装置１１に出力する。これにより、表示装置１１には、術中画像が表示される。
　ステップＳ１８乃至Ｓ２０の処理は、ステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。
　ステップＳ２１において、検出部７４は、術者等により再度フットスイッチ２６が操作されたかどうかを判定する。ステップＳ２１でまだフットスイッチ２６が再度操作されていないと判定された場合、処理はステップＳ２２に進む。
　ステップＳ２２において、出力メモリ８０は、記憶している術中画像を表示装置１１に出力する。これにより、表示装置１１には、術中画像が表示される。ステップＳ２２の処理後、処理はステップＳ１８に戻り、フットスイッチ２６が再度操作されるまで、ステップＳ１８乃至Ｓ２２の処理が繰り返される。
　一方、ステップＳ２１でフットスイッチ２６が再度操作されたと判定された場合、処理はステップＳ２３に進む。ステップＳ２３」において、検出部７４は、現像メモリ７３に記憶されている術中画像を変性後画像として読み出す。
　ステップＳ２４において、検出部７４は、変性前画像と変性後画像との間の色や輝度の変化に基づいて、変性後画像内の変性領域を検出する。検出部７４は、各変性領域の形状、輝度変化量、色変化量、エッジパターン、テクスチャなどの特徴情報、各変性領域の周囲の特徴点の情報、および位置情報、並びに変性領域の個数を識別部７５に供給する。
　ステップＳ２５において、識別部７５は、検出部７４から供給される各変性領域の特徴情報と変性領域の個数とに基づいて、変性領域の変性方法の識別を行う。識別部７５は、各変性領域の変性領域識別情報、変性方法、位置情報、および形状、並びに、変性領域の個数を、変性領域情報として情報メモリ７６に供給する。
　ステップＳ２６において、情報メモリ７６は、識別部７５から供給される変性領域情報を記憶する。情報メモリ７６は、記憶している変性領域情報を読み出し、追跡部７７に供給する。追跡部７７は、情報メモリ７６から供給される変性領域情報のうちの各変性領域の変性方法、位置情報、および形状、並びに変性領域の個数を描画部７８に供給する。
　ステップＳ２７において、描画部７８は、追跡部７７から供給される各変性領域の変性方法、位置情報、および形状、並びに変性領域の個数に基づいて、切除ラインを描画し、切除ライン画像を生成する。描画部７８は、切除ライン画像を描画メモリ７９に供給する。
　ステップＳ２８において、描画メモリ７９は、描画部７８から供給される切除ライン画像を記憶する。描画メモリ７９は、記憶している切除ライン画像を読み出し、出力メモリ８０に供給する。
　ステップＳ２９において、出力メモリ８０は、ステップＳ２０またはステップＳ３４で記憶している術中画像に対して、描画メモリ７９から供給される切除ライン画像を上書きすることにより、切除ラインを術中画像に重畳する。
　ステップＳ３０において、出力メモリ８０は、記憶している切除ラインが重畳された術中画像を表示装置１１に出力する。これにより、表示装置１１には、切除ラインが重畳された術中画像が表示される。
　ステップＳ３１において、ＣＣＵ１２は、画像処理を終了するかどうか、例えば内視鏡１９からの術中画像の送信が終了したかどうかを判定する。ステップＳ３１で画像処理を終了しないと判定された場合、処理はステップＳ３２に進む。ステップＳ３２乃至Ｓ３４の処理は、ステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は省略する。
　ステップＳ３５において、追跡部７７は、ステップＳ２６またはステップＳ３６で情報メモリ７６から供給された変性領域情報のうちの変性領域識別情報と位置情報に基づいて、ステップＳ３４で現像メモリ７３から供給される術中画像内の変性領域を検出する。追跡部７７は、検出された変性領域の変性領域情報を情報メモリ７６に供給する。
　ステップＳ３６において、情報メモリ７６は、記憶している変性領域情報を、ステップＳ３５で追跡部７７から供給される変性領域情報に更新する。情報メモリ７６は、更新後の変性領域情報を読み出し、追跡部７７に供給する。そして、処理はステップＳ２７に戻る。
　一方、ステップＳ３１で画像処理を終了すると判定された場合、画像処理は終了する。
　以上のように、ＣＣＵ１２は、術中画像内の変性領域に基づいて、術中画像に重畳して切除ラインを描画することにより、術者の判断力や記憶力を支援する。従って、術者の負担が軽減され、より短時間でより正確に外科手術による切除を行うことができる。
　また、術者の経験等が少ない場合であっても、焼き付け法や染色法における変性領域の数を増加させる必要がない。その結果、患者の腹部３１の組織への影響（ダメージ）や患者の負担を最低限に抑制することができる。
　＜第２実施の形態＞
　（内視鏡手術システムの第２実施の形態のＣＣＵの構成例）
　本開示を適用した内視鏡手術システムの第２実施の形態の構成は、内視鏡１９が複数の視点の術中画像を撮像し、１視点の術中画像と視差画像を生成する点、および、ＣＣＵの構成を除いて、図１の内視鏡手術システム１０の構成と同一である。従って、以下では、第２実施の形態のＣＣＵについてのみ説明する。
　図１１は、本開示を適用した内視鏡手術システムの第２実施の形態のＣＣＵの構成例を示すブロック図である。
　図１１に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１１のＣＣＵ１６０の構成は、視差メモリ１７０が新たに設けられる点、および、検出部７４、追跡部７７、描画部７８の代わりに、検出部１７１、追跡部１７２、描画部１７３が設けられる点が、図２の構成と異なる。
　ＣＣＵ１６０の視差メモリ１７０には、内視鏡１９から受信された視差画像が入力され、記憶される。なお、視差画像とは、内視鏡１９と、内視鏡１９により撮像された術中画像の各画素における被写体との奥行き方向の距離を表す奥行き値を画素値として表す画像である。
　検出部１７１は、フットスイッチ２６から供給される変性開始直前の術者のフットスイッチ２６の操作を表す操作信号を取得する。検出部１７１は、この操作信号に応じて、現像メモリ７３から術中画像を変性前画像として読み出す。
　また、検出部１７１は、フットスイッチ２６から供給される変性終了直後の術者のフットスイッチ２６の操作を表す操作信号を取得する。検出部１７１は、この操作信号に応じて、現像メモリ７３から術中画像を変性後画像として読み出す。また、検出部１７１は、視差メモリ１７０から変性後画像に対応する視差画像を読み出す。
　検出部１７１は、検出部７４と同様に、変性前画像と変性後画像との間の色や輝度の変化に基づいて、変性後画像内の変性領域を検出する。検出部１７１は、変性後画像に対応する視差画像に基づいて、検出された変性領域を補正する。
　例えば、検出部１７１は、検出された変性領域のうちの、奥行き値が周囲と大きく異なる領域を削除したり、検出された変性領域の周囲に存在する、奥行き値が変性領域と同一である領域を変性領域に含めたりする。このように、検出部１７１は、変性後画像に対応する視差画像に基づいて、検出された変性領域を補正するので、変性領域の検出精度を向上させることができる。
　検出部１７１は、補正後の各変性領域の特徴情報、周囲の特徴点の情報、および位置情報、並びに変性領域の個数を識別部７５に供給する。
　追跡部１７２は、情報メモリ７６から供給される変性領域情報のうちの各変性領域の変性方法、位置情報、および形状、並びに変性領域の個数を描画部１７３に供給する。また、追跡部１７２は、変性領域情報のうちの変性領域識別情報と位置情報に基づいて、現像メモリ７３から供給される、その変性領域情報に対応する術中画像より後の術中画像内の変性領域を検出する。
　追跡部１７２は、検出された変性領域を含む術中画像に対応する視差画像を視差メモリ１７０から読み出す。追跡部１７２は、検出部１７１と同様に、読み出された視差画像に基づいて、検出された変性領域を補正する。追跡部１７２は、補正後の変性領域の変性領域情報を情報メモリ７６に供給する。
　描画部１７３は、追跡部１７２から供給される情報に対応する視差画像を、視差メモリ１７０から読み出す。描画部１７３は、追跡部１７２から供給される各変性領域の変性方法、位置情報、および形状、変性領域の個数、並びに視差画像に基づいて、切除ライン等を描画し、切除ライン画像を生成する。
　例えば、描画部１７３は、切除面積が最小になるような切除ラインを描画したり、奥行き値の差が少ないスムーズな切除ラインを描画したりする。描画部１７３は、切除ライン画像を描画メモリ７９に供給する。
　なお、ここでは、出力メモリ８０は、切除ラインが重畳された術中画像のみを表示装置１１に供給するが、表示装置１１が３Ｄディスプレイにより構成される場合には、その術中画像に対応する視差画像も表示装置１１に供給する。この場合、表示装置１１は、視差画像に基づいて、切除ラインが重畳された術中画像を水平方向にずらすことにより、１視点の２Ｄの術中画像を多視点の３Ｄの術中画像に変換し、表示する。
　（変性方法が焼き付け法である場合の切除ラインの説明）
　図１２は、変性方法が焼き付け法である場合の切除ラインの例を示す図である。
　図１２において、図５と同一のものには同一の符号を付してあり、説明は繰り返しになるので、省略する。
　図１２に示すように、変性方法が焼き付け法である場合、描画部１７３は、描画部７８と同様に、変性後画像１００内の全ての領域１１１の重心を通る切除ライン１２１を描画する。また、描画部１７３は、変性後画像１００に対応する視差画像に基づいて、領域１１１の面の角度を示す法線ベクトル１８１を表示する。
　なお、描画部１７３は、変性後画像１００に対応する視差画像に基づいて、切除ライン１２１の全長や切除ライン１２１で囲まれた領域の面積などを計算し、描画してもよい。また、切除ライン１２１が描画される画素の奥行き値によって、切除ライン１２１の色や太さを変更するようにしてもよい。
　（ＣＣＵの処理の説明）
　図１３は、図１１のＣＣＵ１６０の画像処理を説明するフローチャートである。
　図１３のステップＳ５１において、入力メモリ７１は、内視鏡１９から受信された術中画像を記憶する。また、入力メモリ７１は、記憶している術中画像を読み出し、現像部７２に供給する。
　ステップＳ５２において、視差メモリ１７０は、内視鏡１９から術中画像とともに受信された視差画像を記憶する。
　ステップＳ５３乃至Ｓ６５の処理は、図１０のステップＳ１２乃至Ｓ２４の処理と同様であるので、説明は省略する。
　ステップＳ６６において、検出部１７１は、視差メモリ１７０から変性後画像に対応する視差画像を読み出し、その視差画像に基づいて、ステップＳ６５で検出された変性領域を補正する。検出部１７１は、補正後の各変性領域の特徴情報、周囲の特徴点の情報、および位置情報、並びに変性領域の個数を識別部７５に供給する。
　ステップＳ６７およびＳ６８の処理は、図１０のステップＳ２５およびＳ２６の処理と同様であるので、説明は省略する。
　ステップＳ６９において、描画部１７３は、追跡部１７２から供給される各変性領域の変性方法、位置情報、および形状、並びに変性領域の個数と、これらに対応する、視差メモリ１７０から読み出された視差画像とに基づいて、切除ラインを描画し、切除ライン画像を生成する。描画部１７３は、切除ライン画像を描画メモリ７９に供給する。
　ステップＳ７０乃至Ｓ７７の処理は、図１０のステップＳ２８乃至Ｓ３５の処理と同様であるので、説明は省略する。
　ステップＳ７８において、追跡部１７２は、ステップＳ７７で検出された変性領域に対応する視差画像を視差メモリ１７０から読み出し、その視差画像に基づいて変性領域を補正する。追跡部１７２は、補正後の変性領域の変性領域情報を情報メモリ７６に供給する。
　ステップＳ７９において、情報メモリ７６は、記憶している変性領域情報を、ステップＳ７８で追跡部１７２から供給される変性領域情報に更新する。情報メモリ７６は、更新後の変性領域情報を読み出し、追跡部１７２に供給する。そして、処理はステップＳ６９に戻る。
　なお、第２実施の形態では、術中画像と視差画像の情報に基づいて切除ラインが描画されたが、術中画像と視差画像以外の情報とに基づいて切除ラインが描画されるようにしてもよい。
　例えば、切除ラインは、術中画像と、CT（Computed Tomography）装置、MRI（magnetic resonance imaging）装置、超音波診断装置などの医療機器によって、術前または術中に撮像された医療画像から得られる情報とに基づいて、切除ラインを描画するようにしてもよい。
　この場合、例えば、術中画像から認識することが難しい、腹部３１の組織表面下を走る血管や管、神経などを避けるように、切除ラインを描画することができる。また、血管や管、神経に近い、切除時に慎重になるべき切除ラインの色を変えたり、太さを太くしたり、切除ラインを点滅させたりすることにより、その切除ラインを目立たせるようにすることができる。
　また、切除ラインが血管と交差せざるを得ない場合、血管と交差する切除ラインを描画するとともに、血管の太さや脈動から推定した切除による出血量を描画することができる。さらに、切除ラインが血管と交差せざるを得ない場合、血管の太さや脈動から推定した切除による総出血量が最小になるように、切除ラインを描画することができる。
　＜重畳方法の説明＞
　図１４は、出力メモリ８０による切除ラインの重畳方法を説明する図である。
　上述した説明では、出力メモリ８０は、術中画像に対して切除ライン画像を上書きすることにより、切除ラインを術中画像に重畳するものとした。従って、図１４のＡに示すように、術中画像１９０にエネルギ処置具２０と鉗子２１などの術具の画像が含まれる場合であっても、エネルギ処置具２０と鉗子２１の画像に切除ライン１９１が上書きされる。その結果、図１４のＡに示すように、鉗子２１が切除ライン１９１をまたぐ場合、切除ライン１９１が目障りとなり、手技に支障をきたす場合がある。
　よって、出力メモリ８０は、術中画像内のエネルギ処置具２０や鉗子２１の画像に対しては切除ライン画像を上書きしないようにしてもよい。この場合、図１４のＢに示すように、術中画像１９０に含まれる鉗子２１の画像の上には切除ライン１９１が描画されない。
　具体的には、例えば、ＣＣＵ１２やＣＣＵ１６０は、現像メモリ７３から出力される術中画像に対して、エネルギ処置具２０や鉗子２１の画像認識を行ったり、エネルギ処置具２０や鉗子２１の色情報を用いた色識別を行ったりすることにより、術中画像内のエネルギ処置具２０や鉗子２１を検出する。なお、ＣＣＵ１６０は、視差画像に基づいて術中画像内のエネルギ処置具２０や鉗子２１を検出するようにしてもよい。
　ＣＣＵ１２やＣＣＵ１６０は、出力メモリ８０による切除ライン１９１の重畳時に、検出された術中画像内のエネルギ処置具２０や鉗子２１の位置等を表す検出情報に基づいて、術中画像内のエネルギ処置具２０や鉗子２１に対する切除ライン１９１の重畳を禁止する。以上のように、手技に用いられるエネルギ処置具２０と鉗子２１の画像を切除ラインより優先的に表示することにより、術者に手技をしやすくさせることができる。
　＜コンピュータの説明＞
　上述したＣＣＵ１２および１６０の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１５は、上述したＣＣＵ１２および１６０の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォン、操作ボタン、カメラケーブルの接続部などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、ＣＣＵ１２および１６０は、内視鏡１９から送信されてくる術中画像や視差画像に対してリアルタイムで画像処理を行うのではなく、術中画像や視差画像を記憶し、記憶されている術中画像や視差画像に対して画像処理を行うようにしてもよい。この場合、例えば、教育などの目的で擬似的に腹腔鏡下手術を行うことができる。
　また、変性領域の検出や変性方法の識別において、手術対象となる臓器の種類、手術や検査の目的、術式、患者情報などの付加情報を用いることにより、精度やロバスト性を向上させるようにしてもよい。
　さらに、出力メモリ８０は、術者等のフットスイッチ２６の操作に応じて、切除ラインの重畳の有無を制御するようにしてもよい。また、視差画像は、内視鏡１９により撮像された複数の視点の術中画像を用いてＣＣＵ１６０で生成されるようにしてもよい。
　光源装置１３は、白色光源であってもよいし、蛍光観察用の特殊な光源であってもよい。
　また、変性方法は、蛍光試料の注入により患部を蛍光色に変色させる方法、切除ラインに沿って間隔をあけてテープを貼付する方法などであってもよい。補助情報は、術者が切除ラインを認識できる情報であれば、切除ライン画像でなくてもよい。例えば、変性方法が、蛍光試料の注入により患部を蛍光色に変色させる方法である場合、補助情報として、術中画像内の変性領域を所定の色で表した画像を採用することもできる。
　さらに、ＣＣＵ１２は、術中画像などから鉗子２１等の術具の位置を検出し、鉗子２１等と切除ラインが離れると、術者に注意を促すための警告を表示装置１１の画面に表示させたり、音声で出力したりしてもよい。
　本開示は、手術目的のシステムだけでなく、検査や観察目的のシステムにも適用することができる。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　術中画像内の組織変性の種類を識別する識別部と、
　識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報を描画する描画部と
　を備える画像処理装置。
　（２）
　前記描画部は、識別された前記組織変性の種類に基づいて、ラインを描画する
　ように構成された
　前記（１）に記載の画像処理装置。
　（３）
　前記描画部は、前記術中画像内の複数の前記組織変性を通る前記ラインを描画する
　ように構成された
　前記（２）に記載の画像処理装置。
　（４）
　前記描画部は、前記術中画像内の前記組織変性の輪郭を表す前記ラインを描画する
　ように構成された
　前記（２）に記載の画像処理装置。
　（５）
　前記識別部は、前記組織変性の変性領域の特徴情報と前記変性領域の個数とに基づいて、前記組織変性の種類を識別する
　ように構成された
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）
　前記識別部は、前記変性領域の個数が複数である場合に、前記組織変性を焼き付け法による変性と識別する
　ように構成された
　前記（５）に記載の画像処理装置。
　（７）
　前記識別部は、前記変性領域の個数が１つである場合に、前記組織変性を変色法による変性と識別する
　ように構成された
　前記（５）に記載の画像処理装置。
　（８）
　前記描画部は、前記組織変性の変性領域と前記術中画像に対応する視差画像とに基づいて、前記術者への補助情報を描画する
　ように構成された
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）
　前記組織変性が発生する前の前記術中画像と、前記組織変性が発生した後の前記術中画像とに基づいて、前記組織変性が発生した後の前記術中画像内の前記組織変性を検出する検出部
　をさらに備え、
　前記描画部は、前記検出部により検出された前記組織変性に基づいて前記術者への補助情報を描画する
　ように構成された
　前記（１）乃至（８）のいずれかに記載の画像処理装置。
　（１０）
　前記検出部により検出された前記組織変性に関する情報に基づいて、前記組織変性が発生した後の前記術中画像内の前記組織変性の時間変化を追跡する追跡部
　をさらに備え、
　前記描画部は、前記追跡部により追跡される前記時間変化に基づいて、前記術者への補助情報を時間変化させる
　ように構成された
　前記（９）に記載の画像処理装置。
　（１１）
　前記検出部は、前記組織変性が発生した後の前記術中画像に対応する視差画像に基づいて、検出された前記組織変性を補正する
　ように構成された
　前記（９）または（１０）に記載の画像処理装置。
　（１２）
　前記描画部は、さらに医療機器により術前または術中に撮像された画像から得られる情報に基づいて、前記術者への補助情報を描画する
　ように構成された
　前記（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）
　前記描画部は、前記術中画像内の術具の検出情報に基づいて、前記術者への補助情報を描画する
　ように構成された
　前記（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）
　画像処理装置が、
　術中画像内の組織変性の種類を識別する識別ステップと、
　識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報を描画する描画ステップ
　を含む画像処理方法。
　（１５）
　手術対象を変性させる処置装置と、
　前記手術対象の術中画像を撮像する撮像装置と、
　前記術中画像に対して画像処理を行う画像処理装置と
　を備え、
　前記画像処理装置は、
　前記術中画像内の組織変性の種類を識別する識別部と、
　識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報を描画する描画部と
　を備える
　手術システム。
　１０　内視鏡手術システム,　１２　ＣＣＵ,　１９　内視鏡,　２０　エネルギ処置具,　７４　検出部,　７５　識別部,　７７　追跡部，　７８　描画部，　１２１，１５３　切除ライン，　１７３　描画部

Claims (15)

  1. 　術中画像内の組織変性の種類を識別する識別部と、
    　識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報を描画する描画部と
    　を備える画像処理装置。
  2. 　前記描画部は、識別された前記組織変性の種類に基づいて、ラインを描画する
    　ように構成された
    　請求項１に記載の画像処理装置。
  3. 　前記描画部は、前記術中画像内の複数の前記組織変性を通る前記ラインを描画する
    　ように構成された
    　請求項２に記載の画像処理装置。
  4. 　前記描画部は、前記術中画像内の前記組織変性の輪郭を表す前記ラインを描画する
    　ように構成された
    　請求項２に記載の画像処理装置。
  5. 　前記識別部は、前記組織変性の変性領域の特徴情報と前記変性領域の個数とに基づいて、前記組織変性の種類を識別する
    　ように構成された
    　請求項１に記載の画像処理装置。
  6. 　前記識別部は、前記変性領域の個数が複数である場合に、前記組織変性を焼き付け法による変性と識別する
    　ように構成された
    　請求項５に記載の画像処理装置。
  7. 　前記識別部は、前記変性領域の個数が１つである場合に、前記組織変性を変色法による変性と識別する
    　ように構成された
    　請求項５に記載の画像処理装置。
  8. 　前記描画部は、前記組織変性の変性領域と前記術中画像に対応する視差画像とに基づいて、前記術者への補助情報を描画する
    　ように構成された
    　請求項１に記載の画像処理装置。
  9. 　前記組織変性が発生する前の前記術中画像と、前記組織変性が発生した後の前記術中画像とに基づいて、前記組織変性が発生した後の前記術中画像内の前記組織変性を検出する検出部
    　をさらに備え、
    　前記描画部は、前記検出部により検出された前記組織変性に基づいて前記術者への補助情報を描画する
    　ように構成された
    　請求項１に記載の画像処理装置。
  10. 　前記検出部により検出された前記組織変性に関する情報に基づいて、前記組織変性が発生した後の前記術中画像内の前記組織変性の時間変化を追跡する追跡部
    　をさらに備え、
    　前記描画部は、前記追跡部により追跡される前記時間変化に基づいて、前記術者への補助情報を時間変化させる
    　ように構成された
    　請求項９に記載の画像処理装置。
  11. 　前記検出部は、前記組織変性が発生した後の前記術中画像に対応する視差画像に基づいて、検出された前記組織変性を補正する
    　ように構成された
    　請求項９に記載の画像処理装置。
  12. 　前記描画部は、さらに医療機器により術前または術中に撮像された画像から得られる情報に基づいて、前記術者への補助情報を描画する
    　ように構成された
    　請求項１に記載の画像処理装置。
  13. 　前記描画部は、前記術中画像内の術具の検出情報に基づいて、前記術者への補助情報を描画する
    　ように構成された
    　請求項１に記載の画像処理装置。
  14. 　画像処理装置が、
    　術中画像内の組織変性の種類を識別する識別ステップと、
    　識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報を描画する描画ステップ
    　を含む画像処理方法。
  15. 　手術対象を変性させる処置装置と、
    　前記手術対象の術中画像を撮像する撮像装置と、
    　前記術中画像に対して画像処理を行う画像処理装置と
    　を備え、
    　前記画像処理装置は、
    　前記術中画像内の組織変性の種類を識別する識別部と、
    　識別された前記組織変性の種類に基づいて、前記術中画像に重畳する、術者への補助情報を描画する描画部と
    　を備える
    　手術システム。
PCT/JP2016/063620 2015-05-19 2016-05-06 画像処理装置および画像処理方法、並びに手術システム Ceased WO2016185912A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP16796306.5A EP3298949B1 (en) 2015-05-19 2016-05-06 Image processing apparatus, image processing method, and surgical system
US15/566,790 US10413369B2 (en) 2015-05-19 2016-05-06 Device, method, and system for image guided surgical resection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015101736 2015-05-19
JP2015-101736 2015-05-19

Publications (1)

Publication Number Publication Date
WO2016185912A1 true WO2016185912A1 (ja) 2016-11-24

Family

ID=57319957

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/063620 Ceased WO2016185912A1 (ja) 2015-05-19 2016-05-06 画像処理装置および画像処理方法、並びに手術システム

Country Status (3)

Country Link
US (1) US10413369B2 (ja)
EP (1) EP3298949B1 (ja)
WO (1) WO2016185912A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198255A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法およびプログラム
JP2020532347A (ja) * 2017-09-06 2020-11-12 ヴェリリー ライフ サイエンシズ エルエルシー 外科用認識システム
JP2022042011A (ja) * 2020-09-01 2022-03-11 ソニーグループ株式会社 医療情報制御システム、信号処理装置、及び医療情報制御方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210307830A1 (en) * 2018-01-31 2021-10-07 Transenterix Surgical, Inc. Method and Apparatus for Providing Procedural Information Using Surface Mapping
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11961225B2 (en) * 2020-07-21 2024-04-16 Iterative Scopes, Inc. Systems and methods for detecting potential malignancies
EP4316349A4 (en) * 2021-03-31 2025-04-02 Riken TOMOGRAPHIC IMAGE PROCESSING DEVICE, TOMOGRAPHIC IMAGE PROCESSING METHOD, PROGRAM, INFORMATION RECORDING MEDIUM AND PUNCTURE ELEMENT
EP4403089A1 (de) * 2023-01-17 2024-07-24 Erbe Elektromedizin GmbH Visualisierungseinrichtung
CN120000147B (zh) * 2025-01-22 2025-08-19 北京大学第三医院（北京大学第三临床医学院） 一种色觉测试的系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002011022A (ja) * 2000-06-27 2002-01-15 Olympus Optical Co Ltd 手術用顕微鏡
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
WO2012132790A1 (ja) * 2011-03-31 2012-10-04 オリンパス株式会社 蛍光観察装置
JP2013094173A (ja) * 2011-10-27 2013-05-20 Konica Minolta Advanced Layers Inc 観察システム、マーキング装置、観察装置及び内視鏡診断システム
JP2013192775A (ja) * 2012-03-21 2013-09-30 Konica Minolta Inc 鉗子、診断補助システムおよび内視鏡システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63122421A (ja) * 1986-11-12 1988-05-26 株式会社東芝 内視鏡装置
JPH10309281A (ja) 1997-05-13 1998-11-24 Olympus Optical Co Ltd 蛍光診断装置
US20010055062A1 (en) 2000-04-20 2001-12-27 Keiji Shioda Operation microscope
US6856324B2 (en) * 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
JP3869324B2 (ja) * 2002-06-26 2007-01-17 オリンパス株式会社 蛍光観察用画像処理装置
US20060098010A1 (en) * 2004-03-09 2006-05-11 Jeff Dwyer Anatomical visualization and measurement system
JP5028008B2 (ja) * 2004-12-08 2012-09-19 オリンパス株式会社 蛍光内視鏡装置
US10117721B2 (en) * 2008-10-10 2018-11-06 Truevision Systems, Inc. Real-time surgical reference guides and methods for surgical applications
US9498231B2 (en) * 2011-06-27 2016-11-22 Board Of Regents Of The University Of Nebraska On-board tool tracking system and methods of computer assisted surgery
KR101711358B1 (ko) * 2012-05-02 2017-02-28 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 의학적 애플리케이션들에서 증강 현실을 위한 동적 모델을 이용한 4 차원 이미지 등록
US20170281212A1 (en) * 2014-09-02 2017-10-05 Mayo Foundation For Medical Education And Research Methods and devices for localizing, delineating and anchoring liver lesions for resection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002011022A (ja) * 2000-06-27 2002-01-15 Olympus Optical Co Ltd 手術用顕微鏡
JP2004024656A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd 蛍光内視鏡装置
WO2012132790A1 (ja) * 2011-03-31 2012-10-04 オリンパス株式会社 蛍光観察装置
JP2013094173A (ja) * 2011-10-27 2013-05-20 Konica Minolta Advanced Layers Inc 観察システム、マーキング装置、観察装置及び内視鏡診断システム
JP2013192775A (ja) * 2012-03-21 2013-09-30 Konica Minolta Inc 鉗子、診断補助システムおよび内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3298949A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018198255A1 (ja) * 2017-04-26 2018-11-01 オリンパス株式会社 画像処理装置、画像処理装置の作動方法およびプログラム
US11564560B2 (en) 2017-04-26 2023-01-31 Olympus Corporation Image processing apparatus, operating method of image processing apparatus, and computer-readable recording medium
JP2020532347A (ja) * 2017-09-06 2020-11-12 ヴェリリー ライフ サイエンシズ エルエルシー 外科用認識システム
JP2022042011A (ja) * 2020-09-01 2022-03-11 ソニーグループ株式会社 医療情報制御システム、信号処理装置、及び医療情報制御方法

Also Published As

Publication number Publication date
EP3298949A1 (en) 2018-03-28
EP3298949B1 (en) 2020-06-17
US10413369B2 (en) 2019-09-17
US20180353244A1 (en) 2018-12-13
EP3298949A4 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
WO2016185912A1 (ja) 画像処理装置および画像処理方法、並びに手術システム
US11730562B2 (en) Systems and methods for imaging a patient
US11882993B2 (en) Method of using imaging devices in surgery
JP4698966B2 (ja) 手技支援システム
JP6707535B2 (ja) コンピュータ断層撮影の拡張された蛍光透視法のシステム、装置、およびその利用方法
CN111568544B (zh) 用于使医疗装置相对于目标的导航视觉化的系统和方法
EP3289964B1 (en) Systems for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy
EP3463032B1 (en) Image-based fusion of endoscopic image and ultrasound images
CN103068294B (zh) 医疗设备
US20210015343A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
Bertrand et al. A case series study of augmented reality in laparoscopic liver resection with a deformable preoperative model
US20230097906A1 (en) Surgical methods using multi-source imaging
JP3850217B2 (ja) 気管支用内視鏡位置検出装置
EP3398552A1 (en) Medical image viewer control from surgeon's camera
EP3733047A1 (en) Surgical system, image processing device, and image processing method
WO2023162657A1 (ja) 医療支援装置、医療支援装置の作動方法及び作動プログラム
JP2002253480A (ja) 医療処置補助装置
JP7354608B2 (ja) 医療用観察システム、医療用観察方法、および情報処理装置
US12183448B2 (en) Medical image processing apparatus, trocar, medical observation system, image processing method, and computer readable recording medium
US12266127B2 (en) Medical system, signal processing device, and signal processing method
EP3782529A1 (en) Systems and methods for selectively varying resolutions
US20170091554A1 (en) Image alignment device, method, and program
WO2025009009A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2006218239A (ja) 手技支援システム
JP2005211529A (ja) 手技支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16796306

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016796306

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP