[go: up one dir, main page]

WO2017065018A1 - 画像処理装置、画像処理方法、および手術顕微鏡 - Google Patents

画像処理装置、画像処理方法、および手術顕微鏡 Download PDF

Info

Publication number
WO2017065018A1
WO2017065018A1 PCT/JP2016/078981 JP2016078981W WO2017065018A1 WO 2017065018 A1 WO2017065018 A1 WO 2017065018A1 JP 2016078981 W JP2016078981 W JP 2016078981W WO 2017065018 A1 WO2017065018 A1 WO 2017065018A1
Authority
WO
WIPO (PCT)
Prior art keywords
dangerous situation
image
image processing
tomographic
tomographic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/078981
Other languages
English (en)
French (fr)
Inventor
大月　知之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201680004053.8A priority Critical patent/CN106999298B/zh
Priority to US15/522,106 priority patent/US10307051B2/en
Priority to EP16855272.7A priority patent/EP3216431B1/en
Priority to JP2017525133A priority patent/JP6791135B2/ja
Publication of WO2017065018A1 publication Critical patent/WO2017065018A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/13—Ophthalmic microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00199—Electrical control of surgical instruments with a console, e.g. a control panel with a display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting in contact-lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/008—Methods or devices for eye surgery using laser
    • A61F2009/00844—Feedback systems
    • A61F2009/00851—Optical coherence topography [OCT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present technology relates to an image processing device, an image processing method, and a surgical microscope, and in particular, an image processing device and an image processing capable of detecting and notifying a dangerous situation based on a tomographic image during an eye surgery.
  • the present invention relates to a method and a surgical microscope.
  • Patent Document 1 discloses an ophthalmologic analyzer that outputs an analysis result of a tomographic image of an eye acquired by an OCT (Optical Coherence Tomography).
  • OCT is a technique for generating an image by irradiating near-infrared light to the eye to be treated and reconstructing reflected waves from each tissue of the eye.
  • the present technology has been made in view of such a situation, and is capable of detecting and notifying a dangerous situation based on a tomographic image during an eye surgery.
  • An image processing device deals with a dangerous situation detection unit that detects a dangerous situation based on the tomographic image of the eye acquired during an eye surgery, and the detected dangerous situation. And a control information generation unit that generates and outputs control information for output.
  • the image processing apparatus detects a dangerous situation based on the tomographic image of the eye acquired during eye surgery, and copes with the detected dangerous situation. Generating and outputting control information for output.
  • the surgical microscope includes a tomographic image capturing unit that captures a tomographic image of an eye to be operated, and a dangerous situation that detects a dangerous situation based on the tomographic image of the eye acquired during surgery.
  • a dangerous situation is detected based on the tomographic image of the eye acquired during eye surgery, and control information for dealing with the detected dangerous situation is provided. Generated and output.
  • the image processing apparatus may be an independent apparatus or an internal block constituting one apparatus.
  • the present technology it is possible to detect and notify a dangerous situation based on a tomographic image during eye surgery.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • FIG. 1 is a diagram illustrating a configuration example of an embodiment of a surgery system to which the present technology is applied.
  • 1 is a system used for eye surgery, and has a surgical microscope 21 and a patient bed 22.
  • the patient undergoes eye surgery while lying on the patient bed 22.
  • a doctor who is an operator performs an operation while observing the eyes of the patient with the operation microscope 21.
  • the surgical microscope 21 includes an objective lens 31, an eyepiece lens 32, an image processing device 33, a monitor 34, and the like for magnifying and observing a patient's eye to be operated.
  • the image processing device 33 detects and outputs a dangerous situation during the operation by performing predetermined image processing on the image photographed through the objective lens 31.
  • the monitor 34 notifies the operator of an image taken through the objective lens 31 and predetermined information generated by the image processing device 33, for example, a dangerous situation during surgery (hereinafter also referred to as a dangerous situation).
  • the broadcast information to be displayed is displayed.
  • a doctor performs a surgery while looking through the eyepiece lens 32 and observing the patient's eye through the objective lens 31. Further, the doctor performs an operation while confirming an image displayed on the monitor 34 and predetermined information displayed on the monitor 34 by the image processing device 33.
  • FIG. 2 is a block diagram showing a detailed configuration of the surgical microscope 21. As shown in FIG. In FIG. 2, the same reference numerals are given to the portions corresponding to those in FIG. 1, and the description thereof will be omitted as appropriate.
  • the surgical microscope 21 includes a light source 61, an observation optical system 62, a front image photographing unit 63, a tomographic image photographing unit 64, a presentation unit 65, an interface unit 66, and a speaker 67.
  • the light source 61 emits illumination light under the control of the image processing device 33 to illuminate the patient's eyes.
  • the observation optical system 62 is composed of, for example, optical elements such as the objective lens 31, the half mirror 71, and a lens (not shown), and the light (observation light) reflected from the patient's eye is used as the eyepiece 32 and the front image photographing unit. Guide to 63.
  • the light reflected from the patient's eye is incident on the half mirror 71 as observation light through the objective lens 31 and a lens (not shown). Almost half of the observation light incident on the half mirror 71 passes through the half mirror 71 as it is, and enters the eyepiece lens 32 via the transmission-type presentation unit 65. On the other hand, the remaining half of the observation light incident on the half mirror 71 is reflected by the half mirror 71 and incident on the front image photographing unit 63.
  • the front image capturing unit 63 includes, for example, a video camera and receives the observation light incident from the observation optical system 62 and photoelectrically converts the image to observe the patient's eyes from the front, that is, the patient's eyes. A front image that is an image taken from the axial direction is taken. The front image capturing unit 63 captures a front image according to the control of the image processing device 33 and supplies the obtained front image to the image processing device 33.
  • the tomographic imaging unit 64 includes, for example, an optical coherence tomography (OCT (Optical Coherence Tomography)), a Shine peak camera, or the like.
  • OCT optical Coherence Tomography
  • the tomographic image capturing unit 64 captures a tomographic image, which is a cross-sectional image of the patient's eye, under the control of the image processing device 33 and supplies the obtained tomographic image to the image processing device 33.
  • the tomographic image is an image of a cross section in a direction substantially parallel to the axial direction of the patient's eye.
  • the tomographic image capturing unit 64 acquires a tomographic image based on the principle of interference using, for example, infrared light, and the optical path of the infrared light and a part of the optical path of the observation light in the observation optical system 62 at that time May be a common optical path.
  • the eyepiece 32 condenses the observation light incident from the observation optical system 62 via the presentation unit 65 and forms an optical image of the patient's eye. As a result, an optical image of the patient's eye is observed by the operator looking into the eyepiece lens 32.
  • the presentation unit 65 includes a transmissive display device, and is disposed between the eyepiece lens 32 and the observation optical system 62.
  • the presentation unit 65 transmits the observation light incident from the observation optical system 62 and causes the observation light to enter the eyepiece 32, and the front image, tomographic image, notification information, and the like supplied from the image processing device 33 are also transmitted as necessary.
  • Present display
  • the front image, tomographic image, notification information, and the like may be presented, for example, superimposed on the optical image of the patient's eye, or may be presented on the periphery of the optical image so as not to disturb the optical image.
  • the image processing device 33 controls the operation of the entire operation microscope 21. For example, the image processing device 33 changes the illumination condition of the light source 61 or changes the zoom magnification of the observation optical system 62. Further, the image processing device 33 controls the image acquisition of the front image capturing unit 63 and the tomographic image capturing unit 64 based on operation information of an operator or the like supplied from the interface unit 66.
  • the interface unit 66 includes, for example, a touch panel provided superimposed on the monitor 34, a communication unit that receives commands from a controller, a remote controller (not shown), and communicates with an external device. The information corresponding to the operation is supplied to the image processing device 33. Further, the interface unit 66 outputs, to the external device, device control information for controlling the external device that is supplied from the image processing device 33 when a dangerous situation is detected.
  • the monitor 34 displays a front image, a tomographic image, notification information, and the like according to the control of the image processing device 33.
  • the speaker 67 detects a dangerous situation during the operation, such as a buzzer sound, a melody sound, or a message such as “We have detected ...” (voice) to notify the surgeon of the dangerous situation. ) Etc. are output.
  • the surgical microscope 21 may be provided with a rotating lamp or a display lamp (lamp) for notifying an operator of a dangerous situation.
  • the image processing device 33 is a risk that occurs during eye surgery based on the front image and the tomographic image acquired by the front image capturing unit 63 and the tomographic image capturing unit 64. A dangerous situation can be detected and the operator can be informed of the dangerous situation by using the monitor 34, the speaker 67, or the like.
  • the cornea 102 portion of the patient's eyeball 101 is incised with a knife, and the wound 103 is created. Then, a surgical instrument is inserted from the wound 103 portion, and the front portion of the crystalline lens 104 inside the eyeball 101, that is, the anterior capsule portion is incised in a circular shape.
  • a surgical tool is inserted from the wound 103 into the anterior capsulotomy portion of the lens 104, and emulsification (pulverization) and suction of the nucleus of the lens 104 by ultrasonic vibration called nuclear processing is performed.
  • the cortex is also aspirated.
  • the intraocular lens 105 is inserted into the crystalline lens 104, and the operation ends.
  • FIG. 4 is a block diagram of a part related to detection and notification of a dangerous situation in the surgical system 11. Also in FIG. 4, parts corresponding to those in FIGS. 1 and 2 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
  • the surgery system 11 has an image information acquisition unit 201, an image processing device 33, a notification information presentation unit 202, and an interface unit 66 regarding detection and notification of a dangerous situation.
  • the image processing device 33 includes a control unit 211 and a notification information generation unit 212.
  • the image information acquisition unit 201 acquires a tomographic image and a front image based on control from the control unit 211 of the image processing device 33 and supplies the tomographic image and front image to the image processing device 33.
  • the image information acquisition unit 201 corresponds to a front image capturing unit 63 and a tomographic image capturing unit 64, as shown in FIG.
  • the front image capturing unit 63 captures a front image and supplies it to the control unit 211 and the notification information generation unit 212.
  • the tomographic image capture unit 64 captures a tomographic image, and the control unit 211 and the notification information generation unit. 212.
  • the tomographic image acquisition method is determined by the control unit 211 based on the recognition result of the front image and other information, and is instructed by the control unit 211 to the tomographic image capturing unit 64.
  • the control unit 211 of the image processing device 33 controls the operation of the entire operation microscope 21 such as changing the illumination condition of the light source 61 or changing the zoom magnification of the observation optical system 62.
  • control unit 211 has a tomographic image determination unit 213, a dangerous state detection unit 214, and a device control information generation unit 215 regarding detection and notification of the dangerous state.
  • the tomographic image determination unit 213 determines an imaging plane (tomographic plane) to be imaged by the tomographic image imaging unit 64 based on the front image supplied from the image information acquisition unit 201 and designates it to the tomographic image imaging unit 64. For example, the tomographic image determination unit 213 detects the cornea range of the eye and the pupil range by recognizing the front image, and determines a plane passing through the central position of the cornea as a tomographic plane. Since the method for determining the tomographic plane varies depending on the dangerous situation to be detected, details will be described later.
  • the dangerous situation detection unit 214 detects a dangerous situation during eye surgery based on the tomographic image supplied from the image information acquisition unit 201.
  • the dangerous situation detection unit 214 may calculate a predetermined risk parameter from the tomographic image, and may detect the dangerous situation based on the calculated risk parameter, or may detect the dangerous situation directly from the tomographic image.
  • the dangerous situation detection unit 214 instructs the notification information generation unit 212 to generate notification information for notifying the operator of the dangerous situation.
  • the device control information generation unit 215 generates device control information for controlling the external device when a dangerous situation is detected, and supplies the device control information to the interface unit 66. For example, the device control information generation unit 215 supplies the risk parameter calculated by the dangerous situation detection unit 214 to the external device via the interface unit 66 as device control information. Further, for example, the device control information generation unit 215 supplies a device control signal for stopping the operation of the ultrasonic emulsification suction device 261 (FIG. 10) as an external device to the external device via the interface unit 66 as device control information. To do.
  • the notification information generation unit 212 Based on the control of the control unit 211, the notification information generation unit 212 generates notification information for notifying an operator or the like of a dangerous situation when the dangerous situation is detected, and supplies the notification information to the notification information presentation unit 202. To do.
  • the notification information is, for example, a sound control signal for outputting a sound such as a buzzer sound or a melody sound, a screen control signal for a screen notifying the detection of a dangerous situation, or the like.
  • the front image or the tomographic image itself may be supplied to the notification information presentation unit 202 as notification information.
  • the device control information generation unit 215 and the notification information generation unit 212 correspond to a control information generation unit that generates and outputs control information for coping with the detected dangerous situation.
  • the notification information presentation unit 202 presents the notification information supplied from the notification information generation unit 212 to the operator.
  • the notification information presentation unit 202 corresponds to a rotating lamp or an indicator lamp (lamp) such as the monitor 34 and the speaker 67.
  • step S ⁇ b> 1 the image information acquisition unit 201 acquires a front image of the eye and supplies it to the control unit 211.
  • step S ⁇ b> 2 the tomographic image determination unit 213 of the control unit 211 performs image recognition processing of the front image of the eye supplied from the image information acquisition unit 201.
  • the image recognition process of the front image for example, a predetermined position of the eye necessary for determining the tomographic plane such as the center position 232 of the cornea (corneal ring portion) 231 of the eye shown in FIG. 7 is detected.
  • FIG. 7 is an image view of a front image obtained by photographing the patient's eyes opened with the eyelid device from the front.
  • the pupil 233 is inside the cornea 231, and the wound position 234 is in the region of the cornea 231 outside the pupil 233.
  • step S3 the tomographic image determination unit 213 of the control unit 211 determines a tomographic plane that is a plane from which a tomographic image is acquired based on the image recognition result of the front image.
  • Information for identifying the determined tomographic plane is supplied from the control unit 211 to the image information acquisition unit 201.
  • step S ⁇ b> 4 the image information acquisition unit 201 acquires a tomographic image based on the tomographic plane identification information supplied from the control unit 211, and supplies it to the control unit 211 and the notification information generation unit 212.
  • the tomographic images are continuously acquired at a predetermined frame rate (for example, 30 images / second).
  • step S5 the dangerous situation detection unit 214 of the control unit 211 calculates and outputs risk parameters based on the tomographic image supplied from the image information acquisition unit 201.
  • the calculation and output of the risk parameter may be omitted depending on the dangerous situation to be detected.
  • the calculated risk parameter is supplied to the interface unit 66 via the device control information generation unit 215, and is output from the interface unit 66 to the external device.
  • step S6 the dangerous situation detection unit 214 determines whether a dangerous situation to be detected has been detected based on the calculated risk parameter.
  • risk parameter calculation is omitted, the dangerous situation detection unit 214 determines whether a dangerous situation to be detected has been detected based on the tomographic image supplied from the image information acquisition unit 201.
  • step S6 If it is determined in step S6 that a dangerous situation to be detected has been detected, the process proceeds to step S7, and the processes of steps S7 and S8 described later are executed. On the other hand, if it is determined in step S6 that a dangerous situation has not been detected, the processes in steps S7 and S8 are skipped, and the process proceeds to step S9.
  • step S6 If it is determined in step S6 that a dangerous situation to be detected has been detected, the process proceeds to step S7, and the notification information generation unit 212 generates and outputs notification information according to the control of the control unit 211.
  • step S7 the dangerous situation detection unit 214 of the control unit 211 instructs the notification information generation unit 212 to output a buzzer sound as notification information. Further, the dangerous situation detection unit 214 instructs the notification information generation unit 212 to use the tomographic image supplied from the image information acquisition unit 201 as notification information.
  • the notification information generation unit 212 outputs a control signal (acoustic signal) for controlling the speaker 67 to the notification information presentation unit 202 according to the control of the control unit 211, and notifies the tomographic image supplied from the image information acquisition unit 201.
  • the information is supplied to the notification information presentation unit 202 as information.
  • step S7 the device control information generation unit 215 of the control unit 211 supplies the device control information for controlling the external device to the interface unit 66. To supply.
  • the notification information presentation unit 202 presents notification information based on the notification information supplied from the notification information generation unit 212.
  • the speaker 67 as the notification information presentation unit 202 outputs a buzzer sound.
  • the monitor 34 as the notification information presentation unit 202 displays the tomographic image supplied from the notification information generation unit 212.
  • the notification information presentation unit 202 may present (display) the tomographic image.
  • step S9 the control unit 211 determines whether to end the dangerous situation detection notification process. For example, after the notification information is presented in step S ⁇ b> 8, the control unit 211 determines that the dangerous situation detection notification process is to be ended when an instruction to stop the process is given by an operation of the touch panel or the like.
  • step S9 If it is determined in step S9 that the dangerous situation detection notification process has not yet ended, the process returns to step S1, and the subsequent processes are repeatedly executed.
  • step S9 if it is determined in step S9 that the dangerous situation detection notification process is to be terminated, the process is terminated.
  • a dangerous situation can be detected based on a tomographic image and notified to an operator during an eye surgery. Further, the external device can be controlled (automatically) without an operator's operation.
  • step S3 the control unit 211 passes through the central position 232 of the cornea 231 recognized from the front image, respectively in the horizontal direction and the vertical direction of the front image.
  • the parallel planes G1 and G2 are determined as tomographic planes.
  • the control unit 211 generates tomographic plane specifying information for specifying the determined tomographic plane and supplies it to the image information acquisition unit 201.
  • step S ⁇ b> 4 the image information acquisition unit 201 acquires a tomographic image based on the tomographic plane identification information supplied from the control unit 211 and supplies the tomographic image to the control unit 211.
  • step S5 the control unit 211 uses the distance from the corneal vertex 241 to the corner angle 242 as a risk parameter based on the tomographic image supplied from the image information acquisition unit 201 as shown in FIG.
  • the direction distance P1 is calculated.
  • the cornea vertex 241 is the bottom surface side of the cornea 231, but may be the top surface side of the cornea 231. Further, a normalized value obtained by dividing the distance P1 from the corneal vertex 241 to the corner angle 242 by the corneal radius may be used as the risk parameter.
  • the calculated risk parameter is output as device control information for controlling the external device to the ultrasonic emulsification and suction device 261 shown in FIG.
  • the ultrasonic emulsification and suction device 261 controls the pressure of the perfusate (perfusion pressure) based on the supplied risk parameter. More specifically, the ultrasonic emulsification and suction device 261 performs control to increase the perfusion pressure when the risk parameter becomes smaller than a predetermined value.
  • the perfusion pressure can be controlled, for example, by controlling the bottle height of the perfusate.
  • step S6 the control unit 211 detects a dangerous situation, that is, a shallow anterior chamber, depending on whether or not the distance P1 from the corneal vertex 241 to the corner angle 242 as a risk parameter is smaller than a preset threshold value. Determine.
  • step S7 the notification information generation unit 212 generates notification information according to the control of the control unit 211 and supplies the notification information to the notification information presentation unit 202.
  • step S8 the speaker 67 as the notification information presentation unit 202 outputs a buzzer sound.
  • the monitor 34 as the notification information presentation unit 202 displays the tomographic image supplied from the notification information generation unit 212.
  • the display of the tomographic image may be executed after an operation for displaying the tomographic image by the operator is performed as described above.
  • FIG. 11 shows an example of a tomographic image displayed on the monitor 34 as notification information.
  • the lower side of the surgical instrument 243 is a shadow because the tomographic information cannot be acquired.
  • the dangerous situation detection notification process for detecting the shallow anterior chamber and notifying the surgeon it is possible to detect a situation that is likely to cause complications such as iris damage and corneal endothelial cell damage, and to deal with it quickly. Therefore, the occurrence of complications can be prevented. Further, by outputting the distance P1 from the corneal vertex 241 to the corner angle 242 as the risk parameter to the external device as device control information, it is possible to contribute to the prevention of complications.
  • step S3 of the dangerous situation detection notification process the control unit 211 passes through the center position 232 of the cornea 231 recognized from the front image as shown in FIG.
  • the planes G1 and G2 that are parallel to the vertical direction are determined as the tomographic planes.
  • the control unit 211 generates tomographic plane specifying information for specifying the determined tomographic plane and supplies it to the image information acquisition unit 201.
  • step S ⁇ b> 4 the image information acquisition unit 201 acquires a tomographic image based on the tomographic plane identification information supplied from the control unit 211 and supplies the tomographic image to the control unit 211.
  • step S5 the control unit 211 uses the distance from the corneal apex 241 to the posterior capsule lower end 244 as a risk parameter based on the tomographic image supplied from the image information acquisition unit 201 as shown in FIG. Vertical distance) P2 is calculated.
  • the corneal vertex 241 is the bottom surface side of the cornea 231, but may be the top surface side of the cornea 231. Further, a normalized value obtained by dividing the distance P2 from the corneal apex 241 to the posterior capsule lower end 244 by the corneal radius may be used as the risk parameter.
  • step S5 the calculated risk parameter is output as device control information to the ultrasonic emulsification and suction device 261 shown in FIG.
  • the ultrasonic emulsification and suction device 261 controls the pressure of the perfusate (perfusion pressure) based on the supplied risk parameter. More specifically, the ultrasonic emulsification and suction device 261 performs control to lower the perfusion pressure when the risk parameter becomes larger than a predetermined value.
  • the perfusion pressure can be controlled, for example, by controlling the bottle height of the perfusate.
  • step S6 the control unit 211 has detected a dangerous situation, that is, an IMS risk depending on whether or not the distance P2 from the corneal apex 241 to the posterior capsule lower end 244 is greater than a preset threshold as a risk parameter. Determine.
  • step S7 the notification information generation unit 212 generates notification information according to the control of the control unit 211 and supplies the notification information to the notification information presentation unit 202.
  • step S8 the speaker 67 as the notification information presentation unit 202 outputs a buzzer sound.
  • the monitor 34 as the notification information presentation unit 202 displays the tomographic image supplied from the notification information generation unit 212.
  • the display of the tomographic image may be executed after an operation for displaying the tomographic image by the operator is performed as described above.
  • FIG. 13 shows an example of a tomographic image displayed on the monitor 34 as notification information.
  • the lower side of the surgical instrument 243 is a shadow because the tomographic information cannot be acquired.
  • step S3 of the dangerous situation detection notification process the control unit 211 passes through the distal end of the surgical instrument 262 recognized from the front image as shown in FIG.
  • a plane G11 that is parallel to the direction and a plane G12 that is shifted (rotated) by a predetermined angle around the distal end of the surgical instrument 262 with respect to the plane G11 is determined as a tomographic plane.
  • the control unit 211 generates tomographic plane specifying information for specifying the determined tomographic plane and supplies it to the image information acquisition unit 201.
  • the angle of intersection between the surface G11 and the surface G12 is arbitrary, and may be, for example, an orthogonal angle.
  • step S ⁇ b> 4 the image information acquisition unit 201 acquires a tomographic image based on the tomographic plane identification information supplied from the control unit 211 and supplies the tomographic image to the control unit 211.
  • step S5 the control unit 211, as a risk parameter, based on the tomographic image supplied from the image information acquisition unit 201, as shown in FIG. 15, the distance from the distal end of the surgical instrument 262 to the lower posterior capsule lower end 244 ( For example, the vertical distance (P3) is calculated.
  • step S6 it is determined whether or not posterior capsule damage has been detected based on the acquired tomographic image.
  • the distance P3 from the distal end of the surgical instrument 262 to the lower posterior capsule lower end 244, which is a risk parameter, is determined. Until the value becomes small to some extent, the processing from step S1 to step S9 (determined as NO in step S6) is repeated.
  • the plurality of planes G21 to G25 are determined as tomographic planes.
  • Each of the plurality of surfaces G21 to G25 has a plurality of predetermined three-dimensional spaces (hereinafter referred to as tomographic imaging spaces) having a cross-sectional direction, a horizontal direction, and a vertical direction with the distal end of the surgical instrument 262 as the center in the plane direction. It is a surface that is equally divided at the tomographic plane.
  • step S3 the control unit 211 sets the tomographic space further smaller as shown in FIG.
  • the fault plane is determined so as to increase the density.
  • the tomography space is set smaller than in the case of FIG. 16, and the number of tomographic planes is two more than the five surfaces G21 to G25 in FIG. Has been decided on the surface.
  • the tomographic plane to be imaged is dynamically determined (changed) in accordance with the risk parameter that changes during the operation.
  • a plurality of radial planes G21 to G25 as shown in FIG. 20 to G25 and FIG. 20 may be determined as the tomographic plane.
  • the number of tomographic planes is not limited to five and is arbitrary.
  • step S6 based on the acquired tomographic image, it is determined whether or not posterior capsule damage has been detected.
  • the posterior capsule breakage is detected by, for example, detecting that there is a discontinuous portion in the posterior capsule in the tomographic image.
  • step S7 the notification information generation unit 212 generates notification information according to the control of the control unit 211 and supplies the notification information to the notification information presentation unit 202.
  • step S8 the speaker 67 as the notification information presentation unit 202 outputs a buzzer sound.
  • the monitor 34 as the notification information presentation unit 202 displays the tomographic image supplied from the notification information generation unit 212. As described above, the display of the tomographic image may be executed after an operation for displaying the tomographic image by the operator is performed.
  • the tomographic image displayed as the notification information is a tomographic image after the posterior capsule is broken, and is not a tomographic image at the moment when the posterior capsule is broken. Therefore, the notification information generation unit 212 holds (records) a past tomographic image for a certain period of time, and includes a moment when posterior capsule breakage is detected when an operator requests reproduction. A moving image of a tomographic image for a predetermined period or a tomographic image (still image) at the moment when posterior capsule breakage is detected may be displayed on the notification information presentation unit 202.
  • FIG. 21 shows an example of a tomographic image after posterior capsule breakage displayed on the monitor 34 as notification information.
  • the lower side of the surgical instrument 262 is a shadow because the tomographic information cannot be acquired.
  • the control unit 211 performs control to stop the operation of the ultrasonic emulsification and suction device 261 shown in FIG. 10 by outputting device control information to an external device.
  • the device control information generation unit 215 can perform control to stop the ultrasonic wave and suction during ultrasonic emulsification and suction, and stop the suction during I / A (perfusion / suction).
  • the device control information for controlling the external device is output to the external device, thereby contributing to prevention of seriousness when complications occur.
  • the nuclear fall danger situation detection notification process is started when the posterior capsule breakage is detected.
  • the control unit 211 sets a tomographic space around the posterior capsule breakage position and determines the tomographic plane in step S3. .
  • the planes G21 to G25 can be determined as tomographic planes. Even when the eye moves, the tomographic plane is determined by following the posterior capsule breakage position by image recognition.
  • step S6 it is determined whether or not a nuclear fall has been detected based on the acquired tomographic image.
  • the control unit 211 detects that a nuclear fall has occurred when an object with large scattering passes from the top to the bottom in the posterior capsule damage position. If the size of the dropped object (nucleus) is equal to or smaller than a predetermined size, the prognosis is not affected, so that it may not be detected that the nucleus is dropped.
  • step S7 the notification information generation unit 212 generates notification information according to the control of the control unit 211 and supplies the notification information to the notification information presentation unit 202.
  • step S8 the speaker 67 as the notification information presentation unit 202 outputs a buzzer sound.
  • the monitor 34 as the notification information presentation unit 202 displays the tomographic image supplied from the notification information generation unit 212.
  • the display of the tomographic image may be executed after an operation for displaying the tomographic image by the operator is performed as described above.
  • the tomographic image at the time of notification information presentation is a tomographic image after the fall of the nucleus, so it is not a tomographic image at the moment when the nucleus fell. Therefore, the notification information generation unit 212 retains (records) past tomographic images for a certain period of time, and includes a predetermined time including a moment when a nuclear fall is detected when a request for reproduction is made by the operator. A moving image of a tomographic image of a period or a tomographic image (still image) at the moment when a nuclear fall is detected may be presented to the notification information presentation unit 202.
  • FIG. 23 shows an example of a tomographic image at the time of nuclear fall displayed on the monitor 34 as notification information.
  • the lower side of the surgical instrument 262 is a shadow because the tomographic information cannot be acquired.
  • step S3 of the dangerous situation detection notification process the control unit 211, as shown in FIG. 24, identifies a specific portion (end portion in the longitudinal direction) of the intraocular lens 271 recognized from the front image. ) A plane G31 passing through 272 and parallel to the longitudinal direction is determined as a tomographic plane. Then, the control unit 211 generates tomographic plane specifying information for specifying the determined tomographic plane and supplies it to the image information acquisition unit 201.
  • step S ⁇ b> 4 the image information acquisition unit 201 acquires a tomographic image based on the tomographic plane identification information supplied from the control unit 211 and supplies the tomographic image to the control unit 211.
  • step S5 the control unit 211 uses the tomographic image supplied from the image information acquisition unit 201 as a risk parameter, as shown in FIG. A distance (for example, a distance in the vertical direction) P4 is calculated.
  • step S1 to step S9 are repeated until the risk parameter becomes smaller than a predetermined value.
  • the control unit 211 has a narrow tomographic imaging range as shown in FIG.
  • the fault plane is determined so that the density becomes high.
  • a plurality of surfaces G31 to G37 are determined so that a plurality of tomographic planes are taken in the longitudinal direction near the specific portion 272 of the intraocular lens 271.
  • the number and density of tomographic planes, the size of the tomographic space, the direction of the tomographic planes, and the like are not limited to this example, and can be arbitrarily determined. Further, the tomographic plane may be appropriately changed according to the calculated risk parameter (distance P4 from the specific portion 272 of the intraocular lens 271 to the upper end of the capsule 273).
  • the control unit 211 is shown in FIG.
  • the plurality of planes G31 to G40 are determined so as to take a plurality of tomographic planes for each portion where the risk parameter is equal to or less than a predetermined value.
  • a plurality of surfaces G31 to G35 are set for the first location, and a plurality of surfaces G36 to G40 are set for the second location.
  • a tomographic plane is dynamically determined (changed) in accordance with a risk parameter that changes during an operation.
  • step S6 based on the acquired tomographic image, it is determined whether or not erroneous implant insertion has been detected. That is, it is determined based on the tomographic image whether the intraocular lens 271 (or CTR: (CapsularsTension Ring)) to be put in the sac is set on the sac.
  • the intraocular lens 271 or CTR: (CapsularsTension Ring)
  • step S7 the notification information generation unit 212 generates notification information according to the control of the control unit 211 and supplies the notification information to the notification information presentation unit 202.
  • step S8 the speaker 67 as the notification information presentation unit 202 outputs a buzzer sound according to the control of the control unit 211.
  • the monitor 34 as the notification information presentation unit 202 displays the tomographic image supplied from the notification information generation unit 212.
  • the display of the tomographic image may be executed after an operation for displaying the tomographic image by the operator is performed as described above.
  • FIG. 28 shows an example of a tomographic image after detection of erroneous insertion of an implant displayed on the monitor 34 as notification information.
  • the control unit 211 In the detection of the iris escape risk, among the steps S1 to S9 of the dangerous situation detection notification process that is repeatedly executed, in the process of step S3 until the creation of the mouth is completed, the control unit 211, as shown in FIG.
  • the center position 232 of the cornea 231 recognized from the image and the plane G51 passing through the distal end of the surgical instrument 281 are determined as tomographic planes.
  • the control unit 211 generates tomographic plane specifying information for specifying the determined tomographic plane and supplies it to the image information acquisition unit 201.
  • the control unit 211 can determine that the creation of the wound has been completed when it is detected that the surgical instrument 281 enters the cornea 231 and then exits the cornea 231.
  • the control unit 211 determines a tomographic plane having a tomography space around the wound position 234 as shown in FIG. In FIG. 30, a plurality of planes G61 to G65 parallel to a line passing through the center position 232 of the cornea 231 and the wound position 234 (lines indicated by broken lines in the figure) are determined as the tomographic plane. Then, the control unit 211 generates tomographic plane specifying information for specifying the determined tomographic plane and supplies it to the image information acquisition unit 201.
  • step S ⁇ b> 4 the image information acquisition unit 201 acquires a tomographic image based on the tomographic plane identification information supplied from the control unit 211 and supplies the tomographic image to the control unit 211.
  • the control unit 211 performs control so that the tomographic images of the plurality of surfaces G61 to G65 are acquired over a predetermined time.
  • the tomographic image acquisition rate is, for example, 30 sheets / second, and control is performed so as to acquire the tomographic image for at least 1/3 second or more, 10 sets of tomographic images of the planes G61 to G65 are obtained.
  • step S5 the control unit 211 uses the tomographic image supplied from the image information acquisition unit 201 as a risk parameter, as shown in FIG. 31, the distance from the wound position 234 on the corneal 231 endothelium side to the iris 291. (For example, the vertical distance) P5 is calculated.
  • step S6 the control unit 211 determines whether the risk parameter, that is, the risk of iris escape, depending on whether or not the distance P5 from the wound position 234 on the cornea 231 endothelium side to the iris 291 is shorter than a preset threshold. Is detected.
  • step S6 If it is determined in step S6 that the distance P5 from the corneal 231 endothelium-side wound position 234 to the iris 291 is shorter than a predetermined threshold and an iris escape risk is detected, in step S7, the notification information generating unit 212 In accordance with the control of the control unit 211, notification information is generated and supplied to the notification information presentation unit 202.
  • step S8 the speaker 67 as the notification information presentation unit 202 outputs a buzzer sound.
  • the monitor 34 as the notification information presentation unit 202 displays the tomographic image supplied from the notification information generation unit 212.
  • the display of the tomographic image may be executed after an operation for displaying the tomographic image by the operator is performed as described above.
  • FIG. 32 shows an example of a tomographic image displayed on the monitor 34 as notification information.
  • the dangerous situation detection notification process for detecting an iris escape risk and notifying an operator it is possible to detect a situation that is likely to cause an iris escape that is a complication, and to take appropriate measures to avoid the complication. Specifically, for example, it is possible to promote the re-creation of the wound, so that the occurrence of complications can be prevented.
  • the six types of danger situations described above in cataract surgery are: (1) superficial anterior chamber, (2) IMS risk, (3) posterior capsule damage, (4) Nuclear fall, (5) Implant misinsertion, (6) Iris escape risk can be detected and notified to the operator, or external devices can be controlled. Thereby, generation
  • the surgical system 11 may execute a danger situation detection notification process for detecting two or more kinds of danger situations simultaneously (in parallel). Is possible.
  • a plurality of tomographic planes are determined at predetermined intervals with respect to a predetermined tomographic space, and a plurality of tomographic images are acquired.
  • the volume data 292 shown in FIG. 33 can be acquired by narrowing the interval for acquiring the surface.
  • the volume data 292 in FIG. 33 is a three-dimensional image obtained as a result of integration of tomographic images at each tomographic plane position by closely setting intervals between a plurality of parallel tomographic planes.
  • the surgeon can confirm an arbitrary tomographic image by designating a predetermined tomographic plane.
  • the image processing apparatus 33 obtains volume data 292 of a predetermined tomographic space instead of acquiring a plurality of tomographic images, and a predetermined tomography among them. An image may be displayed as notification information.
  • Computer configuration example> The series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 34 is a block diagram showing an example of a hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 305 is connected to the bus 304.
  • An input unit 306, an output unit 307, a recording unit 308, a communication unit 309, and a drive 310 are connected to the input / output interface 305.
  • the input unit 306 includes a keyboard, a mouse, a microphone, an image sensor, and the like.
  • the output unit 307 includes a display, a speaker, and the like.
  • the recording unit 308 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 309 includes a network interface or the like.
  • the drive 310 drives a removable recording medium 311 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 301 loads, for example, the program recorded in the recording unit 308 to the RAM 303 via the input / output interface 305 and the bus 304, and executes the above-described series. Is performed.
  • the program executed by the computer (CPU 301) can be provided by being recorded in a removable recording medium 311 as a package medium or the like, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 308 via the input / output interface 305 by attaching the removable recording medium 311 to the drive 310. Further, the program can be received by the communication unit 309 via a wired or wireless transmission medium and installed in the recording unit 308. In addition, the program can be installed in advance in the ROM 302 or the recording unit 308.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can also take the following structures.
  • a dangerous situation detection unit that detects a dangerous situation
  • An image processing apparatus comprising: a control information generation unit that generates and outputs control information for coping with the detected dangerous situation.
  • the dangerous situation detection unit calculates a risk parameter based on the tomographic image of the eye and detects a dangerous situation based on the risk parameter.
  • the dangerous situation detection unit detects a dangerous situation by calculating a distance from a corneal apex to a corner as the risk parameter.
  • the image processing apparatus according to any one of (1) to (12), further including a tomographic image determination unit that determines a photographing surface of the tomographic image of the eye to be acquired based on the front image of the eye.
  • the image processing apparatus according to (13), wherein the tomographic image determination unit determines a plane passing through a central position of a cornea range as the imaging plane.
  • the tomographic image determination unit determines a plane that passes through a distal end of a surgical instrument and is parallel to a longitudinal direction of the surgical instrument as the imaging plane.
  • the image processing apparatus displays a moving image or a still image of the acquired tomographic image as the notification information.
  • the image processing device Based on the tomographic image of the eye acquired during eye surgery, detect a dangerous situation, An image processing method including a step of generating and outputting control information for coping with the detected dangerous situation.
  • a tomographic imaging unit for imaging a tomographic image of the eye to be operated Based on the tomographic image of the eye acquired during surgery, a dangerous situation detection unit that detects a dangerous situation,
  • a surgical microscope comprising: a control information generation unit that generates and outputs control information for coping with the detected dangerous situation.
  • 11 surgical system 21 surgical microscope, 33 image processing device, 34 monitor, 63 front image capturing unit, 64 tomographic image capturing unit, 65 presentation unit, 66 interface unit, 67 speaker, 201 image information acquisition unit, 202 notification information generation unit , 211 control unit, 212 notification information generation unit, 213 tomographic image determination unit, 214 danger situation detection unit, 215 device control information generation unit, 231 cornea, 232 center position, 233 pupil, 241 cornea apex, 242 corner angle, 243 technique Tool, 244 lower posterior capsule lower end, 261 ultrasonic emulsification suction device, 262 surgical tool, 271 intraocular lens, 272 specific part, 273 upper capsule end, 291 iris, 301 CPU, 302 ROM, 303 RAM, 306 Power unit, 307 output unit, 308 recording unit, 309 communication unit, 310 drive

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Vascular Medicine (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本技術は、眼の手術中に、断層画像に基づいて危険状況を検出し、報知することができるようにする画像処理装置、画像処理方法、および手術顕微鏡に関する。 画像処理装置は、眼の手術中に取得された眼の断層画像に基づいて、危険状況を検出する危険状況検出部と、検出された危険状況に対処するための制御情報を生成して出力する制御情報生成部とを備える。本技術は、例えば、眼の手術等に用いる手術システム等に適用できる。

Description

画像処理装置、画像処理方法、および手術顕微鏡
　本技術は、画像処理装置、画像処理方法、および手術顕微鏡に関し、特に、眼の手術中に、断層画像に基づいて危険状況を検出し、報知することができるようにする画像処理装置、画像処理方法、および手術顕微鏡に関する。
　眼の手術において、眼を正面から撮影した正面画像の他に、眼の奥行き方向の断面の画像である断層画像が、診断や解析のための画像として用いられている。例えば、特許文献１には、OCT（Optical Coherence Tomography：光干渉断層計）によって取得された眼の断層画像の解析結果を出力する眼科解析装置が開示されている。OCTは、施術対象の眼に近赤外光を照射し、眼の各組織による反射波を再構成して像を生成する技術である。
特開２０１４－１４０４９０号公報
　しかしながら、従来、眼の手術中に、断層画像に基づいて合併症などの危険状況を検出したり、報知することは行われていなかった。
　本技術は、このような状況に鑑みてなされたものであり、眼の手術中に、断層画像に基づいて危険状況を検出し、報知することができるようにするものである。
　本技術の第１の側面の画像処理装置は、眼の手術中に取得された前記眼の断層画像に基づいて、危険状況を検出する危険状況検出部と、検出された前記危険状況に対処するための制御情報を生成して出力する制御情報生成部とを備える。
　本技術の第２の側面の画像処理方法は、画像処理装置が、眼の手術中に取得された前記眼の断層画像に基づいて、危険状況を検出し、検出された前記危険状況に対処するための制御情報を生成して出力するステップを含む。
　本技術の第３の側面の手術顕微鏡は、手術対象の眼の断層画像を撮影する断層画像撮影部と、手術中に取得された前記眼の断層画像に基づいて、危険状況を検出する危険状況検出部と、検出された前記危険状況に対処するための制御情報を生成して出力する制御情報生成部とを備える。
　本技術の第１乃至第３の側面においては、眼の手術中に取得された前記眼の断層画像に基づいて、危険状況が検出され、検出された前記危険状況に対処するための制御情報が生成されて出力される。
　画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本技術の第１乃至第３の側面によれば、眼の手術中に、断層画像に基づいて危険状況を検出し、報知することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した手術システムの一実施の形態の構成例を示す図である。 手術顕微鏡の詳細な構成を示すブロック図である。 白内障手術について簡単に説明する図である。 危険状況の検出と報知に関する部分のブロック図である。 画像情報取得部の構成例を示すブロック図である。 手術顕微鏡による危険状況検出報知処理を説明するフローチャートである。 正面画像の画像認識処理を説明する図である。 浅前房の検出における断層面の決定を説明する図である。 浅前房の検出におけるリスクパラメータを説明する図である。 外部機器としての超音波乳化吸引装置を示す図である。 浅前房の検出における断層画像の例を示す図である。 IMSリスクの検出におけるリスクパラメータを説明する図である。 IMSリスクの検出における断層画像の例を示す図である。 後嚢破損の検出における断層面の決定を説明する図である。 後嚢破損の検出におけるリスクパラメータを説明する図である。 後嚢破損の検出における断層面の決定を説明する図である。 後嚢破損の検出における断層面の決定を説明する図である。 後嚢破損の検出における断層面の決定を説明する図である。 後嚢破損の検出における断層面の決定を説明する図である。 後嚢破損の検出における断層面の決定を説明する図である。 後嚢破損の検出における断層画像の例を示す図である。 核落下を説明する図である。 核落下の検出における断層画像の例を示す図である。 インプラント誤挿入の検出における断層面の決定を説明する図である。 インプラント誤挿入の検出におけるリスクパラメータを説明する図である。 インプラント誤挿入の検出における断層面の決定を説明する図である。 インプラント誤挿入の検出における断層面の決定を説明する図である。 インプラント誤挿入の検出における断層画像の例を示す図である。 虹彩脱出リスクの検出における断層面の決定を説明する図である。 虹彩脱出リスクの検出における断層面の決定を説明する図である。 虹彩脱出リスクの検出におけるリスクパラメータを説明する図である。 虹彩脱出リスクの検出における断層画像の例を示す図である。 ボリュームデータの例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．手術システムの構成例
２．危険状況の検出と報知に関するブロック図
３．危険状況検出報知処理の処理フロー
４．浅前房の検出例
５．IMSリスクの検出例
６．後嚢破損の検出例
７．核落下の検出例
８．インプラント誤挿入の検出例
９．虹彩脱出リスクの検出例
１０．コンピュータの構成例
＜１．手術システムの構成例＞
　図１は、本技術を適用した手術システムの一実施の形態の構成例を示す図である。
　図１に示す手術システム１１は、眼の手術に用いられるシステムであり、手術顕微鏡２１および患者用ベッド２２を有する。患者は患者用ベッド２２に横たわった状態で眼の手術を受ける。また、術者である医師は、手術顕微鏡２１により患者の眼を観察しながら手術を行う。
　手術顕微鏡２１は、手術対象となる患者の眼を拡大観察するための対物レンズ３１や接眼レンズ３２、画像処理装置３３、モニタ３４などを有している。
　画像処理装置３３は、対物レンズ３１を介して撮影された画像に対して所定の画像処理を行うことにより、手術中の危険な状況を検出して、出力する。
　モニタ３４は、対物レンズ３１を介して撮影された画像や、画像処理装置３３により生成された所定の情報、例えば、手術中の危険な状況（以下、危険状況ともいう。）を術者に報知する報知情報を表示する。
　手術システム１１において、例えば、医師は、接眼レンズ３２を覗き、対物レンズ３１を介して患者の眼を観察しながら手術を行う。また、医師は、モニタ３４に表示される画像や、画像処理装置３３によりモニタ３４に表示される所定の情報を確認しながら、手術を行う。
　図２は、手術顕微鏡２１の詳細な構成を示すブロック図である。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　手術顕微鏡２１は、光源６１、観察光学系６２、正面画像撮影部６３、断層画像撮影部６４、提示部６５、インターフェース部６６、および、スピーカ６７を有している。
　光源６１は、画像処理装置３３の制御に従って照明光を射出し、患者の眼を照明する。また、観察光学系６２は、例えば対物レンズ３１やハーフミラー７１、図示せぬレンズなどの光学素子から構成され、患者の眼から反射された光（観察光）を接眼レンズ３２および正面画像撮影部６３へと導く。
　すなわち、患者の眼から反射された光は、観察光として、対物レンズ３１や図示せぬレンズ等を介してハーフミラー７１に入射される。ハーフミラー７１に入射された観察光のうちの略半分は、ハーフミラー７１をそのまま透過し、透過型の提示部６５を介して接眼レンズ３２へと入射される。一方、ハーフミラー７１に入射された観察光の残りの半分は、ハーフミラー７１で反射されて正面画像撮影部６３へと入射される。
　正面画像撮影部６３は、例えばビデオカメラなどからなり、観察光学系６２から入射された観察光を受光して光電変換することで、患者の眼を正面から観察した画像、つまり患者の眼を略眼軸方向から撮影した画像である正面画像を撮影する。正面画像撮影部６３は、画像処理装置３３の制御に従って正面画像を撮影し、得られた正面画像を画像処理装置３３に供給する。
　断層画像撮影部６４は、例えば光干渉断層計（OCT(Optical Coherence Tomography)）やシャインプルークカメラなどからなる。断層画像撮影部６４は、画像処理装置３３の制御に従って患者の眼の断面の画像である断層画像を撮影し、得られた断層画像を画像処理装置３３に供給する。ここで、断層画像とは、患者の眼における眼軸方向と略平行な方向の断面の画像である。
　なお、断層画像撮影部６４は、例えば赤外光を用いて干渉原理により断層画像を取得するが、その際の赤外光の光路と、観察光学系６２内の観察光の光路の一部とが共通の光路となるようにしてもよい。
　接眼レンズ３２は、提示部６５を介して観察光学系６２から入射された観察光を集光して、患者の眼の光学像を結像させる。これにより、接眼レンズ３２を覗いている術者には、患者の眼の光学像が観察される。
　提示部６５は、透過型の表示デバイスからなり、接眼レンズ３２と観察光学系６２との間に配置されている。提示部６５は、観察光学系６２から入射された観察光を透過させて接眼レンズ３２に入射させるとともに、画像処理装置３３から供給された正面画像や断層画像、報知情報なども、必要に応じて提示（表示）する。正面画像や断層画像、報知情報などは、例えば、患者の眼の光学像に重畳されて提示されてもよいし、光学像を邪魔しないように、光学像の周辺部に提示されてもよい。
　画像処理装置３３は、手術顕微鏡２１全体の動作を制御する。例えば、画像処理装置３３は、光源６１の照明条件を変更したり、観察光学系６２のズーム倍率を変更したりする。また、画像処理装置３３は、インターフェース部６６から供給される術者等の操作情報などに基づいて、正面画像撮影部６３及び断層画像撮影部６４の画像取得を制御する。
　インターフェース部６６は、例えばモニタ３４に重畳して設けられたタッチパネルや、コントローラ、図示せぬリモートコントローラからの指令を受信したり、外部装置との通信を行ったりする通信部などからなり、術者等の操作に応じた情報などを画像処理装置３３に供給する。また、インターフェース部６６は、危険な状況が検出されたときに画像処理装置３３から供給される、外部機器を制御するための機器制御情報などを、外部機器に出力する。
　モニタ３４は、画像処理装置３３の制御に応じて正面画像や断層画像、報知情報などを表示する。スピーカ６７は、手術中に危険な状況を検出した場合に、その危険状況を術者等に報知するための、ブザー音、メロディ音などの音、「～を検出しました」等のメッセージ（音声）などを出力する。その他、手術顕微鏡２１は、危険状況を術者等に報知するための回転灯や表示灯（ランプ）を備えていてもよい。
　以上のように構成される手術システム１１では、画像処理装置３３が、正面画像撮影部６３及び断層画像撮影部６４で取得された正面画像及び断層画像に基づいて、眼の手術中に発生した危険な状況を検出し、モニタ３４やスピーカ６７等で術者に危険状況を報知することができる。
　以下では、眼の手術の中でも、白内障手術を行う場合を例に、画像処理装置３３による危険状況の検出と、その報知ついて説明する。
　そこで、初めに、図３を参照して、白内障手術について簡単に説明する。
　白内障手術では、図３の矢印A11に示すように、まず患者の眼球１０１の角膜１０２部分等がナイフにより切開され、創口１０３が作成される。そして、創口１０３部分から術具が挿入されて眼球１０１内部にある水晶体１０４の前方部分、つまり前嚢部分が円形状に切開される。
　そして、矢印A12に示すように創口１０３から水晶体１０４の前嚢切開部分に術具が挿入されて、核処理と呼ばれる超音波振動による水晶体１０４の核の乳化（粉砕）と吸引が行われ、さらに皮質も吸引される。その後、矢印A13に示すように水晶体１０４内部に眼内レンズ１０５が挿入されて手術終了となる。
　このような白内障手術では、検出すべき危険状況として、例えば、以下に示されるものが挙げられる。
（１）浅前房：角膜裏面と虹彩表面の間の空間である前房が浅くなること
（２）IMS（Infusion Misdirection Syndrome）リスク：手術用の潅流液が水晶体の裏側に流れ込んでしまう状況
（３）後嚢破損：水晶体の後方部分である後嚢が破損すること
（４）核落下：後嚢破損が起きたときに、その破損部分から、水晶体の核が落下すること
（５）インプラント誤挿入：インプラント（体内埋め込み物体）の位置が正常ではない位置に挿入されること
（６）虹彩脱出リスク：虹彩が創口から眼外に出ること
　上述した（１）乃至（６）には、例えば、後嚢破損やインプラント誤挿入などのように、危険な状況が発生したことを検出する場合と、例えば、虹彩脱出リスクやIMSリスクなどのように、危険な状況の発生が想定される状況を検出する場合とがあるが、本明細書では、これらの両方を含めて、危険状況と定義する。
＜２．危険状況の検出と報知に関するブロック図＞
　図４は、手術システム１１のうち、危険状況の検出と報知に関する部分のブロック図である。図４においても、図１及び図２における部分と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
　手術システム１１は、危険状況の検出と報知に関し、画像情報取得部２０１、画像処理装置３３、報知情報提示部２０２、及び、インターフェース部６６を有している。また、画像処理装置３３は、制御部２１１、及び、報知情報生成部２１２を有する。
　画像情報取得部２０１は、画像処理装置３３の制御部２１１からの制御に基づいて、断層画像や正面画像を取得して、画像処理装置３３に供給する。画像情報取得部２０１は、具体的には、図５に示されるように、正面画像撮影部６３および断層画像撮影部６４に対応する。正面画像撮影部６３が、正面画像を撮影して、制御部２１１および報知情報生成部２１２に供給するとともに、断層画像撮影部６４が、断層画像を撮影して、制御部２１１および報知情報生成部２１２に供給する。断層画像の取得方法は、正面画像の認識結果及びその他の情報を基に、制御部２１１により決定され、制御部２１１から断層画像撮影部６４に指示される。
　画像処理装置３３の制御部２１１は、光源６１の照明条件を変更したり、観察光学系６２のズーム倍率を変更したりなど、手術顕微鏡２１全体の動作を制御する。
　また、制御部２１１は、危険状況の検出と報知に関し、断層画像決定部２１３、危険状況検出部２１４、及び、機器制御情報生成部２１５を有する。
　断層画像決定部２１３は、画像情報取得部２０１から供給される正面画像等に基づいて、断層画像撮影部６４が撮影する撮影面（断層面）を決定し、断層画像撮影部６４に指定する。例えば、断層画像決定部２１３は、正面画像を画像認識することにより、眼の角膜の範囲や瞳孔の範囲などを検出し、角膜の中心位置を通る面を断層面に決定する。断層面の決定方法は、検出すべき危険状況に応じて異なるため、詳細は後述する。
　危険状況検出部２１４は、画像情報取得部２０１から供給される断層画像に基づいて、眼の手術中における危険状況を検出する。危険状況検出部２１４は、断層画像から所定のリスクパラメータを算出し、算出されたリスクパラメータに基づいて危険状況を検出する場合もあるし、断層画像から直接、危険状況を検出する場合もある。
　危険状況検出部２１４は、危険状況が検出された際に、その危険状況を術者等に報知するための報知情報の生成を報知情報生成部２１２に指示する。
　機器制御情報生成部２１５は、危険状況が検出された際に、外部機器を制御する機器制御情報を生成し、インターフェース部６６に供給する。例えば、機器制御情報生成部２１５は、危険状況検出部２１４で算出されたリスクパラメータを、機器制御情報として、インターフェース部６６を介して外部機器に供給する。また例えば、機器制御情報生成部２１５は、外部機器としての超音波乳化吸引装置２６１（図１０）の動作を停止させる機器制御信号を、機器制御情報として、インターフェース部６６を介して外部機器に供給する。
　報知情報生成部２１２は、制御部２１１の制御に基づいて、危険状況が検出された際に、その危険状況を術者等に報知するための報知情報を生成し、報知情報提示部２０２に供給する。報知情報は、例えば、ブザー音、メロディ音などの音を出力させるための音制御信号、危険状況の検出を知らせる画面の画面制御信号などである。また、正面画像や断層画像そのものも、報知情報として報知情報提示部２０２に供給される場合もある。
　機器制御情報生成部２１５と報知情報生成部２１２は、検出された危険状況に対処するための制御情報を生成して出力する制御情報生成部に相当する。
　報知情報提示部２０２は、報知情報生成部２１２から供給された報知情報を、術者に提示する。報知情報提示部２０２は、モニタ３４やスピーカ６７等、回転灯や表示灯（ランプ）に対応する。
＜３．危険状況検出報知処理の処理フロー＞
　図６のフローチャートを参照して、上述した（１）乃至（６）の危険状況に共通な処理として、手術顕微鏡２１による危険状況検出報知処理について説明する。
　初めに、ステップＳ１において、画像情報取得部２０１は、眼の正面画像を取得し、制御部２１１に供給する。
　ステップＳ２において、制御部２１１の断層画像決定部２１３は、画像情報取得部２０１から供給された眼の正面画像の画像認識処理を行う。正面画像の画像認識処理では、例えば、図７に示される、眼の角膜（角膜輪部）２３１の中心位置２３２など、断層面を決定するために必要となる眼の所定の位置が検出される。図７は、開瞼器で開いた患者の眼を正面から撮影した正面画像のイメージ図である。図７において、角膜２３１の内側に瞳孔２３３があり、瞳孔２３３より外側の角膜２３１の領域に、創口位置２３４がある。
　ステップＳ３において、制御部２１１の断層画像決定部２１３は、正面画像の画像認識結果に基づいて、断層画像を取得する面である断層面を決定する。決定された断層面を特定する情報（断層面特定情報）は、制御部２１１から、画像情報取得部２０１へ供給される。
　ステップＳ４において、画像情報取得部２０１は、制御部２１１から供給された断層面特定情報に基づいて、断層画像を取得し、制御部２１１及び報知情報生成部２１２に供給する。断層画像は、所定のフレームレート（例えば、３０枚/秒）で継続的に取得される。
　ステップＳ５において、制御部２１１の危険状況検出部２１４は、画像情報取得部２０１から供給された断層画像に基づいて、リスクパラメータの算出と出力を行う。なお、リスクパラメータの算出及び出力は、検出対象となる危険状況によっては省略される場合もある。リスクパラメータが出力される場合、算出されたリスクパラメータは、機器制御情報生成部２１５を介してインターフェース部６６へ供給され、インターフェース部６６から外部機器へ出力される。
　ステップＳ６において、危険状況検出部２１４は、算出されたリスクパラメータに基づいて、検出対象となる危険状況を検出したかを判定する。また、リスクパラメータの算出が省略される場合には、危険状況検出部２１４は、画像情報取得部２０１から供給された断層画像に基づいて、検出対象となる危険状況を検出したかを判定する。
　ステップＳ６で、検出対象となる危険状況を検出したと判定された場合、処理はステップＳ７へ進み、後述するステップＳ７及びＳ８の処理が実行される。一方、ステップＳ６で、危険状況を検出していないと判定された場合、ステップＳ７及びＳ８の処理がスキップされ、処理はステップＳ９へ進められる。
　ステップＳ６で、検出対象となる危険状況を検出したと判定された場合、処理はステップＳ７へ進み、報知情報生成部２１２は、制御部２１１の制御に従い、報知情報の生成と出力を行う。
　より具体的には、ステップＳ７において、例えば、制御部２１１の危険状況検出部２１４は、報知情報生成部２１２に、報知情報として、ブザー音を出力するように指示する。また、危険状況検出部２１４は、画像情報取得部２０１から供給される断層画像を報知情報とすることを報知情報生成部２１２に指示する。報知情報生成部２１２は、制御部２１１の制御に従い、スピーカ６７を制御する制御信号（音響信号）を報知情報提示部２０２に出力するとともに、画像情報取得部２０１から供給される断層画像を、報知情報として、報知情報提示部２０２に供給する。
　また、検出された危険状況に対して、外部機器を制御する場合には、ステップＳ７において、制御部２１１の機器制御情報生成部２１５が、外部機器を制御するための機器制御情報をインターフェース部６６に供給する。
　ステップＳ８において、報知情報提示部２０２は、報知情報生成部２１２から供給された報知情報に基づいて、報知情報を提示する。例えば、報知情報提示部２０２としてのスピーカ６７は、ブザー音を出力する。報知情報提示部２０２としてのモニタ３４は、報知情報生成部２１２から供給された断層画像を表示する。
　なお、ブザー音の出力と断層画像の表示を同時に行うのではなく、例えば、報知情報提示部２０２が初めにブザー音を出力し、ブザー音に基づいて危険状況を認識した術者が、インターフェース部６６を介して断層画像の表示を指示した場合に、報知情報提示部２０２が断層画像を提示（表示）するようにしてもよい。
　ステップＳ９において、制御部２１１は、危険状況検出報知処理を終了するかを判定する。例えば、制御部２１１は、ステップＳ８において報知情報が提示された後、処理の停止がタッチパネルの操作等により、術者から指示された場合、危険状況検出報知処理を終了すると判定する。
　ステップＳ９で、危険状況検出報知処理をまだ終了しないと判定された場合、処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。
　一方、ステップＳ９で、危険状況検出報知処理を終了すると判定された場合、処理が終了する。
　以上のように実行される危険状況検出報知処理によれば、眼の手術中に、断層画像に基づいて危険状況を検出し、術者に報知することができる。また、外部機器を術者の操作なしに（自動で）制御することができる。
　次に、白内障手術における上述した６種類の危険状況、即ち、（１）浅前房、（２）IMSリスク、（３）後嚢破損、（４）核落下、（５）インプラント誤挿入、（６）虹彩脱出リスクのそれぞれの場合について、図６で説明した危険状況検出報知処理において異なる部分について、具体的に説明する。なお、各危険状況の説明では、図６に示した危険状況検出報知処理の各ステップを適宜引用して説明する。
＜４．浅前房の検出例＞
　最初に、（１）浅前房の検出について説明する。
　浅前房の検出では、ステップＳ３において、制御部２１１は、図８に示されるように、正面画像から画像認識された角膜２３１の中心位置２３２を通り、正面画像の水平方向と垂直方向にそれぞれ平行な面Ｇ１及びＧ２を、断層面に決定する。そして、制御部２１１は、決定した断層面を特定する断層面特定情報を生成し、画像情報取得部２０１に供給する。
　ステップＳ４において、画像情報取得部２０１は、制御部２１１から供給される断層面特定情報に基づいて、断層画像を取得し、制御部２１１に供給する。
　ステップＳ５において、制御部２１１は、画像情報取得部２０１から供給された断層画像に基づいて、リスクパラメータとして、図９に示されるように、角膜頂点２４１から隅角２４２までの距離（例えば、鉛直方向の距離）Ｐ１を算出する。なお、図９では、角膜頂点２４１として、角膜２３１の底面側としているが、角膜２３１の上面側でもよい。また、角膜頂点２４１から隅角２４２までの距離Ｐ１を角膜半径で除算した正規化後の値を、リスクパラメータとして用いてもよい。
　また、ステップＳ５では、算出されたリスクパラメータが、インターフェース部６６を介して、図１０に示される超音波乳化吸引装置２６１に、外部機器を制御する機器制御情報として出力される。超音波乳化吸引装置２６１は、供給されたリスクパラメータに基づいて、潅流液の圧力（潅流圧）を制御する。より具体的には、超音波乳化吸引装置２６１は、リスクパラメータが所定の値よりも小さくなると潅流圧を上げるような制御を行う。潅流圧の制御は、例えば、潅流液のボトル高さを制御することで行うことができる。
　ステップＳ６において、制御部２１１は、リスクパラメータとしての、角膜頂点２４１から隅角２４２までの距離Ｐ１が予め設定した閾値よりも小さいか否かにより、危険状況、即ち、浅前房を検出したかを判定する。
　ステップＳ６で、浅前房が検出されたと判定された場合、ステップＳ７において、報知情報生成部２１２は、制御部２１１の制御に従い、報知情報を生成し、報知情報提示部２０２に供給する。
　ステップＳ８において、報知情報提示部２０２としてのスピーカ６７は、ブザー音を出力する。報知情報提示部２０２としてのモニタ３４は、報知情報生成部２１２から供給された断層画像を表示する。なお、断層画像の表示は、上述したように、術者による断層画像を表示させる操作が行われてから実行するようにしてもよい。
　図１１は、報知情報としてモニタ３４に表示された断層画像の例を示している。断層画像では、術具２４３の下側は、断層情報を取得することができないため、影となっている。
　上述した、浅前房を検出して術者に報知する危険状況検出報知処理によれば、虹彩損傷や角膜内皮細胞障害等の合併症を生じやすい状況を検出し、迅速に対処することができるので、合併症の発生を防止することができる。また、リスクパラメータである、角膜頂点２４１から隅角２４２までの距離Ｐ１を機器制御情報として外部機器に出力することで、合併症の予防に貢献することができる。
＜５．IMSリスクの検出例＞
　次に、（２）IMSリスクの検出について説明する。
　IMSリスクの検出では、危険状況検出報知処理のステップＳ３において、制御部２１１は、図８に示したように、正面画像から画像認識された角膜２３１の中心位置２３２を通り、正面画像の水平方向と垂直方向にそれぞれ平行な面Ｇ１及びＧ２を、断層面に決定する。そして、制御部２１１は、決定した断層面を特定する断層面特定情報を生成し、画像情報取得部２０１に供給する。
　ステップＳ４において、画像情報取得部２０１は、制御部２１１から供給される断層面特定情報に基づいて、断層画像を取得し、制御部２１１に供給する。
　ステップＳ５において、制御部２１１は、画像情報取得部２０１から供給された断層画像に基づいて、リスクパラメータとして、図１２に示されるように、角膜頂点２４１から後嚢下端２４４までの距離（例えば、鉛直方向の距離）Ｐ２を算出する。なお、図１２では、角膜頂点２４１として、角膜２３１の底面側としているが、角膜２３１の上面側でもよい。また、角膜頂点２４１から後嚢下端２４４までの距離Ｐ２を角膜半径で除算した正規化後の値を、リスクパラメータとして用いてもよい。
　また、ステップＳ５では、算出されたリスクパラメータが、インターフェース部６６を介して、図１０に示した超音波乳化吸引装置２６１に機器制御情報として出力される。超音波乳化吸引装置２６１は、供給されたリスクパラメータに基づいて、潅流液の圧力（潅流圧）を制御する。より具体的には、超音波乳化吸引装置２６１は、リスクパラメータが所定の値よりも大きくなると潅流圧を下げるような制御を行う。潅流圧の制御は、例えば、潅流液のボトル高さを制御することで行うことができる。
　ステップＳ６において、制御部２１１は、リスクパラメータとしての、角膜頂点２４１から後嚢下端２４４までの距離Ｐ２が予め設定した閾値よりも大きいか否かにより、危険状況、即ち、IMSリスクを検出したかを判定する。
　ステップＳ６で、IMSリスクが検出されたと判定された場合、ステップＳ７において、報知情報生成部２１２は、制御部２１１の制御に従い、報知情報を生成し、報知情報提示部２０２に供給する。
　ステップＳ８において、報知情報提示部２０２としてのスピーカ６７は、ブザー音を出力する。報知情報提示部２０２としてのモニタ３４は、報知情報生成部２１２から供給された断層画像を表示する。なお、断層画像の表示は、上述したように、術者による断層画像を表示させる操作が行われてから実行するようにしてもよい。
　図１３は、報知情報としてモニタ３４に表示された断層画像の例を示している。断層画像では、術具２４３の下側は、断層情報を取得することができないため、影となっている。
　上述した、IMSリスクを検出して術者に報知する危険状況検出報知処理によれば、合併症であるIMSを生じやすい状況を検出し、迅速に対処することができるので、合併症の発生を防止することができる。また、リスクパラメータである、角膜頂点２４１から後嚢下端２４４までの距離Ｐ２を機器制御情報として外部機器に出力することで、合併症の予防に貢献することができる。
＜６．後嚢破損の検出例＞
　次に、（３）後嚢破損の検出について説明する。
　後嚢破損の検出では、危険状況検出報知処理のステップＳ３において、制御部２１１は、図１４に示されるように、正面画像から画像認識された術具２６２の先端を通り、術具２６２の長手方向に平行な面Ｇ１１と、面Ｇ１１に対して、術具２６２の先端を中心に所定の角度だけずれた（回転させた）面Ｇ１２を、断層面に決定する。そして、制御部２１１は、決定した断層面を特定する断層面特定情報を生成し、画像情報取得部２０１に供給する。なお、面Ｇ１１と面Ｇ１２の交差角度は任意であり、例えば、直交する角度であってもよい。
　ステップＳ４において、画像情報取得部２０１は、制御部２１１から供給される断層面特定情報に基づいて、断層画像を取得し、制御部２１１に供給する。
　ステップＳ５において、制御部２１１は、画像情報取得部２０１から供給された断層画像に基づいて、リスクパラメータとして、図１５に示されるように、術具２６２の先端から後嚢下端２４４までの距離（例えば、鉛直方向の距離）Ｐ３を算出する。
　次のステップＳ６では、取得された断層画像に基づいて、後嚢破損が検出されたか否かが判定されるが、リスクパラメータである、術具２６２の先端から後嚢下端２４４までの距離Ｐ３が、ある程度、小さい値になるまでは、ステップＳ１乃至ステップＳ９の処理（ステップＳ６ではＮＯと判定される）が繰り返される。
　そして、リスクパラメータが所定の値より小さい値となり、術具２６２の先端から後嚢下端２４４までの距離が所定の近さになると、ステップＳ３において、制御部２１１は、図１６に示されるように、複数の面Ｇ２１乃至Ｇ２５を、断層面に決定する。複数の面Ｇ２１乃至Ｇ２５それぞれは、術具２６２の先端を平面方向の中心として、断面方向と水平方向及び垂直方向とからなる所定の三次元空間（以下、断層撮影空間という。）を、複数の断層面で等分割するような面である。
　術具２６２の先端から後嚢下端２４４までの距離が、さらに近づくと、ステップＳ３において、制御部２１１は、図１７に示されるように、断層撮影空間をさらに小さく設定し、断層画像の本数と密度を大きくするように断層面を決定する。図１７の例では、断層撮影空間が、図１６における場合よりも小さく設定され、断層面の数も、図１６における５つの面Ｇ２１乃至Ｇ２５よりも２つ多い、７つの面Ｇ２１乃至Ｇ２７が断層面に決定されている。
　このように、後嚢破損の検出では、手術中に変化するリスクパラメータに応じて、撮影される断層面も動的に決定（変更）される。
　なお、断層面は、断層撮影空間をカバーするように、複数の断層面位置が決定されればよいため、図１６及び図１７に示したような、術具２６２の長手方向に平行な複数の断層面に限られない。例えば、図１８に示されるような、術具２６２の長手方向に垂直な複数の面Ｇ２１乃至Ｇ２５や、図１９に示されるような、術具２６２の長手方向に所定の角度の複数の面Ｇ２１乃至Ｇ２５、図２０に示されるような、放射状の複数の面Ｇ２１乃至Ｇ２５を、断層面に決定してもよい。また、断層面の面数も５つに制限されず、任意である。
　ステップＳ６では、取得された断層画像に基づいて、後嚢破損が検出されたか否かが判定される。後嚢破損の検出は、具体的には、例えば、断層画像における後嚢に不連続部分があることの検出により行う。
　ステップＳ６で、後嚢破損が検出されたと判定された場合、ステップＳ７において、報知情報生成部２１２は、制御部２１１の制御に従い、報知情報を生成し、報知情報提示部２０２に供給する。
　ステップＳ８において、報知情報提示部２０２としてのスピーカ６７は、ブザー音を出力する。報知情報提示部２０２としてのモニタ３４は、報知情報生成部２１２から供給された断層画像を表示する。断層画像の表示は、上述したように、術者による断層画像を表示させる操作が行われてから実行するようにしてもよい。
　ここで、報知情報として表示される断層画像は、後嚢破損後の断層画像となっており、後嚢を破損した瞬間の断層画像ではない。そこで、報知情報生成部２１２は、過去の一定時間の断層画像を保持（記録）しておくようにして、術者から再生の要求がされたときに、後嚢破損が検出された瞬間を含む所定期間の断層画像の動画像、または、後嚢破損が検出された瞬間の断層画像（静止画）を報知情報提示部２０２に提示させるようにしてもよい。
　図２１は、報知情報としてモニタ３４に表示された後嚢破損後の断層画像の例を示している。断層画像では、術具２６２の下側は、断層情報を取得することができないため、影となっている。
　さらに、後嚢破損の検出では、ステップＳ７において、制御部２１１が、機器制御情報を外部機器に出力することで、図１０に示した超音波乳化吸引装置２６１の動作を停止させる制御を行うようにすることができる。具体的には、機器制御情報生成部２１５が、超音波乳化吸引時は、超音波と吸引を停止させ、I/A（潅流／吸引）時は、吸引を停止させる制御を行うことができる。
　上述した、後嚢破損を検出して術者に報知する危険状況検出報知処理によれば、合併症を早期に検出し、迅速に対処することができるので、重篤化を防止することができる。また、後嚢破損が検出された際に、外部機器を制御する機器制御情報を外部機器に出力することで、合併症発生時の重篤化防止に貢献することができる。
＜７．核落下の検出例＞
　次に、（４）核落下の検出について説明する。
　危険状況検出報知処理として、核落下が検出される場合には、後嚢破損が検出された時から、核落下の危険状況検出報知処理が開始される。
　核の落下は、図２２に示されるように、後嚢破損個所から起きるので、制御部２１１は、ステップＳ３において、後嚢破損位置を中心に断層撮影空間を設定して、断層面を決定する。具体的には、後嚢破損の検出のときと同様に、後嚢破損位置を中心にして、図１６に示した術具２６２の長手方向に平行な複数の面Ｇ２１乃至Ｇ２５、図１８に示した術具２６２の長手方向に垂直な複数の面Ｇ２１乃至Ｇ２５、図１９に示した術具２６２の長手方向に所定の角度の複数の面Ｇ２１乃至Ｇ２５、または、図２０に示した放射状の複数の面Ｇ２１乃至Ｇ２５などを、断層面に決定することができる。眼が移動した場合であっても、画像認識により、後嚢破損位置に追従して、断層面が決定される。
　ステップＳ６では、取得された断層画像に基づいて、核落下が検出されたか否かが判定される。制御部２１１は、断層画像において、後嚢破損位置を、散乱の大きな物体が上から下に通過した場合、核落下が発生したと検出する。なお、落下した物体（核）のサイズが所定のサイズ以下である場合には、予後に影響しないので、核落下と検出しないようにしてもよい。
　ステップＳ６で、核落下が検出されたと判定された場合、ステップＳ７において、報知情報生成部２１２は、制御部２１１の制御に従い、報知情報を生成し、報知情報提示部２０２に供給する。
　ステップＳ８において、報知情報提示部２０２としてのスピーカ６７は、ブザー音を出力する。報知情報提示部２０２としてのモニタ３４は、報知情報生成部２１２から供給された断層画像を表示する。なお、断層画像の表示は、上述したように、術者による断層画像を表示させる操作が行われてから実行するようにしてもよい。
　報知情報提示時の断層画像は、核落下後の断層画像となっているので、核が落下した瞬間の断層画像ではない。そこで、報知情報生成部２１２は、過去の一定時間の断層画像を保持（記録）しておくようにして、術者から再生の要求がされたときに、核落下が検出された瞬間を含む所定期間の断層画像の動画像、または、核落下が検出された瞬間の断層画像（静止画）を報知情報提示部２０２に提示させるようにしてもよい。
　図２３は、報知情報としてモニタ３４に表示された核落下時の断層画像の例を示している。断層画像では、術具２６２の下側は、断層情報を取得することができないため、影となっている。
　上述した、核落下を検出して術者に報知する危険状況検出報知処理によれば、核落下に対する適切な処置、具体的には、例えば、硝子体手術の実施を促し、合併症への対応漏れの可能性を低減することができる。
＜８．インプラント誤挿入の検出例＞
　次に、（５）インプラント誤挿入の検出について説明する。なお、以下では、インプラントが眼内レンズである場合を例にして説明する。
　インプラント誤挿入の検出では、危険状況検出報知処理のステップＳ３において、制御部２１１は、図２４に示されるように、正面画像から画像認識された眼内レンズ２７１の特定部分（長手方向の端部）２７２を通り、長手方向に平行な面Ｇ３１を、断層面に決定する。そして、制御部２１１は、決定した断層面を特定する断層面特定情報を生成し、画像情報取得部２０１に供給する。
　ステップＳ４において、画像情報取得部２０１は、制御部２１１から供給される断層面特定情報に基づいて、断層画像を取得し、制御部２１１に供給する。
　ステップＳ５において、制御部２１１は、画像情報取得部２０１から供給された断層画像に基づいて、リスクパラメータとして、図２５に示されるように、眼内レンズ２７１の特定部分２７２から嚢上端２７３までの距離（例えば、鉛直方向の距離）Ｐ４を算出する。
　リスクパラメータが所定の値より小さい値となるまで、ステップＳ１乃至ステップＳ９の処理（ステップＳ６ではＮＯと判定される）が繰り返される。そして、眼内レンズ２７１の特定部分２７２から嚢上端２７３までの距離Ｐ４が所定の近さになると、ステップＳ３において、制御部２１１は、図２６に示されるように断層面の撮影範囲が狭く、密度が高くなるように、断層面を決定する。図２６の例では、眼内レンズ２７１の特定部分２７２付近で長手方向の向きに複数の断層面をとるように、複数の面Ｇ３１乃至Ｇ３７が決定されている。なお、断層面の個数及び密度、断層撮影空間の大きさ、断層面の向きなどは、この例に限定されず、任意に決定することができる。また、算出されるリスクパラメータ（眼内レンズ２７１の特定部分２７２から嚢上端２７３までの距離Ｐ４）に応じて、断層面を、適宜変更してもよい。
　また、眼内レンズ２７１の特定部分２７２から嚢上端２７３までの距離Ｐ４が所定の値以下の近さになる箇所が２か所となった場合には、制御部２１１は、図２７に示されるように、リスクパラメータが所定の値以下となった箇所それぞれについて、複数の断層面をとるように、複数の面Ｇ３１乃至４０を決定する。図２７の例では、１個目の箇所について複数の面Ｇ３１乃至３５が設定されており、２個目の箇所について複数の面Ｇ３６乃至Ｇ４０が設定されている。
　このように、インプラント誤挿入の検出においても、手術中に変化するリスクパラメータに応じて、断層面も動的に決定（変更）される。
　ステップＳ６では、取得された断層画像に基づいて、インプラント誤挿入が検出されたか否かが判定される。即ち、嚢の中に入れるべき眼内レンズ２７１（やCTR:(Capsular Tension Ring)）が嚢の上に設定されてしまっているかどうかが、断層画像に基づいて判定される。
　ステップＳ６で、インプラント誤挿入が検出されたと判定された場合、ステップＳ７において、報知情報生成部２１２は、制御部２１１の制御に従い、報知情報を生成し、報知情報提示部２０２に供給する。
　ステップＳ８において、報知情報提示部２０２としてのスピーカ６７は、制御部２１１の制御に従い、ブザー音を出力する。報知情報提示部２０２としてのモニタ３４は、報知情報生成部２１２から供給された断層画像を表示する。なお、断層画像の表示は、上述したように、術者による断層画像を表示させる操作が行われてから実行するようにしてもよい。
　図２８は、報知情報としてモニタ３４に表示された、インプラント誤挿入検出後の断層画像の例を示している。
　上述した、インプラント誤挿入を検出して術者に報知する危険状況検出報知処理によれば、誤った処置を早期に検出し、望ましい処置の実施を可能とすることができる。
＜９．虹彩脱出リスクの検出例＞
　次に、（６）虹彩脱出リスクの検出について説明する。
　虹彩脱出リスクの検出において、繰り返し実行される危険状況検出報知処理のステップＳ１乃至Ｓ９のうち、創口作成完了までのステップＳ３の処理では、制御部２１１は、図２９に示されるように、正面画像から画像認識された角膜２３１の中心位置２３２と、術具２８１の先端を通る面Ｇ５１を、断層面に決定する。そして、制御部２１１は、決定した断層面を特定する断層面特定情報を生成し、画像情報取得部２０１に供給する。
　なお、制御部２１１は、術具２８１が角膜２３１内に入り、その後、角膜２３１から出たことを検出した場合に、創口作成完了と判断することができる。
　そして、創口作成完了以降のステップＳ３の処理では、制御部２１１は、図３０に示されるような、創口位置２３４周辺を断層撮影空間とする断層面を決定する。図３０では、断層面として、角膜２３１の中心位置２３２と創口位置２３４を通る線（図中、破線で示される線）に平行な複数の面Ｇ６１乃至Ｇ６５が決定されている。そして、制御部２１１は、決定した断層面を特定する断層面特定情報を生成し、画像情報取得部２０１に供給する。
　ステップＳ４において、画像情報取得部２０１は、制御部２１１から供給される断層面特定情報に基づいて、断層画像を取得し、制御部２１１に供給する。制御部２１１は、複数の面Ｇ６１乃至Ｇ６５それぞれの断層画像が、一定時間以上にわたって取得されるように制御する。断層画像の取得レートが、例えば、３０枚/秒であり、少なくとも１／３秒以上は断層画像を取得するように制御した場合、面Ｇ６１乃至Ｇ６５それぞれの断層画像が１０セット得られる。
　ステップＳ５において、制御部２１１は、画像情報取得部２０１から供給された断層画像に基づいて、リスクパラメータとして、図３１に示されるように、角膜２３１内皮側の創口位置２３４から虹彩２９１までの距離（例えば、鉛直方向の距離）Ｐ５を算出する。
　ステップＳ６において、制御部２１１は、リスクパラメータとしての、角膜２３１内皮側の創口位置２３４から虹彩２９１までの距離Ｐ５が予め設定した閾値よりも短いか否かにより、危険状況、即ち、虹彩脱出リスクを検出したかを判定する。
　ステップＳ６で、角膜２３１内皮側の創口位置２３４から虹彩２９１までの距離Ｐ５が所定の閾値よりも短く、虹彩脱出リスクが検出されたと判定された場合、ステップＳ７において、報知情報生成部２１２は、制御部２１１の制御に従い、報知情報を生成し、報知情報提示部２０２に供給する。
　ステップＳ８において、報知情報提示部２０２としてのスピーカ６７は、ブザー音を出力する。報知情報提示部２０２としてのモニタ３４は、報知情報生成部２１２から供給された断層画像を表示する。なお、断層画像の表示は、上述したように、術者による断層画像を表示させる操作が行われてから実行するようにしてもよい。
　図３２は、報知情報としてモニタ３４に表示された断層画像の例を示している。
　上述した、虹彩脱出リスクを検出して術者に報知する危険状況検出報知処理によれば、合併症である虹彩脱出を生じやすい状況を検出し、合併症を回避するための適切な処置、具体的には、例えば、創口の作り直しを促すことができるので、合併症の発生を防止することができる。
　以上、説明したように、図１の手術システム１１によれば、白内障手術における上述した６種類の危険状況、即ち、（１）浅前房、（２）IMSリスク、（３）後嚢破損、（４）核落下、（５）インプラント誤挿入、（６）虹彩脱出リスクを検出し、術者に報知したり、外部機器を制御したりすることができる。これにより、合併症の発生を防止したり、合併症発生時の重篤化を防止することができる。
　なお、上述の説明では、６種類の危険状況それぞれを個別に説明したが、手術システム１１では、２種類以上の危険状況を同時に（並行して）検出する危険状況検出報知処理を実行することが可能である。
　上述した各危険状況を検出する危険状況検出報知処理においては、所定の断層撮影空間に対して一定間隔を空けて複数の断層面を決定し、複数の断層画像を取得するようにしたが、断層面を取得する間隔を密にすることで、図３３に示されるボリュームデータ２９２を取得することができる。
　図３３のボリュームデータ２９２は、互いに並行な複数の断層面どうしの間隔を密に設定することで、各断層面位置の断層画像の集積結果として得られる立体画像である。画像処理装置３３が手術中の眼のボリュームデータ２９２を有する場合、術者は、所定の断層面を指定することで、任意の断層画像を確認することができる。
　上述した各危険状況を検出する危険状況検出報知処理において、画像処理装置３３は、複数の断層画像を取得する代わりに、所定の断層撮影空間のボリュームデータ２９２を取得し、そのなかの所定の断層画像を、報知情報として表示するようにしてもよい。
＜１０．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
　バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、入力部３０６、出力部３０７、記録部３０８、通信部３０９、及びドライブ３１０が接続されている。
　入力部３０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部３０７は、ディスプレイ、スピーカなどよりなる。記録部３０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３０９は、ネットワークインターフェースなどよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体３１１を駆動する。
　以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体３１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　眼の手術中に取得された前記眼の断層画像に基づいて、危険状況を検出する危険状況検出部と、
　検出された前記危険状況に対処するための制御情報を生成して出力する制御情報生成部と
　を備える画像処理装置。
（２）
　前記危険状況検出部は、前記眼の断層画像に基づいてリスクパラメータを算出し、前記リスクパラメータに基づいて危険状況を検出する
　前記（１）に記載の画像処理装置。
（３）
　前記危険状況検出部は、前記リスクパラメータとして、角膜頂点から隅角までの距離を算出し、危険状況を検出する
　前記（１）または（２）に記載の画像処理装置。
（４）
　前記危険状況検出部は、前記危険状況として、浅前房を検出する
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
　前記危険状況検出部は、前記リスクパラメータとして、角膜頂点から後嚢下端までの距離を算出し、危険状況を検出する
　前記（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
　前記危険状況検出部は、前記危険状況として、IMSリスクを検出する
　前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
　前記危険状況検出部は、前記リスクパラメータとして、インプラントの特定部分から嚢上端までの距離を算出し、危険状況を検出する
　前記（２）乃至（６）のいずれかに記載の画像処理装置。
（８）
　前記危険状況検出部は、前記危険状況として、インプラントの誤挿入を検出する
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
　前記危険状況検出部は、前記リスクパラメータとして、角膜の創口位置から虹彩までの距離を算出し、危険状況を検出する
　前記（２）乃至（８）のいずれかに記載の画像処理装置。
（１０）
　前記危険状況検出部は、前記危険状況として、虹彩脱出リスクを検出する
　前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
　前記危険状況検出部は、前記危険状況として、後嚢破損を検出する
　前記（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
　前記危険状況検出部は、前記危険状況として、核落下を検出する
　前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
　前記眼の正面画像に基づいて、取得する前記眼の断層画像の撮影面を決定する断層画像決定部をさらに備える
　前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
　前記断層画像決定部は、角膜範囲の中心位置を通る面を、前記撮影面に決定する
　前記（１３）に記載の画像処理装置。
（１５）
　前記断層画像決定部は、術具の先端を通り、前記術具の長手方向に平行な面を、前記撮影面に決定する
　前記（１３）または（１４）に記載の画像処理装置。
（１６）
　前記断層画像決定部は、インプラントの特定部分を通る面を、前記撮影面に決定する
　前記（１３）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
　前記断層画像決定部は、既に取得された前記断層画像にも基づいて、前記眼の断層画像の撮影面を決定する
　前記（１３）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
　前記断層画像決定部は、眼の手術中に、取得する前記眼の断層画像の撮影面を動的に決定する
　前記（１３）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
　前記制御情報生成部は、前記危険状況に対処するための制御情報として、術者に前記危険状況を報知する報知情報を生成して出力する
　前記（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）
　前記制御情報生成部は、前記報知情報として、取得された前記断層画像の動画または静止画を表示する
　前記（１９）に記載の画像処理装置。
（２１）
　前記制御情報生成部は、前記危険状況に対処するための制御情報として、外部機器を制御する機器制御情報を生成して出力する
　前記（１）乃至（２０）のいずれかに記載の画像処理装置。
（２２）
　画像処理装置が、
　眼の手術中に取得された前記眼の断層画像に基づいて、危険状況を検出し、
　検出された前記危険状況に対処するための制御情報を生成して出力する
　ステップを含む画像処理方法。
（２３）
　手術対象の眼の断層画像を撮影する断層画像撮影部と、
　手術中に取得された前記眼の断層画像に基づいて、危険状況を検出する危険状況検出部と、
　検出された前記危険状況に対処するための制御情報を生成して出力する制御情報生成部と
　を備える手術顕微鏡。
　１１　手術システム，　２１　手術顕微鏡，　３３　画像処理装置，　３４　モニタ，　６３　正面画像撮影部，　６４　断層画像撮影部，　６５　提示部，　６６　インターフェース部，　６７　スピーカ，　２０１　画像情報取得部，　２０２　報知情報生成部，　２１１　制御部，　２１２　報知情報生成部，　２１３　断層画像決定部，　２１４　危険状況検出部，　２１５　機器制御情報生成部，　２３１　角膜，　２３２　中心位置，　２３３　瞳孔，　２４１　角膜頂点，　２４２　隅角，　２４３　術具，　２４４　後嚢下端，　２６１　超音波乳化吸引装置，　２６２　術具，　２７１　眼内レンズ，　２７２　特定部分，　２７３　嚢上端，　２９１　虹彩，　３０１　CPU，　３０２　ROM，　３０３　RAM，　３０６　入力部，　３０７　出力部，　３０８　記録部，　３０９　通信部，　３１０　ドライブ

Claims (23)

  1. 　眼の手術中に取得された前記眼の断層画像に基づいて、危険状況を検出する危険状況検出部と、
    　検出された前記危険状況に対処するための制御情報を生成して出力する制御情報生成部と
    　を備える画像処理装置。
  2. 　前記危険状況検出部は、前記眼の断層画像に基づいてリスクパラメータを算出し、前記リスクパラメータに基づいて危険状況を検出する
    　請求項１に記載の画像処理装置。
  3. 　前記危険状況検出部は、前記リスクパラメータとして、角膜頂点から隅角までの距離を算出し、危険状況を検出する
    　請求項２に記載の画像処理装置。
  4. 　前記危険状況検出部は、前記危険状況として、浅前房を検出する
    　請求項１に記載の画像処理装置。
  5. 　前記危険状況検出部は、前記リスクパラメータとして、角膜頂点から後嚢下端までの距離を算出し、危険状況を検出する
    　請求項２に記載の画像処理装置。
  6. 　前記危険状況検出部は、前記危険状況として、IMSリスクを検出する
    　請求項１に記載の画像処理装置。
  7. 　前記危険状況検出部は、前記リスクパラメータとして、インプラントの特定部分から嚢上端までの距離を算出し、危険状況を検出する
    　請求項２に記載の画像処理装置。
  8. 　前記危険状況検出部は、前記危険状況として、インプラントの誤挿入を検出する
    　請求項１に記載の画像処理装置。
  9. 　前記危険状況検出部は、前記リスクパラメータとして、角膜の創口位置から虹彩までの距離を算出し、危険状況を検出する
    　請求項２に記載の画像処理装置。
  10. 　前記危険状況検出部は、前記危険状況として、虹彩脱出リスクを検出する
    　請求項１に記載の画像処理装置。
  11. 　前記危険状況検出部は、前記危険状況として、後嚢破損を検出する
    　請求項１に記載の画像処理装置。
  12. 　前記危険状況検出部は、前記危険状況として、核落下を検出する
    　請求項１に記載の画像処理装置。
  13. 　前記眼の正面画像に基づいて、取得する前記眼の断層画像の撮影面を決定する断層画像決定部をさらに備える
    　請求項１に記載の画像処理装置。
  14. 　前記断層画像決定部は、角膜範囲の中心位置を通る面を、前記撮影面に決定する
    　請求項１３に記載の画像処理装置。
  15. 　前記断層画像決定部は、術具の先端を通り、前記術具の長手方向に平行な面を、前記撮影面に決定する
    　請求項１３に記載の画像処理装置。
  16. 　前記断層画像決定部は、インプラントの特定部分を通る面を、前記撮影面に決定する
    　請求項１３に記載の画像処理装置。
  17. 　前記断層画像決定部は、既に取得された前記断層画像にも基づいて、前記眼の断層画像の撮影面を決定する
    　請求項１３に記載の画像処理装置。
  18. 　前記断層画像決定部は、眼の手術中に、取得する前記眼の断層画像の撮影面を動的に決定する
    　請求項１３に記載の画像処理装置。
  19. 　前記制御情報生成部は、前記危険状況に対処するための制御情報として、術者に前記危険状況を報知する報知情報を生成して出力する
    　請求項１に記載の画像処理装置。
  20. 　前記制御情報生成部は、前記報知情報として、取得された前記断層画像の動画または静止画を表示する
    　請求項１に記載の画像処理装置。
  21. 　前記制御情報生成部は、前記危険状況に対処するための制御情報として、外部機器を制御する機器制御情報を生成して出力する
    　請求項１に記載の画像処理装置。
  22. 　画像処理装置が、
    　眼の手術中に取得された前記眼の断層画像に基づいて、危険状況を検出し、
    　検出された前記危険状況に対処するための制御情報を生成して出力する
    　ステップを含む画像処理方法。
  23. 　手術対象の眼の断層画像を撮影する断層画像撮影部と、
    　手術中に取得された前記眼の断層画像に基づいて、危険状況を検出する危険状況検出部と、
    　検出された前記危険状況に対処するための制御情報を生成して出力する制御情報生成部と
    　を備える手術顕微鏡。
PCT/JP2016/078981 2015-10-15 2016-09-30 画像処理装置、画像処理方法、および手術顕微鏡 Ceased WO2017065018A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680004053.8A CN106999298B (zh) 2015-10-15 2016-09-30 图像处理装置、图像处理方法以及手术显微镜
US15/522,106 US10307051B2 (en) 2015-10-15 2016-09-30 Image processing device, method of image processing, and surgical microscope
EP16855272.7A EP3216431B1 (en) 2015-10-15 2016-09-30 Image processing device and surgical microscope
JP2017525133A JP6791135B2 (ja) 2015-10-15 2016-09-30 画像処理装置、画像処理方法、および手術顕微鏡

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015203409 2015-10-15
JP2015-203409 2015-10-15

Publications (1)

Publication Number Publication Date
WO2017065018A1 true WO2017065018A1 (ja) 2017-04-20

Family

ID=58518104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/078981 Ceased WO2017065018A1 (ja) 2015-10-15 2016-09-30 画像処理装置、画像処理方法、および手術顕微鏡

Country Status (5)

Country Link
US (1) US10307051B2 (ja)
EP (1) EP3216431B1 (ja)
JP (1) JP6791135B2 (ja)
CN (1) CN106999298B (ja)
WO (1) WO2017065018A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207466A1 (ja) * 2017-05-09 2018-11-15 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2022163268A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 制御装置、制御システム及び制御方法
US12045979B2 (en) 2021-01-29 2024-07-23 Sony Olympus Medical Solutions Inc. Medical image processing device and medical observation system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049250B2 (en) * 2017-11-22 2021-06-29 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10799189B2 (en) * 2017-11-22 2020-10-13 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
US10783634B2 (en) 2017-11-22 2020-09-22 General Electric Company Systems and methods to deliver point of care alerts for radiological findings
CN111936034B (zh) * 2018-04-11 2024-06-18 爱尔康公司 用于数字显微镜的自动xy定心
JP7148113B2 (ja) * 2018-06-04 2022-10-05 株式会社トーメーコーポレーション 眼科装置
USD908891S1 (en) * 2019-09-03 2021-01-26 This Ag Ophthalmologic apparatus
US12431000B2 (en) * 2024-02-27 2025-09-30 International Business Machines Corporation Detecting allergens using internet of things

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011059018A1 (ja) * 2009-11-11 2011-05-19 株式会社ニデック 眼科装置
JP2012506272A (ja) * 2008-10-22 2012-03-15 ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング コンピューター支援眼部手術用の画像処理方法および装置
US20140221822A1 (en) * 2013-02-04 2014-08-07 The Cleveland Clinic Foundation Instrument depth tracking for oct-guided procedures

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5098426A (en) * 1989-02-06 1992-03-24 Phoenix Laser Systems, Inc. Method and apparatus for precision laser surgery
US8394084B2 (en) * 2005-01-10 2013-03-12 Optimedica Corporation Apparatus for patterned plasma-mediated laser trephination of the lens capsule and three dimensional phaco-segmentation
JP5478840B2 (ja) * 2008-05-19 2014-04-23 キヤノン株式会社 光断層撮像装置および光断層撮像装置の制御方法
JP5415812B2 (ja) * 2009-04-17 2014-02-12 株式会社トプコン 光画像計測装置及びその制御方法
JP5762712B2 (ja) * 2010-09-30 2015-08-12 株式会社ニデック 眼科観察システム
US20130100409A1 (en) * 2011-10-20 2013-04-25 Robert Edward Grant Method and System for Combining OCT and Ray Tracing to Create an Optical Model for Achieving a Predictive Outcome
US20140320626A1 (en) * 2011-12-01 2014-10-30 Kyungpook National University Industry-Academic Cooperation Foundation Microscope for monitoring optical coherence tomography
TWI594723B (zh) * 2011-12-19 2017-08-11 愛爾康眼科手術激光股份有限公司 用於雷射白內障程序之手術內光學同調斷層掃描成像的影像處理器
US9066784B2 (en) * 2011-12-19 2015-06-30 Alcon Lensx, Inc. Intra-surgical optical coherence tomographic imaging of cataract procedures
EP2633804B1 (en) * 2012-03-02 2017-12-06 Nidek Co., Ltd Ophthalmologic photographing apparatus
JP6241040B2 (ja) 2013-01-23 2017-12-06 株式会社ニデック 眼科解析装置、及び眼科解析プログラム
WO2015017375A2 (en) * 2013-07-29 2015-02-05 Bioptigen, Inc. Procedural optical coherence tomography (oct) for surgery and related systems and methods
WO2015116981A1 (en) * 2014-01-30 2015-08-06 Duke University Systems and methods for eye tracking for motion corrected ophthalmic optical coherenece tomography
JP6594033B2 (ja) * 2015-05-14 2019-10-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012506272A (ja) * 2008-10-22 2012-03-15 ゼンゾモトリック インストルメンツ ゲゼルシャフト フュア イノベイティブ ゼンゾリク ミット ベシュレンクテル ハフツング コンピューター支援眼部手術用の画像処理方法および装置
WO2011059018A1 (ja) * 2009-11-11 2011-05-19 株式会社ニデック 眼科装置
US20140221822A1 (en) * 2013-02-04 2014-08-07 The Cleveland Clinic Foundation Instrument depth tracking for oct-guided procedures

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3216431A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207466A1 (ja) * 2017-05-09 2018-11-15 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JPWO2018207466A1 (ja) * 2017-05-09 2020-03-12 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10993838B2 (en) 2017-05-09 2021-05-04 Sony Corporation Image processing device, image processing method, and image processing program
JP7088176B2 (ja) 2017-05-09 2022-06-21 ソニーグループ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
WO2022163268A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 制御装置、制御システム及び制御方法
US12045979B2 (en) 2021-01-29 2024-07-23 Sony Olympus Medical Solutions Inc. Medical image processing device and medical observation system
US12436377B2 (en) 2021-01-29 2025-10-07 Sony Group Corporation Control device, control system, and control method for ophthalmic surgery

Also Published As

Publication number Publication date
CN106999298B (zh) 2021-05-04
US10307051B2 (en) 2019-06-04
EP3216431A1 (en) 2017-09-13
EP3216431B1 (en) 2022-06-29
CN106999298A (zh) 2017-08-01
JP6791135B2 (ja) 2020-11-25
JPWO2017065018A1 (ja) 2018-08-02
EP3216431A4 (en) 2018-09-05
US20180008139A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
JP6791135B2 (ja) 画像処理装置、画像処理方法、および手術顕微鏡
JP5721291B2 (ja) 視力矯正処置においてリアルタイムのフィードバックを提供するための機器およびその作動方法
US20210113281A1 (en) Predictive apparatus for assisting a physician during ophthalmic surgery
US20210311295A1 (en) Information processing apparatus, information processing method, and operation microscope apparatus
JP6839272B2 (ja) フェムト秒レーザ眼科手術におけるドッキングのためのシステム及び方法
JP7184077B2 (ja) 制御装置および方法、並びに手術顕微鏡システム
JP2018515187A (ja) Ｏｃｔ画像の修正
US10327636B2 (en) Ophthalmic apparatus, and treatment site measuring method for the apparatus
US9125599B2 (en) Systems and methods for balancing infrared illumination in eye imaging
US9265419B2 (en) Systems and methods for measuring position and boundary of lens capsule and implanted intraocular lens in eye imaging
CN112804974B (zh) 在眼睛内部中产生切口
US20240033035A1 (en) Image processing device, image processing method, and surgical microscope system
US10970813B2 (en) Shaking image for registration verification
WO2022163190A1 (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
US11376159B2 (en) System and method for automated position maintenance of an ophthalmic surgery cone
JP2012225826A (ja) 干渉光計測装置
JP2024031230A (ja) 眼科装置
JP2025113057A (ja) 眼科装置、眼科装置の制御方法、及びプログラム
JP2022116559A (ja) 画像処理装置、画像処理方法及び手術顕微鏡システム
JP2022044645A (ja) 眼科装置
CN111542257A (zh) 眼科用复合光学图像拍摄装置及其控制方法
JP2016049183A5 (ja)

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15522106

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2017525133

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16855272

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016855272

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE