[go: up one dir, main page]

WO2019044328A1 - 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法 - Google Patents

医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法 Download PDF

Info

Publication number
WO2019044328A1
WO2019044328A1 PCT/JP2018/028551 JP2018028551W WO2019044328A1 WO 2019044328 A1 WO2019044328 A1 WO 2019044328A1 JP 2018028551 W JP2018028551 W JP 2018028551W WO 2019044328 A1 WO2019044328 A1 WO 2019044328A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
image
unit
processing
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/028551
Other languages
English (en)
French (fr)
Inventor
浩司 鹿島
岳志 宮井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019539095A priority Critical patent/JP7160041B2/ja
Priority to EP18849540.2A priority patent/EP3662810A4/en
Priority to US16/640,730 priority patent/US11154179B2/en
Publication of WO2019044328A1 publication Critical patent/WO2019044328A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/12—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements
    • A61B1/121—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning post-use
    • A61B1/123—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with cooling or rinsing arrangements provided with means for cleaning post-use using washing machines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
    • A61L2/02—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor using physical phenomena
    • A61L2/04—Heat
    • A61L2/06—Hot gas
    • A61L2/07—Steam
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2453—Optical details of the proximal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G02B5/3083—Birefringent or phase retarding elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0271—Thermal or temperature sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/10—Apparatus features
    • A61L2202/14—Means for controlling sterilisation processes, data processing, presentation and storage means, e.g. sensors, controllers, programs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
    • A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
    • A61L2202/20—Targets to be treated
    • A61L2202/24—Medical instruments, e.g. endoscopes, catheters, sharps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Definitions

  • the present disclosure relates to a medical image processing apparatus, a medical image processing system, and a method of driving a medical image processing apparatus.
  • Patent Document 1 discloses an example of a so-called electronic endoscope system capable of displaying an image of a diseased part imaged by an imaging device on a display unit.
  • EDOF Extended Depth Of Field
  • a birefringence mask is applied to an optical system for acquiring an object image, and an image captured through the optical system is subjected to the optical characteristics of the birefringence mask.
  • image processing image signal processing
  • a medical device such as an endoscope can be subjected to autoclave (high pressure steam) sterilization every time it is used.
  • autoclave high pressure steam
  • Repeatedly performing such autoclave sterilization processing changes the optical characteristics of the birefringence mask applied to the optical system such as an endoscope, and the processing related to the expansion of the depth of field (for example, the above-mentioned image processing) May affect the resulting image (eg, the image quality of the image may change).
  • the present disclosure proposes a technique capable of realizing control in accordance with an increase in the depth of field using a birefringence mask in a more preferable manner.
  • a control unit configured to perform control such that a corrected image is generated by performing image processing on an image obtained by capturing an object image of a patient acquired via an optical system including a birefringence mask. And an acquisition unit for acquiring information on the application status of the high-pressure steam sterilization processing to the optical system, wherein the control unit controls the image processing according to the application status of the high-pressure steam sterilization processing.
  • a processing device is provided.
  • an image pickup apparatus including an optical system that includes a birefringence mask and that acquires a subject image of a patient, and an imaging unit that captures an image of the subject image;
  • An image processing apparatus including a control unit that performs control to generate a corrected image by performing image processing on the image processing unit, and an acquisition unit that acquires information on the application status of high-pressure steam sterilization processing to the optical system.
  • the medical image processing system is provided, wherein the control unit controls the image processing in accordance with an application state of the high-pressure steam sterilization processing.
  • a computer performs image processing on an image obtained by capturing a subject image of a patient acquired via an optical system including a birefringence mask so that a corrected image is generated.
  • Medical image processing comprising: controlling and obtaining information on application of high pressure steam sterilization to the optical system, wherein the image processing is controlled according to the application of the high pressure steam sterilization.
  • a method of driving a device is provided.
  • FIG. 10 is an explanatory diagram for describing an overview of a medical image processing system according to a first modification
  • FIG. 13 is an explanatory diagram for describing an overview of a medical image processing system according to a second modification
  • FIG. 18 is an explanatory diagram for describing an overview of a medical image processing system according to a third modification
  • It is a functional block diagram showing an example of 1 composition of hardware constitutions of an information processor which constitutes a medical image processing system concerning the embodiment. It is a figure showing an example of rough composition of a microscope operation system. It is a figure which shows the mode of the surgery using the microscopic surgery system shown in FIG.
  • FIG. 1 is an explanatory diagram for describing an example of a schematic configuration of a medical image processing system according to an embodiment of the present disclosure.
  • the medical image processing system 1 is an endoscopic surgery system.
  • the operator (doctor) 3 performs endoscopic surgery on the patient 7 on the patient bed 5 using the medical image processing system 1.
  • the medical image processing system 1 includes an endoscope 10, other surgical instruments (surgical instruments) 30, a support arm device 40 for supporting the endoscope 10, and various devices for endoscopic surgery. And a cart 50 mounted thereon.
  • a plurality of cylindrical opening tools 37a to 37d called a trocar are punctured in the abdominal wall. Then, the barrels 11 of the endoscope 10 and the other surgical tools 30 are inserted into the body cavity of the patient 7 from the trocars 37a to 37d.
  • a pneumoperitoneum tube 31, an energy treatment tool 33 and a forceps 35 are shown as other surgical tools 30.
  • the energy treatment device 33 is used for treatment such as incision or ablation of tissue or sealing of a blood vessel with high frequency current or ultrasonic vibration.
  • the illustrated surgical tool 30 is merely an example, and other types of surgical tools (for example, forceps or a retractor) may be used.
  • the image in the body cavity of the patient 7 imaged by the endoscope 10 is displayed by the display device 53.
  • the operator 3 performs a treatment such as excision of the affected area using the energy treatment tool 33 and the forceps 35 while viewing the display image in real time.
  • a treatment such as excision of the affected area using the energy treatment tool 33 and the forceps 35 while viewing the display image in real time.
  • the insufflation tube 31, the energy treatment tool 33, and the forceps 35 are supported by the user such as the operator 3 or an assistant during the operation.
  • the support arm device 40 includes an arm 43 extending from the base 41.
  • the arm unit 43 includes joints 45 a, 45 b and 45 c, and links 47 a and 47 b, and supports the endoscope 10.
  • the arm unit 43 being driven according to the control from the arm control device 57, the position and attitude of the endoscope 10 are controlled, and stable position fixing of the endoscope 10 can also be realized.
  • the endoscope 10 includes a lens barrel 11 and a camera head 13 connected to the proximal end of the lens barrel 11. A portion from the tip of the lens barrel 11 to a certain length is inserted into the body cavity of the patient 7.
  • the endoscope 10 is configured as a so-called rigid endoscope having a rigid barrel 11, but the endoscope 10 may be configured as a so-called flexible mirror.
  • the endoscope 10 may be a straight endoscope, or may be an oblique endoscope or a side endoscope.
  • the camera head 13 includes an irradiation unit, and an imaging unit that incorporates an optical system, a drive system, and an image sensor.
  • the irradiation unit irradiates the object with the irradiation light supplied from the light source device 55 through the light guide.
  • the optical system typically includes a lens unit, and focuses observation light (reflected light of illumination light) from an object taken in from the tip of the lens barrel 11 toward the image sensor.
  • the positions of the zoom lens and the focus lens in the lens unit can be driven and changed by a drive system in order to variably control imaging conditions such as magnification and focal length.
  • the image sensor of the camera head 13 photoelectrically converts the observation light collected by the optical system to generate an image signal which is an electrical signal.
  • the image sensor may be a three-plate type sensor having separate imaging elements for respectively generating image signals of three color components, or may be another type of image sensor such as a single-plate type or two-plate type.
  • the image sensor may have any type of imaging device such as, for example, a complementary metal oxide semiconductor (CMOS) or a charge-coupled device (CCD).
  • CMOS complementary metal oxide semiconductor
  • CCD charge-coupled device
  • An image signal generated by the image sensor is transmitted to a camera control unit (CCU: Camera Control Unit) 51 as RAW data.
  • CCU Camera Control Unit 51 as RAW data.
  • a captured image represented by an image signal generated by the camera head 13 includes a parallax determination image.
  • the parallax determination image is typically composed of a right eye image and a left eye image.
  • the right eye image and the left eye image may be respectively generated by the right eye image sensor and the left eye image sensor of the compound eye camera. Instead, the right eye image and the left eye image may be generated by a single image sensor of a monocular camera (for example, in a shutter switching mode).
  • the CCU 51 is connected to the camera head 13 via a signal line and a communication interface.
  • the signal line between the camera head 13 and the CCU 51 is a high-speed transmission line that enables bidirectional communication, such as an optical cable.
  • the CCU 51 includes a processor such as a CPU (Central Processing Unit) and a memory such as a RAM (Random Access Memory), and centrally controls the operations of the endoscope 10 and the display device 53.
  • the CCU 51 may further include a frame memory for temporarily storing an image signal, and one or more GPUs (Graphics Processing Units) that execute image processing. For example, the CCU 51 determines parallax for each pixel (or for some other unit) based on the parallax determination image input from the camera head 13.
  • GPUs Graphics Processing Units
  • the determined parallax may be used for image processing such as, for example, generation of a stereoscopic image, expansion of depth of field, enhancement of stereoscopic effect, or expansion of dynamic range.
  • the CCU 51 may output an image generated as a result of image processing to the display device 53 for display or output to the recorder 65 for recording.
  • the series of images to be output may constitute a moving image (video).
  • Image processing performed in the CCU 51 may include general processing such as development and noise reduction, for example.
  • the CCU 51 also transmits a control signal to the camera head 13 to control the drive of the camera head 13.
  • the control signal may include, for example, information for specifying the imaging condition described above.
  • the display device 53 displays an image based on the input display image signal according to the control from the CCU 51.
  • the display device 53 may display a stereoscopic image based on the input display image signal.
  • the display device 53 may display the stereoscopic image in any method such as an active shutter method, a passive method, or a glassless method.
  • the light source device 55 includes, for example, a light source corresponding to an LED, a xenon lamp, a halogen lamp, a laser light source, or a combination thereof, and supplies illumination light to be irradiated toward the observation target to the endoscope 10 through the light guide. Do.
  • the arm control device 57 includes, for example, a processor such as a CPU, and controls driving of the arm unit 43 of the support arm device 40 by operating according to a predetermined program.
  • the input device 59 includes one or more input interfaces that receive user input to the medical image processing system 1.
  • the user can input various information or input various instructions to the medical image processing system 1 through the input device 59.
  • the user may input setting information or other parameters to be described later via the input device 59.
  • an instruction to drive the arm unit 43 an instruction to change the imaging condition (type of irradiation light, magnification, focal length, etc.) of the endoscope 10 through the input device 59, for example, the user
  • an instruction to drive the energy treatment device 33 is input.
  • Input device 59 may handle any type of user input.
  • input device 59 may detect physical user input through mechanisms such as a mouse, keyboard, switch (eg, foot switch 69) or lever.
  • the input device 59 may detect touch input via the touch panel.
  • the input device 59 may be realized in the form of a wearable device such as a glasses-type device or an HMD (Head Mounted Display), and may detect the user's gaze or gesture.
  • the input device 59 may also include a microphone capable of picking up the user's voice, and may detect voice commands via the microphone.
  • the treatment instrument control device 61 controls the drive of the energy treatment instrument 33 for treatment such as ablation or incision of tissue or sealing of a blood vessel.
  • the insufflation apparatus 63 expands the body cavity of the patient 7 for the purpose of securing a visual field observed by the endoscope 10 and securing a working space of the operator.
  • the recorder 65 records various information on medical work (for example, one or more of setting information, image information and measurement information from a vital sensor (not shown)) on a recording medium.
  • the printer 67 prints various information on medical work in some form such as text, an image or a graph.
  • the endoscope 10 may be configured to be able to insert an optical element 12 such as a so-called optical mask between the lens barrel 11 and the camera head 13.
  • the optical element 12 include a birefringence mask (BM: Birefringent Mask), a three-dimensional phase mask (Cubic Phase Mask), and the like.
  • BM Birefringent Mask
  • Cubic Phase Mask three-dimensional phase mask
  • the medical image processing system 1 by interposing such an optical element 12 between the lens barrel 11 and the camera head 13, an object image can be obtained with respect to the imaging element in the camera head 13.
  • the optical characteristics of the series of optical systems to be imaged are changed to adjust the amount of blur of the image to be captured (for example, the depth of field is controlled).
  • the details of the optical element 12 will be described later separately.
  • the resolution of imaging devices tends to be higher, and is not limited to “HD (1280 ⁇ 720)”, and “4K UHD (3840 ⁇ 2160)” or An “8K UHD (7680x4320)” is also proposed. Therefore, in the medical observation apparatus (imaging apparatus) such as the endoscope 10 according to the present embodiment, it is desired to increase the resolution of an image to be captured.
  • the pixel size of the imaging device tends to be smaller, and the amount of light collected by each pixel tends to be relatively smaller.
  • the aperture may be further opened (that is, the F value may be reduced) to compensate for the lack of light amount, but on the other hand, the depth of field becomes narrower as the aperture is opened. May be
  • the depth of field of an image to be captured is further expanded by applying the EDOF technique using a birefringence mask among the EDOF techniques.
  • the endoscope 10 according to the present embodiment is configured such that the optical element 12 can be inserted between the lens barrel 11 and the camera head 13, and the optical element 12 is inserted. As a result, the depth of field of the captured image is controlled.
  • FIG. 2 is an explanatory view for explaining an example of a schematic configuration of the optical element 12 applied to the endoscope 10 according to the present embodiment.
  • FIG. 2 shows an example of the case where the optical element 12 is configured as a birefringence mask, and the configuration of the optical element 12 when the optical element 12 is viewed from the optical axis direction of the camera head.
  • An example is shown.
  • the horizontal direction in the drawing is the x direction
  • the vertical direction is the y direction
  • the depth direction that is, the optical axis direction of the camera head 13
  • the optical axis direction (in other words, the depth direction) of the imaging device (for example, imaging device 3) is the z direction, and the lateral direction of the image captured by the imaging device And the longitudinal direction (that is, the direction perpendicular to the optical axis) is the x direction and the y direction.
  • a plurality of polarizing elements 121 to 123 are disposed in the area indicated by the reference numeral 125 from the vicinity of the center of the area 125 toward the outside.
  • a plurality of polarizing elements 121 to 123 are concentrically arranged on the xy plane perpendicular to the optical axis.
  • the arrow shown by FIG. 2 has shown typically the polarization direction of the polarizing element to which the said arrow was attached. That is, the polarization elements 121 to 123 are provided so that the polarization directions of the adjacent polarization elements are different from each other.
  • the polarization direction of the polarizing element 121 is the x direction.
  • the polarization direction of the polarization element 122 adjacent to the polarization element 121 is the y direction, which is rotated 90 degrees with respect to the polarization direction (x direction) of the polarization element 121.
  • the polarization direction of the polarization element 123 adjacent to the polarization element 122 is the x direction, which is rotated 90 degrees with respect to the polarization direction (y direction) of the polarization element 122.
  • FIG. 3 is an explanatory view for explaining an example of the configuration of the endoscope 10 according to the present embodiment, which has a configuration for interposing the optical element 12 between the lens barrel 11 and the camera head 13. An example is shown.
  • the configuration example of the endoscope indicated by reference numeral 10 a is an example in the case where the optical element 12 is configured as a part of the lens barrel 11.
  • the optical element 12a is held at the end of the lens barrel 11a on which the camera head 13a is mounted.
  • the optical element 12a when the light condensed by the lens barrel 11a is emitted to the outside of the lens barrel 11a, it passes through the optical element 12a, and the light passed through the optical element 12a enters the camera head 13a. It will be.
  • the configuration example of the endoscope indicated by reference numeral 10 b is an example in the case where the optical element 12 is configured as a part of the camera head 13.
  • the optical element 12a is held at the end of the camera head 13b on the side attached to the lens barrel 11b.
  • the optical element 12b passes through the optical element 12b.
  • it is possible to perform the depth-of-field enlargement process using a conventional endoscope instead of a dedicated endoscope.
  • the structural example of the endoscope shown with the referential mark 10c is an example at the time of comprising the optical element 12 as what is called an attachment.
  • the optical element 12 is configured to be attachable to and detachable from the lens barrel 11c and the camera head 13c so as to be interposed between the lens barrel 11c and the camera head 13c.
  • the configuration example shown in FIG. 3 is merely an example, and if the optical element 12 can be interposed between the lens barrel 11 and the camera head 13, the configuration of the endoscope 10 is as shown in FIG. Needless to say, the present invention is not limited to the illustrated configuration example.
  • FIG. 4 and FIG.5 is explanatory drawing for demonstrating the characteristic of the optical element 12 which concerns on this embodiment.
  • FIG. 4 is an example in the case where the optical element 12 is not interposed between the lens barrel 11 and the camera head 13, and the optical path of the light collected by the lens barrel 11 and guided to the camera head 13 is shown. It is shown schematically.
  • FIG. 5 shows an example in which the optical element 12 is interposed between the lens barrel 11 and the camera head 13, and the light is collected by the lens barrel 11 and guided to the camera head 13 through the optical element 12. The optical path of light is schematically shown.
  • the optical path of the light collected by the lens barrel 11 and guided to the camera head 13 is controlled by the imaging optical system of the camera head 13 to form an image on the image plane of the imaging device.
  • Ru an image indicated by reference numeral v11 schematically shows an object image formed at a position indicated by reference numeral p11.
  • the image indicated by the reference symbol v13 schematically shows an object image formed at the position indicated by the reference symbol p13.
  • an image indicated by reference numeral v21 schematically shows an object image formed at a position indicated by reference numeral p11.
  • the image indicated by the reference symbol v23 schematically shows an object image formed at the position indicated by the reference symbol p13.
  • a series of optical systems for forming an object image on the imaging element of the camera head 13 (hereinafter simply referred to as “a series of optical Characteristics of the system) are changed.
  • the imaging shape of the object image between the position p11 and the position p13 ie, the point spread function (PSF: Point) as compared to before the insertion of the optical element 12 Change in Spread Function) is less.
  • FIG. 6 is an explanatory view for explaining an example of characteristics of the optical element 12 applied to the endoscope 10 according to the present embodiment, and modulation transmission of a series of optical systems accompanying insertion of the optical element 12
  • An example of a change of a function (MTF: Modulation Transfer Function) is shown.
  • the horizontal axis indicates the shift in the direction of the optical axis (that is, the defocus amount) with respect to the image forming plane (in other words, the in-focus position) of a series of optical systems.
  • the transfer function (MTF) is shown.
  • the graph indicated by reference numeral g11 is, as shown in FIG.
  • a series of modulation transfer functions are distributed over a wider range along the optical axis direction as compared to before the application of the optical element 12.
  • the characteristics of the optical system change. That is, the application of the optical element 12 makes it possible to further increase the depth of field.
  • the modulation transfer function (MTF) is performed by performing restoration processing (image processing) on the image captured by the camera head 13 The image is restored against the deterioration (so-called blur) of the image of the subject image that occurs as the
  • an image indicated by reference numeral v25 shows an example of the subject image after the restoration process when the above-described restoration process is performed on the subject image v23.
  • the restoration processing for example, the process which adjusts the amount of blurring
  • the process called deconvolution is mentioned, for example.
  • the restoration processing applied to the image of the subject image is not necessarily limited to only deconvolution, as long as the deterioration of the image can be restored.
  • the optical characteristics of the birefringence mask and other optical systems are known, and are executed as the image processing.
  • the content of the process is designed.
  • deconvolution for removing blur from an image captured through an optical system including a birefringence mask as the above-mentioned image processing
  • deconvolution the blur caused by the insertion of the birefringence mask is eliminated by adaptively switching the filter coefficient of the applied filter according to the optical characteristic of the optical system including the birefringence mask.
  • the inverse filter corresponds to, for example, a filter designed according to the optical characteristics (for example, modulation transfer function (MTF) or the like) of an optical system (for example, a lens barrel of an endoscope or the like) including a birefringence mask. That is, the inverse filter may be designed to have, for example, the inverse characteristic of the modulation transfer function of the optical system.
  • MTF modulation transfer function
  • u and v respectively represent spatial frequencies in the x direction and the y direction, where x and y directions are orthogonal to the image plane.
  • H (u, v) indicates an optical transfer function (OTF).
  • H * (u, v) indicates the complex conjugate of H (u, v).
  • S f (u, v) and S n (u, v) indicate the power spectrum of the original image and the noise, respectively.
  • medical devices such as camera heads and endoscope barrels (for example, rigid scopes and flexible scopes) used in medical fields such as surgery etc. are autoclaved (high pressure steam) every time they are used It is subjected to sterilization treatment. Therefore, for example, by repeatedly subjecting the endoscope to autoclave sterilization processing, the optical properties of the optical system of the endoscope (that is, the rigid mirror and the soft mirror), in particular, the optical properties of the birefringence mask are obtained. It may change gradually. Under such circumstances, a deviation occurs between the optical characteristics of the birefringence mask (ie, the optical characteristics after change) and the optical characteristics assumed for the image signal processing, which causes the image quality of the output image to be different. It may affect.
  • a parameter indicating retardation of light which is referred to as retardation
  • autoclave treatment high pressure steam treatment
  • the characteristics of the refractive index difference ⁇ n of the birefringence mask are changed (that is, the refractive index difference ⁇ n is decreased) It can be estimated.
  • the value of the refractive index difference ⁇ n for example, the effect on the expansion of the depth of field is diminished.
  • the same image processing (restoration processing) as before the change of the retardation is performed using the birefringence mask although the change of the retardation of the birefringence mask as described above occurs.
  • the image quality of the output image is likely to be so-called over-emphasis. Therefore, it may be desirable in some cases to be able to output an image of more suitable image quality by adaptively switching the content of the image processing according to the change in the retardation of the birefringence mask.
  • the optical properties (retardation) of the birefringence mask can be measured by using only the birefringence mask.
  • a birefringence mask may be incorporated as a part of an optical system of an endoscope (for example, a rigid mirror), an optical system of a camera head, etc. In such a case, It is difficult to measure the characteristics.
  • the present disclosure proposes a technique capable of realizing control relating to the extension of the depth of field using a birefringence mask in a more preferable manner.
  • the image is output in a more preferable manner even under conditions where the optical characteristics of the birefringence mask are changed by repeated autoclave sterilization processing (for example, more preferable).
  • a birefringence mask may be incorporated as a part of an optical system such as a lens barrel of an endoscope or a camera head, and in such a case, birefringence It is difficult to measure the optical properties of the mask alone (that is, to measure it after incorporation). Therefore, in such a situation, for example, when the sterilization treatment is repeatedly applied to the device into which the birefringence mask is incorporated, the optical characteristics (retardation) of the birefringence mask are changed. It is difficult to directly measure changes in optical properties.
  • a change in optical characteristics (for example, retardation) of the birefringence mask is estimated according to the application situation of the autoclave sterilization processing, and an image is generated according to the estimation result. It controls the image processing (image signal processing) applied to it.
  • the medical image processing system includes the number of times and the application time (accumulated time) of application of autoclave processing to a device such as a lens barrel of an endoscope or a camera head (hereinafter also referred to as “target device”)
  • a device such as a lens barrel of an endoscope or a camera head
  • the medical image processing system controls the image processing (restoration processing) applied to the image captured using the target device according to the result of the estimation of the change in the optical characteristic.
  • the medical image processing system selectively switches a filter (for example, a deconvolution filter) to be applied to the captured image according to the estimation result of the change of the optical characteristic.
  • each object apparatus may be managed by a medical image processing system, for example, and it manages by another system (for example, hospital system etc.) different from the said medical image processing system. It may be done.
  • the application status of the autoclave processing for each target device may be managed separately for each target device, for example, by identifying each target device based on identification information (serial ID etc.) associated with the device. It is possible.
  • the application status of the autoclave processing to the target device is estimated according to the usage time of the target device, so that the change of the optical characteristic of the birefringence mask provided on the target device is estimated.
  • the application condition of the autoclave processing to the target device is estimated according to the detection result of the change in the temperature around the target device by a temperature sensor or the like, and the optical characteristics of the birefringence mask provided in the target device A change in may be estimated.
  • a temperature sensor provided in a housing of an instrument such as an endoscope barrel or a camera head detects a temperature equal to or higher than a threshold
  • autoclave processing is applied to the target device. It is recognized that the number of applications and the application time of autoclave treatment should be counted.
  • FIG. 7 is an explanatory diagram for describing an example of a simulation result regarding a change in retardation according to the application status of the autoclave processing.
  • the horizontal axis indicates the number of times of autoclaving applied to the target device.
  • the vertical axis indicates the change of the retardation of the target device by the ratio in the case where the retardation in the initial state (for example, at the time of shipment) is 1. Note that, in the example shown in FIG. 7, an example of a simulation result regarding a change in retardation is shown for each of the six types of devices indicated by "No. 1" to "No. 6".
  • the retardation of the target device tends to lower. That is, from the example shown in FIG. 7, the change in the retardation of the target device (that is, the decrease in the retardation) is managed by individually managing the application status (for example, the number of applications and the application time) of the autoclave processing for each target device. It turns out that it is possible to estimate. Therefore, it is more preferable that image processing such as deconvolution applied to an image acquired (captured) using the target device is controlled according to the estimation result of the change in the retardation of the target device. It is possible to output an image of an aspect (for example, an image of more preferable image quality).
  • FIG. 8 is a functional block diagram showing an example of a functional configuration of the medical image processing system according to the present embodiment.
  • the medical image processing system 200 includes an imaging device 210, an image processing device 230, and a display device 291.
  • the medical image processing system 200 may also include an input device 293. Further, the medical image processing system 200 may be connected to another system such as the hospital information management system 295 via a predetermined network.
  • the display device 291 corresponds to the display device 53 shown in FIG. 1 and displays information (for example, an image or the like) presented to the user as display information.
  • information for example, an image or the like
  • an image e.g., a corrected image
  • an image obtained by performing image processing by the image processing device 230 on an image captured by the imaging device 210 is presented to the user via the display device 291.
  • the input device 293 corresponds to an interface through which the user inputs various types of information to each device constituting the medical image processing system 200.
  • the input device 293 receives a user's operation input, and inputs information corresponding to the operation input to a predetermined device (for example, the image processing device 230). As a result, the device can recognize an instruction from the user or acquire information based on user input.
  • the hospital information management system 295 is a system for managing various types of information.
  • the in-hospital information management system 295 manages information regarding the use status of the imaging device 210 and the application status of autoclave processing (for example, autoclave sterilization processing) for the imaging device 210.
  • the in-hospital information management system 295 may be configured to be accessible via a predetermined network, and the in-hospital information management system 295 may request the device to respond to a request from another device (for example, the image processing device 230) via the network. It may output information managed by itself. With such a configuration, by accessing the in-hospital information management system 295, another device can acquire various information managed by the in-hospital information management system 295.
  • the imaging device 210 corresponds to a medical observation device (in other words, a medical imaging device) that captures an image of a patient and outputs the image to a predetermined output destination.
  • the imaging device 210 corresponds to the endoscope 10 (that is, the lens barrel 11 and the camera head 13) illustrated in FIGS. 1 and 3.
  • the imaging device 210 is configured as an endoscope will be described as an example.
  • the imaging device 210 includes an optical system 211 such as an objective lens, a birefringence mask 212, and an imaging element 213.
  • An optical system 211 schematically shows a lens barrel of an endoscope.
  • the image sensor 213 schematically shows an image sensor provided in the camera head.
  • the birefringence mask 212 schematically shows any one of the birefringence masks 12a to 12c described with reference to FIG. Note that a portion including the optical system 211 and the birefringence mask 212 (that is, a portion corresponding to a rigid mirror, a flexible mirror or the like) corresponds to an example of the “endoscope portion”.
  • the imaging device 210 may also include a monitoring unit 214 and a storage unit 215.
  • the monitoring unit 214 monitors various states of the imaging device 210, and causes the storage unit 215 to store information according to the result of the monitoring.
  • the storage unit 215 temporarily or permanently stores various information.
  • the monitoring unit 214 may include a detection unit such as a temperature sensor that detects the ambient temperature.
  • the monitoring unit 214 monitors the temperature (in other words, the temperature change) around the optical system 211, the birefringence mask 212, and the imaging device 213 detected by the detection unit, and the monitoring result
  • the information according to may be stored in the storage unit 215.
  • the detection unit detects a temperature change due to the autoclave processing, and the detection result of the temperature change is stored in the storage unit 215. .
  • the monitoring unit 214 includes a clock unit, monitors the use time (for example, imaging time, driving time, etc.) of the imaging device 210 using the clock unit, and the monitoring unit 214
  • the stored information (for example, information indicating the usage time) may be stored in the storage unit 215.
  • the various types of information stored in the storage unit 215 may be output to another apparatus (for example, the image processing apparatus 230) via, for example, a predetermined interface.
  • another apparatus for example, the image processing apparatus 230
  • the image processing device 230 generates an output image by performing various image processing such as development processing on the image signal output from the imaging device 210 according to the imaging result by the imaging device 210, and generates the output image. It is displayed on the display device 291.
  • the image processing device 230 may be configured as, for example, the CCU 51 illustrated in FIG. That is, the image processing device 230 corresponds to an example of the “medical image processing device”.
  • the image processing device 230 includes an image processing unit 231, an estimation unit 237, and a storage unit 239.
  • the image processing device 230 may also include an optical characteristic detection unit 238.
  • the image processing unit 231 includes, for example, a development processing unit 232, an EDOF processing unit 233, an image quality improvement processing unit 234, and a control unit 235.
  • the image processing unit 231 may also include a filter bank 236.
  • the estimation unit 237 acquires various types of information from the imaging device 210, and estimates the application status of the autoclave process to the imaging device 210 according to the acquired information.
  • the estimation unit 237 estimates the number of times of the autoclave processing applied to the imaging device 210 according to the monitoring result of the temperature around the optical system 211, the birefringence mask 212, and the imaging device 213. You may Further, the estimation unit 237 may estimate the number of times of the autoclave processing applied to the imaging device 210 according to the monitoring result of the use time of the imaging device 210. In addition, the estimation unit 237 obtains identification information from the imaging device 210 and recognizes the imaging device 210, whereby the application status (for example, the number of times) of the autoclave process applied to the imaging device 210 can be obtained. It may be estimated separately for each 210. With such a configuration, it is possible to estimate the application status of the autoclave processing individually for each of the imaging devices 210 to be used under a situation where any of the plurality of imaging devices 210 is selectively used. It becomes possible.
  • the estimation unit 237 may estimate the accumulated time in which the autoclave processing is applied to the imaging device 210. For example, the estimation unit 237 estimates the accumulated time to which the autoclave treatment is applied by multiplying the estimation result of the number of times of application of the autoclave treatment by the application time per autoclave treatment set in advance. Good. Further, the estimation unit 237 may estimate the application status (for example, cumulative time) of the autoclave processing according to the time of the autoclave processing applied to the imaging device 210 each time.
  • the estimation unit 237 may acquire various types of information regarding the imaging device 210 managed by the in-hospital information management system 295 from the in-hospital information management system 295. In this case, the estimation unit 237 may estimate the application status of the autoclave processing to the imaging device 210 based on the information acquired from the in-hospital information management system 295. As information acquired from the hospital information management system 295, for example, information on the cumulative use time of the imaging device 210, information on the number of times of application of autoclave processing to the imaging device 210, and autoclave processing to the imaging device 210 are applied. Information on the accumulated time, etc. Note that these pieces of information are merely an example, and the information is necessarily limited to the above-described example as long as the estimation unit 237 can recognize or estimate the application state of the autoclave processing to the imaging device 210. I will not.
  • the estimation unit 237 may acquire various types of information regarding the imaging device 210 based on user input via an input interface such as the input device 293. In this case, the estimation unit 237 may estimate the application status of the autoclave processing to the imaging device 210 based on the information acquired based on the user input. Note that the information acquired as the user input is not particularly limited as long as the estimation unit 237 can recognize or estimate the application status of the autoclave processing to the imaging device 210.
  • the estimation unit 237 may cause the storage unit 239 to store information according to the estimation result of the application state of the autoclave processing to the imaging device 210.
  • the estimation unit 237 may directly output information according to the estimation result of the application state of the autoclave processing to the imaging device 210 to the control unit 235 described later.
  • the optical characteristic detection unit 238 analyzes the image generated on the basis of the image signal output from the imaging device 210 by the development processing unit 232 described later, thereby a series of optical systems (for example, optical system included in the imaging device 210). Changes in the optical properties of system 211 and birefringence mask 212) are detected. This makes it possible to indirectly estimate changes in the optical characteristics (eg, retardation) of the birefringence mask 212.
  • the optical property detection unit 238 may store information according to the detection result of the change in the optical property in the storage unit 239. As another example, the optical property detection unit 238 may directly output information according to the detection result of the change in the optical property to the control unit 235 described later.
  • an optical characteristic detection unit using a known calibration chart for example, an image of a pattern or an edge composed of white and black, etc.
  • a known calibration chart for example, an image of a pattern or an edge composed of white and black, etc.
  • calibration for example, at the time of maintenance work of the system
  • Changes in the optical properties of the series of optical systems included in the imaging device 210 may be detected according to H.238.
  • the optical characteristic detection unit 238 detects the optical characteristics of a series of optical systems included in the imaging device 210 based on image features such as a pattern or an edge in the image of the calibration chart captured by the imaging device 210. The change of may be detected.
  • the storage unit 239 temporarily or permanently stores various information. For example, as described above, in the storage unit 239, information according to the estimation result of the application state of the autoclave processing to the imaging device 210, or the detection result of the change of the optical characteristic of a series of optical systems included in the imaging device 210 Information may be stored.
  • the storage unit 239 includes information input by the user via a predetermined input interface such as the input device 293 or information transmitted from the hospital information management system 295 or the like (for example, managed by the hospital information management system 295). Information etc. may be stored.
  • information on the application status of the autoclave processing to the imaging device 210 may be acquired based on a user input via the input device 293 and stored in the storage unit 239. Further, information on the application status of the autoclave process to the imaging device 210 may be transmitted from the hospital information management system 295, and the information may be stored in the storage unit 239.
  • the development processing unit 232 performs so-called development processing on the image signal output from the imaging device 210 to generate an image based on the image signal (that is, an image based on a result of imaging by the imaging device 210).
  • the development processing unit 232 outputs the generated image to the EDOF processing unit 233 located at the subsequent stage.
  • the EDOF processing unit 233 performs restoration processing such as deconvolution (for example, filter processing) on the image output from the development processing unit 232 positioned in the previous stage (that is, the image based on the image signal from the imaging device 210). By applying, the blur of the image caused by the application of the birefringence mask 212 is restored. This generates a corrected image in which the depth of field is further expanded and the blur is restored.
  • the above-mentioned restoration processing by the EDOF processing unit 233 is controlled by the control unit 235 described later.
  • the filter that the EDOF processing unit 233 applies to the input image may be switched by the control unit 235.
  • control unit 235 may control the filter processing coefficient applied to the input image by the EDOF processing unit 233. Then, the EDOF processing unit 233 outputs the generated corrected image (that is, the image in which the blur is improved) to the image quality improvement processing unit 234 located at the subsequent stage.
  • the image quality improvement processing unit 234 performs various types of image processing on the image (that is, the corrected image) output from the EDOF processing unit 233 positioned in the previous stage, and outputs the image after the image processing to a predetermined output destination Do.
  • the image quality improvement processing unit 234 outputs the image after the image processing to the display device 291 connected to the image processing device 230 via a predetermined transmission path, thereby displaying the image
  • the image may be displayed on the device 291.
  • the type of image processing applied to the input image by the image quality improvement processing unit 234 may be appropriately determined according to the application of the image output from the image quality improvement processing unit 234. Further, the type of image processing applied to the input image by the image quality improvement processing unit 234 may be selectively switched according to an instruction from the user via a predetermined input interface.
  • the control unit 235 controls the operation of the EDOF processing unit 233, that is, restoration processing such as deconvolution on the input image by the EDOF processing unit 233 (that is, image processing) according to a predetermined condition.
  • the control unit 235 may control the operation of the EDOF processing unit 233 according to the application status of the autoclave processing to the imaging device 210.
  • the control unit 235 may selectively switch the filter that the EDOF processing unit 233 applies to the input image.
  • the control unit 235 may suppress the application amount of the restoration process on the image according to the reduction of the blur amount. As a result, it is possible to prevent occurrence of a situation where the image quality of the output image becomes so-called overemphasis, and to control so that an image of a more preferable image quality is output.
  • the information on the applied filter may be stored, for example, in a predetermined storage area.
  • a filter bank 236 illustrated in FIG. 8 schematically illustrates a storage area in which information on various filters applied by the EDOF processing unit 233 to an input image is stored.
  • the configuration corresponding to the filter bank 236 may be provided outside the image processing unit 231 or may be provided outside the image processing device 230.
  • control unit 235 enlarges the depth of field so as to compensate for the reduction with respect to the input image, according to the reduction of the effect of the enlargement of the depth of field by the birefringence mask 212 It may be controlled to apply a correction process (e.g., a filter). That is, the control unit 235 may perform control such that the correction processing for enlarging the depth of field is applied to the input image according to the application status (for example, the integration time) of the autoclave processing. At this time, the control unit 235 may control the application amount of the correction process according to the application situation of the autoclave process. In this case, for example, the control unit 235 performs control such that the application amount of the correction process related to the extension of the depth of field increases more as the integration time of the autoclave process performed on the imaging device 210 becomes longer. You may
  • the above-described correction processing for enlarging the depth of field of the input image may be realized by applying, for example, so-called machine learning.
  • machine learning for example, machine learning using a multilayer neural network
  • the correction process may be performed based on the result of the machine learning. That is, when the integration time of the autoclave processing applied to the imaging device 210 exceeds the threshold, the control unit 235 enlarges the depth of field with respect to the input image using the result of the machine learning. It may be controlled to apply the correction processing to be performed.
  • the correction process for enlarging the depth of field of the input image described above may be realized by adding a process for combining a plurality of images having different focal lengths.
  • the control unit 235 may use, for example, information stored in the storage unit 239 according to the estimation result by the estimation unit 237 described above, for the information related to the application status of the autoclave process to the imaging device 210. In addition, the control unit 235 may directly obtain the estimation result by the estimation unit 237 from the estimation unit 237.
  • an acquisition source of the information regarding the application status of the autoclave processing to the imaging device 210 is not necessarily limited to only the storage unit 239 or the estimation unit 237.
  • the information may be acquired based on a user input via an input interface such as the input device 293.
  • the said information may be acquired from the hospital information management system 295 as another example.
  • a portion related to acquisition of the information corresponds to an example of the “acquisition unit”.
  • control unit 235 may control the operation of the EDOF processing unit 233 according to the detection result of the change in the optical characteristics of the series of optical systems included in the imaging device 210.
  • the control unit 235 may use a filter that instructs the EDOF processing unit 233 to apply the input image to the EDOF processing unit 233 according to the application status of the autoclave processing to the imaging device 210. Control may be performed according to the detection result of the change. The details of this operation will be described later as a modified example.
  • the control unit 235 may directly specify a filter to be applied to the input image by the EDOF processing unit 233 in accordance with the detection result of the change in the optical characteristic of the series of optical systems.
  • control unit 235 estimates a change in optical characteristics (for example, retardation) of the birefringence mask 212 included in the series of optical systems according to the detection result, and performs EDOF processing according to the estimation result.
  • a filter may be determined that instructs the unit 233 to apply to the input image.
  • the functional configuration of the medical image processing system 200 described above is merely an example, and the functional configuration of the medical image processing system 200 is not necessarily limited to the example illustrated in FIG. 8 as long as the above-described functions can be realized.
  • at least two or more of the imaging device 210, the image processing device 230, the display device 291, and the input device 293 may be integrally configured.
  • a part of the components of the image processing apparatus 230 may be provided outside the image processing apparatus 230 (for example, a server or the like).
  • each function of the image processing device 230 may be realized by a plurality of devices operating in cooperation.
  • FIG. 9 is a flowchart showing an example of the flow of a series of processes of the medical image processing system according to the present embodiment.
  • the image processing device 230 estimates the application status of the autoclave sterilization processing to the imaging device 210, and multiple processing is performed according to the result of the estimation.
  • An example of controlling restoration processing in an EDOF technique using a refractive mask is shown.
  • the image processing device 230 acquires various types of information (for example, information related to the usage time of the imaging device 210) from the imaging device 210, and responds to the acquired information to the imaging device 210.
  • the application status of the autoclave sterilization process is estimated (S101). Then, whether or not the image processing device 230 (control unit 235) needs to control the EDOF processing applied to the input image, that is, the image based on the image signal from the imaging device 210 according to the result of the estimation. Is determined (S103).
  • the image processing device 230 determines that control of the EDOF processing (that is, restoration processing such as deconvolution) to be applied to the input image is necessary (S103, YES)
  • the image processing device 210 Control of the EDOF processing is performed according to the estimation result of the application status of the autoclave sterilization processing.
  • the image processing device 230 may selectively switch the deconvolution filter applied to the input image according to the application status of the autoclave sterilization processing to the imaging device 210 (S105).
  • the image processing device 230 transitions to the next processing without executing the processing related to the control of the EDOF processing.
  • the image processing device 230 acquires an image signal output based on the imaging result from the imaging device 210 (S107), and performs the development processing on the image signal to obtain the acquired image.
  • An image based on the signal (that is, an image based on the imaging result by the imaging device 210) is generated (S109).
  • the image processing apparatus 230 (EDOF processing unit 233) performs restoration processing such as deconvolution on the image generated based on the development processing, and thereby restores the blur of the image caused by the application of the birefringence mask 212. (S111). This generates a corrected image in which the depth of field is further expanded and the blur is restored.
  • restoration process it is controlled according to the application condition of the autoclave sterilization process with respect to the imaging device 210 as mentioned above.
  • the image processing device 230 (image quality improvement processing unit 234) performs various image processing (for example, image processing for image quality improvement) on the corrected image, and generates a predetermined image after the image processing. Output to the output destination (S113).
  • the image processing device 230 sequentially executes the processing relating to the reference signs S107 to S113 until the end of the observation of the patient is instructed (S115, NO). Then, when the end of the observation of the patient is instructed (S115, YES), the image processing device 230 ends the series of processes described above.
  • a part of a filter that is, a deconvolution filter
  • a part of a filter that is, a deconvolution filter
  • the image processing apparatus 230 focuses on the case of determining the filter to be applied to the input image in accordance with the number of times of application of the autoclave processing to the imaging apparatus 210.
  • FIG. 10 is an explanatory diagram for describing an outline of a medical image processing system according to the first modification, and a compound provided in the imaging device 210 according to the number of times of application of autoclave processing to the imaging device 210.
  • An example of a change in optical characteristics of the refractive mask 212 is shown.
  • the horizontal axis indicates the number of times of autoclaving applied to the target device.
  • the vertical axis indicates the change of the retardation of the target device by the ratio in the case where the retardation in the initial state (for example, at the time of shipment) is 1.
  • the filters F100, F104, F108, and F112 are generated in advance as filters corresponding to the number of times of application of the autoclave processing to the imaging device 210, and a predetermined storage area (for example, the filter bank 236 illustrated in FIG. Is held in).
  • the filter F100 is adjusted so that the restoration process is performed on the input image in accordance with the optical characteristics of the birefringence mask when the number of times of application of the autoclave process to the imaging device 210 is zero. That is, when the number of applications of the autoclave process to the imaging device 210 is 0, the image processing device 230 performs restoration processing based on the filter F100 on the input image (that is, an image based on the imaging result by the imaging device 210). Apply.
  • the filters F104, F108, and F112 correspond to the cases where the number of applications of the autoclave process to the imaging device 210 is 400 times, 800 times, and 1200 times, respectively.
  • the filters are not generated in advance for all the application times of the autoclave processing, and the corresponding filters are generated discretely every predetermined number of times (for example, every 400 times) .
  • the image processing device 230 uses at least one of the filters generated in advance when the filter corresponding to the number of times of application of the autoclave processing is not generated.
  • a filter corresponding to the number of applications may be dynamically generated.
  • the image processing apparatus 230 generates the filter F202 corresponding to the case of 200 times based on the filter F100 corresponding to the case where the number of applications of the autoclave process is 0 times and the filter F104 corresponding to the case of 400 times.
  • the image processing device 230 may generate a filter F202 corresponding to the case where the number of applications of the autoclave processing is 200, based on linear interpolation using the filter coefficients of the filters F100 and F104.
  • the other cases That is, for a filter corresponding to the case where the number of times of application of the autoclave processing is 600, for example, it is possible to generate based on linear interpolation using filter coefficients of the filters F104 and F106.
  • the medical image processing system in the medical image processing system according to the first modification, it is possible to limit the number of filters generated in advance according to the number of times of application of autoclave processing. That is, it is possible to limit the volume of information related to the filter held in the predetermined storage area.
  • the filter applied to the input image is controlled according to the number of times of application of the autoclave processing to the imaging device 210
  • the process related to the control of the filter by the image processing device 230 is necessarily limited It is not something to do. That is, as long as the image processing device 230 can generate filters corresponding to other application situations based on filters generated in advance according to a predetermined application situation, the mode is not particularly limited.
  • the filter may be generated corresponding to the accumulated time of the autoclave process applied to the imaging device 210.
  • the control target of the image processing device 230 is not necessarily limited to the filter processing. That is, the image processing apparatus 230 may generate image processing corresponding to another application status based on the image processing on the input image preset according to the predetermined application status.
  • a part of the filter applied to the input image by the image processing device 230 according to the application condition of the autoclave processing to the imaging device 210 is dynamically from the other filters.
  • An example of generating is described.
  • Modification 2 Control example of restoration processing
  • the image processing apparatus 230 focuses on the case of determining the filter to be applied to the input image in accordance with the number of times of application of the autoclave processing to the imaging apparatus 210.
  • the image processing device 230 is provided in the imaging device 210 according to the application status (for example, the number of applications) of the autoclave processing to the imaging device 210.
  • a change in optical characteristics (eg, retardation) of the birefringence mask 212 is estimated.
  • changes in the optical characteristics of the birefringence mask 212 estimated according to the application of the autoclave treatment due to various error factors and individual differences of the imaging device 210, and changes in the optical characteristics of the actual birefringence mask 212 There may be a divergence between
  • the image processing device 230 applies predetermined conditions to the filtering process applied to the input image according to the application situation of the autoclave process to the imaging device 210. Control according to
  • FIG. 11 is an explanatory diagram for describing an outline of a medical image processing system according to the second modification, and a compound provided in the imaging device 210 according to the number of times of application of autoclave processing to the imaging device 210.
  • An example of a change in optical characteristics of the refractive mask 212 is shown.
  • the horizontal and vertical axes in FIG. 11 are the same as in the example shown in FIG.
  • a graph indicated by reference numeral G11 shows a case where the optical characteristics of the birefringence mask 212 change (deteriorate) as originally expected, according to the application of autoclave processing to the imaging device 210.
  • the graph indicated by reference numeral G13 shows an example in the case where the progress of the deterioration of the optical characteristics of the birefringence mask 212 is more abrupt than initially assumed.
  • a graph indicated by reference numeral G15 shows an example in the case where the signal of the deterioration of the optical characteristics of the birefringence mask 212 is more gradual than initially assumed.
  • the optical characteristic of the birefringence mask 212 is as originally expected (that is, the case of the graph G11) Deterioration has progressed to the optical characteristic in the case where the number of applications of is 1200 times.
  • a restoration process ie, a filter
  • the corrected image of the image quality in a more preferable aspect is applied. It may not be generated.
  • the number of times of application of the autoclave treatment is 400 times
  • the optical characteristic of the birefringence mask 212 is as originally expected
  • the number of times of application of the autoclave treatment is 800 times. It has deteriorated to the optical characteristics. Also in this case, even if the restoration process is applied as originally expected, a corrected image of the image quality of a more preferable aspect may not be generated.
  • the optical characteristic of the birefringence mask 212 is as originally expected, the optical characteristics when the number of times of application of the autoclave treatment is 400 times It has only deteriorated. Under such circumstances, even if a restoration process (ie, a filter) assuming that the number of times of application of the autoclave process is 800 is applied to the input image, the corrected image of the image quality in a more preferable aspect is applied. It may not be generated.
  • a restoration process ie, a filter
  • the image processing apparatus 230 selectively switches the restoration process (for example, filter) to be applied to the input image according to the application situation of the autoclave process according to a predetermined condition. It is configured to be possible.
  • the image processing device 230 may present the user with the application result of the restoration processing on the input image via the display device 291 to the user, and allow the user to select a filter to be applied as the restoration processing.
  • the image processing apparatus 230 may switch the restoration processing to be applied to the input image according to the application status of the autoclave processing thereafter, according to the selection result of the filter by the user.
  • the image processing device 230 selects the filter according to the application status of the autoclave processing from the selection based on the characteristic shown in the graph G11, according to the selection result of the filter by the user, from the graph G13 or G15. It is possible to switch to selection based on the characteristics shown in FIG.
  • the image processing apparatus 230 further performs processing according to the application status of the autoclave processing based on the detection result of the change of the optical characteristic of the series of optical systems included in the imaging apparatus 210 obtained as a result of the operation such as calibration.
  • the restoration process applied to the input image may be switched.
  • the image processing device 230 performs image analysis on the image captured by the imaging device 210, and based on the result of the analysis, subsequently performs restoration processing to be applied to the input image according to the application status of the autoclave processing. It may be switched adaptively. In this case, for example, the image processing device 230 detects or estimates the degree of deterioration of the image (in other words, the blur amount) based on the image analysis, and the image or the subsequent ones according to the detection or the result of the estimation. The restoration process applied to the image input to the image may be switched adaptively.
  • Modification 3 Method of presenting filter to user
  • a third modification as described above as the second modification, when the user selects a filter to be applied to the input image as a restoration process, an example of a method for presenting the filter options to the user Will be explained.
  • the image processing apparatus 230 focuses on the case of determining the filter to be applied to the input image in accordance with the number of times of application of the autoclave processing to the imaging apparatus 210.
  • the image processing device 230 according to the third modification controls the number of selectable candidates according to the situation when presenting selectable filter candidates to the user.
  • FIG. 12 is an explanatory diagram for describing an outline of a medical image processing system according to the third modification, and a compound provided in the imaging device 210 according to the number of times of application of autoclave processing to the imaging device 210.
  • An example of a change in optical characteristics of the refractive mask 212 is shown.
  • the horizontal and vertical axes in FIG. 12 are the same as in the example shown in FIG.
  • a graph indicated by reference numeral G11 shows a case where the optical characteristics of the birefringence mask 212 change as originally expected, in accordance with the application condition of the autoclave treatment to the imaging device 210.
  • the graph indicated by reference numeral G13 shows an example in the case where the progress of the deterioration of the optical characteristics of the birefringence mask 212 is more abrupt than initially assumed.
  • filters F100, F104, F108 and F112 respectively indicate filters with the same reference numerals in the example shown in FIG.
  • the series of filters (filters F100, F104, F108, and F112) indicated by the reference symbol F10 have the optical characteristics of the birefringence mask 212 as originally expected, according to the application of the autoclave processing to the imaging device 210. Indicates a filter that is scheduled to be applied to the input image.
  • a series of filters indicated by reference numeral F30 schematically show filter options presented as selectable candidates for the user.
  • the filters F303 and F305 schematically show each of filters assuming that the number of times of application of the autoclave treatment is 300 times and 500 times.
  • the image processing device 230 presents filters F303 and F305 as filter candidates that can be selected for the user.
  • filters F310, F311, F313, and F314 schematically show the respective filters on the assumption that the number of times of application of the autoclave treatment is 1,000 times, 1,100 times, 1,300 times, and 1,400 times.
  • the image processing apparatus 230 presents filters F310, F311, F313, and F314 as filter selectable candidates for the user when the number of applications of the autoclave processing is 1200 times. There is.
  • the image processing apparatus 230 may control the number of filter candidates to be presented selectably to the user according to the number of times of application of the autoclave process to the imaging apparatus 210, for example. .
  • the image processing device 230 limits the number of filters to be presented as selectable candidates to the user because the deviation from the initial prediction is small. May be
  • the image processing apparatus 230 increases the number of filters to be presented as selectable candidates to the user because the deviation from the initial prediction increases as the number of times of application of the autoclave processing increases. You may control.
  • the image processing device 230 is a candidate selectable for the user according to the detection result of the change of the optical characteristic of a series of optical systems (for example, the optical system 211 and the birefringence mask 212) included in the imaging device 210.
  • the number of filters presented as can be controlled. For example, when the difference between the detection result of the change in the optical characteristic of the series of optical systems and the initial prediction regarding the change in the optical characteristic is larger (for example, larger than a threshold), the image processing device 230 In addition, the number of filters presented to the user as selectable candidates may be controlled to be larger.
  • the image processing device 230 may select a candidate that can be selected when the deterioration of the optical characteristics of the series of optical systems (for example, the retardation of the birefringence mask 212) is more advanced than originally predicted.
  • the number of filters presented to the user may be controlled to be greater.
  • the image processing device 230 can control the number of filters to be presented as selectable candidates for the user according to the application status of the autoclave processing to the imaging device 210, the aspect is particularly limited. I will not.
  • the image processing device 230 may control the number of filters to be presented as selectable candidates to the user according to the accumulated time of autoclave processing performed on the imaging device 210. .
  • FIG. 13 is a functional block diagram showing one configuration example of a hardware configuration of an information processing apparatus configuring the medical image processing system according to an embodiment of the present disclosure.
  • An information processing apparatus 900 constituting a system according to the present embodiment mainly includes a CPU 901, a ROM 902, and a RAM 903.
  • the information processing apparatus 900 further includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921 and a connection port 923. And a communication device 925.
  • the CPU 901 functions as an arithmetic processing unit and a control unit, and controls the entire operation or a part of the information processing apparatus 900 according to various programs recorded in the ROM 902, the RAM 903, the storage device 919, or the removable recording medium 927.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores a program used by the CPU 901, parameters which appropriately change in the execution of the program, and the like. These are mutually connected by a host bus 907 constituted by an internal bus such as a CPU bus.
  • the image processing unit 231, the estimation unit 237, and the optical characteristic detection unit 238 illustrated in FIG. 8 may be realized by the CPU 901.
  • the host bus 907 is connected to an external bus 911 such as a peripheral component interconnect / interface (PCI) bus via the bridge 909. Further, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925 are connected to the external bus 911 via an interface 913.
  • PCI peripheral component interconnect / interface
  • the input device 915 is an operation unit operated by the user, such as a mouse, a keyboard, a touch panel, a button, a switch, a lever, and a pedal.
  • the input device 915 may be, for example, a remote control means (so-called remote control) using infrared rays or other radio waves, or an externally connected device such as a mobile phone or PDA corresponding to the operation of the information processing apparatus 900. It may be 929.
  • the input device 915 includes, for example, an input control circuit that generates an input signal based on the information input by the user using the above-described operation means, and outputs the generated input signal to the CPU 901.
  • the user of the information processing apparatus 900 can input various data to the information processing apparatus 900 and instruct processing operations by operating the input device 915.
  • the input device 293 shown in FIG. 8 can be realized by the input device 915.
  • the output device 917 is configured of a device capable of visually or aurally notifying the user of the acquired information.
  • Such devices include display devices such as CRT display devices, liquid crystal display devices, plasma display devices, EL display devices and lamps, audio output devices such as speakers and headphones, and printer devices.
  • the output device 917 outputs, for example, results obtained by various processes performed by the information processing apparatus 900.
  • the display device displays the result obtained by the various processes performed by the information processing apparatus 900 as text or an image.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data and the like into an analog signal and outputs it.
  • the display device 291 shown in FIG. 8 can be realized by the output device 917.
  • the storage device 919 is a device for data storage configured as an example of a storage unit of the information processing device 900.
  • the storage device 919 is configured of, for example, a magnetic storage unit device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like.
  • the storage device 919 stores programs executed by the CPU 901, various data, and the like.
  • the storage unit 239 illustrated in FIG. 8 can be realized by the storage device 919.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the information processing apparatus 900.
  • the drive 921 reads out information recorded in a removable recording medium 927 such as a mounted magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the drive 921 can also write a record on a removable recording medium 927 such as a mounted magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the removable recording medium 927 is, for example, a DVD medium, an HD-DVD medium, a Blu-ray (registered trademark) medium, or the like.
  • the removable recording medium 927 may be Compact Flash (registered trademark) (CF: Compact Flash), a flash memory, an SD memory card (Secure Digital memory card), or the like.
  • the removable recording medium 927 may be, for example, an IC card (Integrated Circuit card) equipped with a non-contact IC chip, an electronic device, or the like.
  • the connection port 923 is a port for direct connection to the information processing apparatus 900.
  • Examples of the connection port 923 include a Universal Serial Bus (USB) port, an IEEE 1394 port, and a Small Computer System Interface (SCSI) port.
  • USB Universal Serial Bus
  • SCSI Small Computer System Interface
  • As another example of the connection port 923 there are an RS-232C port, an optical audio terminal, a high-definition multimedia interface (HDMI (registered trademark)) port, and the like.
  • HDMI registered trademark
  • the communication device 925 is, for example, a communication interface configured of a communication device or the like for connecting to a communication network (network) 931.
  • the communication device 925 is, for example, a communication card for a wired or wireless LAN (Local Area Network), Bluetooth (registered trademark) or WUSB (Wireless USB).
  • the communication device 925 may be a router for optical communication, a router for Asymmetric Digital Subscriber Line (ADSL), a modem for various communications, or the like.
  • the communication device 925 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP, for example, with the Internet or another communication device.
  • the communication network 931 connected to the communication device 925 is configured by a network or the like connected by wire or wireless, and may be, for example, the Internet, home LAN, infrared communication, radio wave communication, satellite communication, etc. .
  • a computer program for realizing each function of the information processing apparatus 900 constituting the information processing system according to the present embodiment as described above can be prepared and implemented on a personal computer or the like.
  • a computer readable recording medium in which such a computer program is stored can be provided.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like.
  • the above computer program may be distributed via, for example, a network without using a recording medium.
  • the number of computers that execute the computer program is not particularly limited. For example, a plurality of computers (for example, a plurality of servers and the like) may execute the computer program in cooperation with each other.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure may be applied to a microsurgery system used for so-called microsurgery, which is performed while performing close-up observation of a patient's minute region.
  • FIG. 14 is a diagram showing an example of a schematic configuration of a microscope surgery system 5300 to which the technology according to the present disclosure can be applied.
  • the microscope operation system 5300 includes a microscope 5301, a controller 5317, and a display 5319.
  • “user” means any medical staff who use the microsurgical system 5300, such as an operator and an assistant.
  • the microscope apparatus 5301 includes a microscope unit 5303 for magnifying and observing an observation target (the operation unit of a patient), an arm unit 5309 supporting the microscope unit 5303 at its tip, and a base unit 5315 supporting the base end of the arm unit 5309. And.
  • the microscope unit 5303 includes a cylindrical unit 5305 having a substantially cylindrical shape, an imaging unit (not shown) provided inside the cylindrical unit 5305, and an operation unit 5307 provided in a partial region of the outer periphery of the cylindrical unit 5305. And consists of The microscope unit 5303 is an electronic imaging microscope unit (so-called video microscope unit) that electronically captures a captured image by the imaging unit.
  • an electronic imaging microscope unit so-called video microscope unit
  • a cover glass for protecting the imaging unit inside is provided on the opening surface at the lower end of the cylindrical portion 5305.
  • Light from the observation target (hereinafter, also referred to as observation light) passes through the cover glass and is incident on an imaging unit inside the cylindrical portion 5305.
  • a light source made of, for example, an LED (Light Emitting Diode) may be provided inside the cylindrical portion 5305, and at the time of imaging, light is emitted from the light source to the observation target through the cover glass. May be
  • the imaging unit includes an optical system that collects observation light and an imaging device that receives the observation light collected by the optical system.
  • the optical system is configured by combining a plurality of lenses including a zoom lens and a focus lens, and the optical characteristics thereof are adjusted so as to focus observation light on the light receiving surface of the imaging device.
  • the imaging device receives observation light and performs photoelectric conversion to generate a signal corresponding to the observation light, that is, an image signal corresponding to the observation image.
  • CMOS complementary metal oxide semiconductor
  • CCD charge coupled device
  • the image signal generated by the imaging device is transmitted to the control device 5317 as RAW data.
  • the transmission of the image signal may be suitably performed by optical communication.
  • the operator performs the operation while observing the condition of the affected area by the captured image, and for safer and more reliable operation, it is required that the moving image of the operating part be displayed in real time as much as possible. Because By transmitting an image signal by optical communication, it becomes possible to display a captured image with low latency.
  • the imaging unit may have a drive mechanism that moves the zoom lens and the focus lens of the optical system along the optical axis. By appropriately moving the zoom lens and the focus lens by the drive mechanism, the magnification of the captured image and the focal length at the time of imaging can be adjusted.
  • the imaging unit may also be equipped with various functions that can be generally provided in an electronic imaging microscope unit, such as an AE (Auto Exposure) function and an AF (Auto Focus) function.
  • the imaging unit may be configured as a so-called single-plate imaging unit having one imaging device, or may be configured as a so-called multi-plate imaging unit including a plurality of imaging devices.
  • the imaging unit is configured as a multi-plate type, for example, an image signal corresponding to each of RGB may be generated by each imaging element, and a color image may be obtained by combining them.
  • the imaging unit may be configured to have a pair of imaging elements for acquiring image signals for right eye and left eye corresponding to stereoscopic vision (3D display). By performing 3D display, the operator can more accurately grasp the depth of the living tissue in the operation site.
  • 3D display By performing 3D display, the operator can more accurately grasp the depth of the living tissue in the operation site.
  • multiple optical systems may be provided.
  • the operation unit 5307 is configured by, for example, a cross lever or a switch, and is an input unit that receives a user's operation input.
  • the user can input an instruction to change the magnification of the observation image and the focal length to the observation target through the operation unit 5307.
  • the drive mechanism of the imaging unit appropriately moves the zoom lens and the focus lens, whereby the magnification and the focal length can be adjusted.
  • the user can input an instruction to switch the operation mode (all free mode and fixed mode described later) of the arm unit 5309 via the operation unit 5307.
  • the operation unit 5307 can be provided at a position where the user can easily operate with the finger while holding the tubular portion 5305 so that the user can operate the tubular portion 5305 while moving the tubular portion 5305. preferable.
  • the arm unit 5309 is configured by a plurality of links (first link 5313a to sixth link 5313f) being pivotably connected to each other by a plurality of joints (first joint unit 5311a to sixth joint unit 5311f) Be done.
  • the first joint portion 5311 a has a substantially cylindrical shape, and at its tip (lower end), the upper end of the cylindrical portion 5305 of the microscope unit 5303 is a rotation axis parallel to the central axis of the cylindrical portion 5305 (first axis O 1 ) Support rotatably around.
  • the first joint portion 5311a, the first shaft O 1 can be configured to match the optical axis of the imaging unit of the microscope unit 5303.
  • the first link 5313a fixedly supports the first joint 5311a at its tip. More specifically, the first link 5313a is a rod-shaped member having a substantially L-shaped, while stretching in the direction in which one side of the front end side is perpendicular to the first axis O 1, the end portion of the one side is first It is connected to the first joint 5311a so as to abut on the upper end of the outer periphery of the joint 5311a.
  • the second joint 5311 b is connected to the other end of the substantially L-shaped proximal end of the first link 5313 a.
  • the second joint portion 5311 b has a substantially cylindrical shape, and the tip end of the second joint portion 5311 b can pivot the base end of the first link 5313 a around a rotation axis (second axis O 2 ) orthogonal to the first axis O 1 To support.
  • the distal end of the second link 5313 b is fixedly connected to the proximal end of the second joint 5311 b.
  • the second link 5313 b is a rod-like member having a substantially L shape, and one end of the second link 5313 b extends in the direction orthogonal to the second axis O 2, and the end of the one side is the second joint 5311 b. It is fixedly connected to the proximal end.
  • the third joint 5311 c is connected to the other side of the substantially L-shaped proximal end side of the second link 5313 b.
  • the third joint portion 5311 c has a substantially cylindrical shape, and at its tip end, a rotation axis (third axis O 3) perpendicular to the first axis O 1 and the second axis O 2 at the base end of the second link 5313 b. ) Rotatably supported.
  • the distal end of the third link 5313 c is fixedly connected to the proximal end of the third joint 5311 c.
  • the microscope unit 5303 is moved to change the position of the microscope unit 5303 in the horizontal plane by rotating the configuration on the tip side including the microscope unit 5303 around the second axis O 2 and the third axis O 3 It can be done. That is, by controlling the rotation about the second axis O 2 and the third axis O 3, it is possible to move the field of view of the captured image within a plane.
  • the third link 5313c is configured such that the distal end side thereof has a substantially cylindrical shape, and the proximal end of the third joint 5311c has a substantially identical central axis at the distal end of the cylindrical shape. Fixedly connected.
  • the proximal end side of the third link 5313c has a prismatic shape, and the fourth joint 5311d is connected to the end thereof.
  • the fourth joint portion 5311 d has a substantially cylindrical shape, and the proximal end of the third link 5313 c can be pivoted around the rotation axis (the fourth axis O 4 ) orthogonal to the third axis O 3 at its tip To support.
  • the distal end of the fourth link 5313 d is fixedly connected to the proximal end of the fourth joint 5311 d.
  • the fourth link 5313 d is a rod-like member extending substantially linearly, and while extending so as to be orthogonal to the fourth axis O 4 , the end of the tip thereof is on the side surface of the substantially cylindrical shape of the fourth joint 5311 d It is fixedly connected to the fourth joint 5311d so as to abut.
  • the fifth joint 5311 e is connected to the proximal end of the fourth link 5313 d.
  • the fifth joint portion 5311 e has a substantially cylindrical shape, and on the tip end side, the proximal end of the fourth link 5313 d can be rotated about a rotation axis (fifth axis O 5 ) parallel to the fourth axis O 4 To support.
  • the distal end of the fifth link 5313 e is fixedly connected to the proximal end of the fifth joint 5311 e.
  • Fourth shaft O 4 and the fifth axis O 5 is a rotary shaft capable of moving the microscope section 5303 in the vertical direction.
  • the fifth link 5313 e is vertically downward from a first member having a substantially L shape in which one side extends in the vertical direction and the other side extends in the horizontal direction, and a portion extending in the horizontal direction of the first member A rod-shaped second member to be stretched is combined and configured.
  • the proximal end of the fifth joint portion 5311 e is fixedly connected to the vicinity of the upper end of the portion of the fifth link 5313 e extending in the vertical direction of the first member.
  • the sixth joint 5311 f is connected to the base end (lower end) of the second member of the fifth link 5313 e.
  • the sixth joint portion 5311 f has a substantially cylindrical shape, and at its distal end side, supports the proximal end of the fifth link 5313 e rotatably around a rotation axis (sixth axis O 6 ) parallel to the vertical direction .
  • the distal end of the sixth link 5313 f is fixedly connected to the proximal end of the sixth joint 5311 f.
  • the sixth link 5313 f is a rod-like member extending in the vertical direction, and the base end thereof is fixedly connected to the upper surface of the base portion 5315.
  • the rotatable range of the first joint portion 5311a to the sixth joint portion 5311f is appropriately set so that the microscope unit 5303 can perform a desired movement.
  • a total of six degrees of freedom ie, three translational degrees of freedom and three rotational degrees of freedom, can be realized with respect to the movement of the microscope unit 5303.
  • the position and orientation of the microscope unit 5303 can be freely controlled within the movable range of the arm unit 5309. It will be possible. Therefore, it is possible to observe the operative site from any angle, and the surgery can be performed more smoothly.
  • the configuration of the arm 5309 shown is merely an example, and the number and shape (length) of the links constituting the arm 5309, the number of joints, the arrangement position, the direction of the rotation axis, etc. are desired freedom It may be designed appropriately so that the degree can be realized.
  • the arm unit 5309 in order to move the microscope unit 5303 freely, the arm unit 5309 is preferably configured to have six degrees of freedom, but the arm unit 5309 has more freedom (i.e., redundant freedom). May be configured to have a degree).
  • redundant degrees of freedom exist, in the arm unit 5309, it is possible to change the posture of the arm unit 5309 while the position and posture of the microscope unit 5303 are fixed. Therefore, more convenient control for the operator can be realized, such as controlling the posture of the arm unit 5309 so that the arm unit 5309 does not interfere with the field of vision of the operator looking at the display device 5319.
  • the first joint unit 5311 a to the sixth joint unit 5311 f may be provided with an actuator mounted with a drive mechanism such as a motor and an encoder for detecting a rotation angle of each joint unit.
  • the controller 5317 appropriately controls the drive of each of the actuators provided in the first to sixth joints 5311 a to 5311 f, whereby the attitude of the arm 5309, that is, the position and attitude of the microscope 5303 can be controlled.
  • the control device 5317 grasps the current posture of the arm unit 5309 and the current position and posture of the microscope unit 5303 based on the information on the rotation angle of each joint unit detected by the encoder. Can.
  • the control device 5317 calculates control values (for example, a rotation angle or generated torque, etc.) for each joint portion which realizes movement of the microscope unit 5303 according to the operation input from the user, using the information grasped. Drive the drive mechanism of each joint according to the control value.
  • control method of the arm unit 5309 by the control device 5317 is not limited, and various known control methods such as force control or position control may be applied.
  • the control device 5317 appropriately controls driving of the arm unit 5309 according to the operation input, and controls the position and posture of the microscope unit 5303. May be done.
  • the microscope portion 5303 can be fixedly supported at the position after the movement.
  • the input device it is preferable to use, for example, a foot switch or the like that can be operated even when the operator has a surgical tool, in consideration of the convenience of the operator.
  • the operation input may be performed in a non-contact manner based on gesture detection or gaze detection using a camera provided in a wearable device or an operating room.
  • the arm 5309 may be operated by a so-called master slave method.
  • the arm 5309 can be remotely controlled by the user via an input device installed at a location distant from the operating room.
  • the actuators of the first joint portion 5311 a to the sixth joint portion 5311 f are driven to receive the external force from the user and smoothly move the arm portion 5309 following the external force. So-called power assist control may be performed. Accordingly, when the user grasps the microscope unit 5303 and moves the position directly, the microscope unit 5303 can be moved with a relatively light force. Therefore, it becomes possible to move the microscope unit 5303 more intuitively and with a simpler operation, and the convenience of the user can be improved.
  • the drive of the arm unit 5309 may be controlled to pivot.
  • the pivoting operation is an operation of moving the microscope unit 5303 so that the optical axis of the microscope unit 5303 always faces a predetermined point in space (hereinafter, referred to as a pivot point). According to the pivoting operation, it is possible to observe the same observation position from various directions, which enables more detailed observation of the affected area.
  • the microscope unit 5303 is configured to be unable to adjust its focal length, it is preferable that the pivot operation be performed in a state where the distance between the microscope unit 5303 and the pivot point is fixed. In this case, the distance between the microscope unit 5303 and the pivot point may be adjusted to a fixed focal length of the microscope unit 5303.
  • the microscope unit 5303 moves on a hemispherical surface (schematically illustrated in FIG. 14) having a radius corresponding to the focal distance centered on the pivot point, and is clear even if the observation direction is changed. A captured image will be obtained.
  • the microscope unit 5303 is configured to be able to adjust its focal length
  • the pivoting operation may be performed in a state in which the distance between the microscope unit 5303 and the pivot point is variable.
  • the control device 5317 calculates the distance between the microscope unit 5303 and the pivot point based on the information on the rotation angle of each joint detected by the encoder, and the microscope based on the calculation result.
  • the focal length of the unit 5303 may be adjusted automatically.
  • the microscope unit 5303 is provided with an AF function
  • the focal length may be automatically adjusted by the AF function each time the distance between the microscope unit 5303 and the pivot point changes due to the pivoting operation. .
  • the first joint unit 5311 a to the sixth joint unit 5311 f may be provided with a brake that restricts the rotation thereof.
  • the operation of the brake may be controlled by the controller 5317.
  • the control device 5317 operates the brakes of the respective joints. Accordingly, the attitude of the arm 5309, that is, the position and the attitude of the microscope unit 5303 can be fixed without driving the actuator, so that power consumption can be reduced.
  • the control device 5317 may release the brakes of the joints and drive the actuator according to a predetermined control method.
  • Such operation of the brake may be performed in response to an operation input by the user via the above-described operation unit 5307.
  • the user wishes to move the position and posture of the microscope unit 5303, the user operates the operation unit 5307 to release the brakes of the respective joints.
  • the operation mode of the arm 5309 shifts to a mode (all free mode) in which rotation at each joint can be freely performed.
  • the user wants to fix the position and posture of the microscope unit 5303, the user operates the operation unit 5307 to operate the brakes of the respective joints.
  • the operation mode of the arm unit 5309 shifts to a mode (fixed mode) in which the rotation at each joint unit is restricted.
  • the control device 5317 centrally controls the operation of the microscopic surgery system 5300 by controlling the operations of the microscope device 5301 and the display device 5319.
  • the control device 5317 controls the drive of the arm unit 5309 by operating the actuators of the first joint unit 5311a to the sixth joint unit 5311f according to a predetermined control method.
  • the control device 5317 changes the operation mode of the arm unit 5309 by controlling the brake operation of the first joint unit 5311a to the sixth joint unit 5311f.
  • the control device 5317 performs various signal processing on the image signal acquired by the imaging unit of the microscope unit 5303 of the microscope device 5301 to generate image data for display and display the image data. It is displayed on the device 5319.
  • signal processing for example, development processing (demosaicing processing), high image quality processing (band emphasis processing, super-resolution processing, NR (noise reduction) processing and / or camera shake correction processing, etc.) and / or enlargement processing (that is, Various known signal processing may be performed, such as electronic zoom processing).
  • the communication between the control device 5317 and the microscope unit 5303 and the communication between the control device 5317 and the first joint unit 5311 a to the sixth joint unit 5311 f may be wired communication or wireless communication.
  • wired communication communication by electrical signals may be performed or optical communication may be performed.
  • the transmission cable used for wired communication may be configured as an electrical signal cable, an optical fiber, or a composite cable of these depending on the communication system.
  • wireless communication since it is not necessary to lay a transmission cable in the operating room, the situation in which the movement of the medical staff in the operating room is hindered by the transmission cable can be resolved.
  • the control device 5317 can be a processor such as a central processing unit (CPU) or a graphics processing unit (GPU), or a microcomputer or a control board on which memory elements such as a processor and a memory are mixed.
  • the various functions described above can be realized by the processor of control device 5317 operating in accordance with a predetermined program.
  • the control device 5317 is provided as a device separate from the microscope device 5301.
  • the control device 5317 is provided inside the base portion 5315 of the microscope device 5301 and is integral with the microscope device 5301. May be configured.
  • the control device 5317 may be configured by a plurality of devices.
  • a microcomputer, a control board, and the like are disposed in the microscope unit 5303 and the first joint unit 5311a to the sixth joint unit 5311f of the arm unit 5309, respectively, and connected to each other in a communicable manner. Similar functions may be implemented.
  • the display device 5319 is provided in the operating room, and displays an image corresponding to the image data generated by the control device 5317 under the control of the control device 5317. That is, on the display device 5319, an image of the operation site taken by the microscope unit 5303 is displayed.
  • the display device 5319 may display various information related to surgery, such as physical information of a patient and information on an operation technique of the surgery, instead of or together with an image of the surgery part. In this case, the display of the display device 5319 may be appropriately switched by the operation by the user.
  • a plurality of display devices 5319 may be provided, and an image of a surgical site and various information related to surgery may be displayed on each of the plurality of display devices 5319.
  • various known display devices such as a liquid crystal display device or an EL (Electro Luminescence) display device may be applied.
  • FIG. 15 is a view showing a state of surgery using the microscopic surgery system 5300 shown in FIG.
  • FIG. 15 schematically shows the operator 5321 performing surgery on a patient 5325 on a patient bed 5323 using the microsurgical system 5300.
  • the control apparatus 5317 is abbreviate
  • the microscope apparatus 5301 is simplified and shown in figure.
  • the image of the operation site taken by the microscope device 5301 is enlarged and displayed on the display device 5319 installed on the wall of the operating room using the microscope operation system 5300.
  • the display device 5319 is installed at a position facing the operator 5321.
  • the operator 5321 observes the operation part by the image displayed on the display device 5319, for example, the resection of the affected part, etc. Take various measures against
  • the microscope surgery system 5300 to which the technology according to the present disclosure can be applied has been described.
  • the microscope device 5301 can also function as a support arm device that supports other observation devices and other surgical instruments at its tip instead of the microscope unit 5303.
  • an endoscope can be applied as the other observation device.
  • an energy treatment instrument that performs incision of a tissue or sealing of a blood vessel by forceps, forceps, an insufflation tube for insufflation, or cauterization may be applied.
  • the technology according to the present disclosure may be applied to a support arm device that supports configurations other than such a microscope unit.
  • the technique according to the present disclosure can be suitably applied to the control device 5317 among the configurations described above.
  • the control device 5317 performs the image processing on the image acquired through the microscope unit 5303 in the autoclave. It may control according to the application situation of processing. With such a configuration, even when the optical characteristics of the optical system constituting the microscope unit 5303 change with the application of the autoclave process, the image obtained through the microscope unit 5303 is output in a more preferable manner. It is possible to
  • the image processing apparatus is a subject of a patient acquired via an optical system (for example, an endoscope unit) including a birefringence mask Control is performed such that a corrected image is generated by performing image processing (for example, restoration processing such as deconvolution) on the image from which the image has been captured.
  • image processing for example, restoration processing such as deconvolution
  • the image processing apparatus acquires information on the application status of autoclave processing (for example, autoclave sterilization processing) on the optical system.
  • the image processing apparatus may acquire information on the application status of the autoclave processing from the imaging apparatus (that is, the medical observation apparatus) in which the optical system is held, or is managed by the hospital information management system or the like.
  • the image processing apparatus may acquire information on the application status of the autoclave processing based on user input. Then, the image processing apparatus controls the image processing to be performed on the image in accordance with the application status of the autoclave processing to the optical system (in other words, the imaging apparatus holding the optical system).
  • optical characteristics for example, retardation
  • a birefringence mask included in the optical system are changed.
  • it is possible to output an image in a more preferable manner for example, output with a more preferable image quality.
  • the medical image processing system according to the present embodiment even when a birefringence mask is incorporated in an endoscope or the like and it is difficult to directly detect a change in optical characteristics of the birefringence mask alone. According to the change of the optical characteristic, it is possible to output the image in a more preferable manner. That is, according to the medical image processing system according to the present embodiment, it is possible to realize the control relating to the extension of the depth of field using the birefringence mask in a more preferable aspect.
  • the application destination of the technology according to the present disclosure is not limited to only the above-described example. That is, when the EDOF technique using a birefringence mask is applied and autoclave processing is applied to an optical system including the birefringence mask, the technology according to the present disclosure can be applied. . Further, in the above-described example, the case where an image of a patient (for example, an image of a surgical site) is captured during surgery is mainly described, but the application of the medical image processing system according to the present embodiment Depending on the destination, the imaging target may be changed as appropriate.
  • a sample to be an object of the inspection or the analysis is an imaging target (that is, an observation target) It is also good. Therefore, in the present disclosure, the part described as "patient” as an imaging or observation target includes the “sample” to be an object of examination or analysis, and thus substantially corresponds to the "patient” or the “sample”. It is intended to include similar concepts.
  • a control unit that performs control such that a corrected image is generated by performing image processing on an image obtained by capturing an image of a subject of a patient acquired via an optical system including a birefringence mask; An acquisition unit that acquires information on the application status of high-pressure steam sterilization processing to the optical system; Equipped with The control unit controls the image processing in accordance with the application status of the high pressure steam sterilization processing.
  • Medical image processing device (2) The medical image processing apparatus according to (1), wherein the image processing includes filter processing for adjusting the blur amount of the image.
  • the control unit controls the image processing by switching a filter that adjusts the blur amount in accordance with the application state.
  • the control unit generates a new filter based on a plurality of filters having different filter coefficients according to the application situation, and controls the new filter to be applied to the image.
  • the medical image processing apparatus as described.
  • the control unit controls the image processing according to a change in an optical characteristic of the optical system estimated according to an application state of the high-pressure steam sterilization processing according to any one of (1) to (5).
  • the medical image processing apparatus according to (6), wherein the optical property includes a property related to a refractive index difference of the optical system.
  • an estimation unit configured to estimate application of high pressure steam sterilization processing to the optical system,
  • the medical image processing apparatus according to any one of (1) to (7), wherein the control unit controls the image processing in accordance with an estimation result of an application status of the high-pressure steam sterilization processing.
  • the estimation unit estimates an application status of the high-pressure steam sterilization process according to the number of times the high-pressure steam sterilization process is performed on the optical system.
  • the estimation unit estimates the number of times the high-pressure steam sterilization process has been performed on the optical system, based on the detection result of the temperature change of the environment around the optical system by a predetermined temperature sensor.
  • the medical image processing apparatus (11) The medical image processing apparatus according to (8), wherein the estimation unit estimates an application status of the high-pressure steam sterilization process according to a time when the high-pressure steam sterilization process is performed on the optical system. (12) The medical image processing apparatus according to (8), wherein the estimation unit estimates the application status of the high-pressure steam sterilization processing according to the time when the optical system has been used in the past. (13) The medical image according to any one of (1) to (12), wherein the control unit controls the image processing to be applied according to the application situation according to a predetermined condition. Processing unit. (14) The medical image processing apparatus according to (13), wherein the predetermined condition includes a condition according to an imaging result of a predetermined subject using the optical system.
  • the medical image processing apparatus includes a condition according to a user input.
  • the predetermined condition includes the condition according to the user's selection of an option regarding the application amount of the image processing, which is presented to the user according to the application status of the high-pressure steam sterilization processing. Medical image processing device.
  • the medical image processing apparatus according to (16), wherein the number of options presented to the user is controlled to increase as the application amount of the high-pressure steam sterilization processing to the optical system increases.
  • An imaging apparatus including an optical system that includes a birefringence mask and that acquires a subject image of a patient, and an imaging unit that captures an image of the subject image; A control unit configured to perform control such that a corrected image is generated by performing image processing on an image captured by the imaging unit; and an acquisition unit configured to acquire information on an application state of high-pressure steam sterilization processing on the optical system.
  • An image processing apparatus including Equipped with The control unit controls the image processing in accordance with the application status of the high pressure steam sterilization processing.
  • Medical image processing system At least a part of the optical system is configured as an endoscope unit; The imaging unit captures an image of the subject acquired by the endoscope unit.
  • the medical image processing system according to (18).
  • the computer is Controlling to generate a corrected image by performing image processing on an image obtained by capturing an image of a subject of a patient acquired via an optical system including a birefringence mask; Obtaining information on application of high pressure steam sterilization to the optical system; Including The image processing is controlled according to the application status of the high-pressure steam sterilization processing, Method of driving a medical image processing apparatus

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

複屈折マスクを利用した被写界深度の拡大に係る制御をより好適な態様で実現する。複屈折マスクを含む光学系を介して取得された患者の被写体像が撮像された画像に対して画像処理を施すことで補正画像が生成されるように制御する制御部と、前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得する取得部と、を備え、前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理を制御する、医療用画像処理装置。

Description

医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
　本開示は、医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法に関する。
　近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像装置（カメラ）等により撮像された患部の画像を、モニタなどの表示装置に電子画像として表示させる装置も提案されている。例えば、特許文献１には、撮像装置により撮像された患部の画像を表示部に表示させることが可能な、所謂電子内視鏡システムの一例が開示されている。
　また、近年では、上述した医療用観察装置を適用したシステムに対して、撮像される画像の画質をより向上させる各種技術の適用が検討されている。このような技術として、ＥＤＯＦ（Extended　Depth　Of　Field）と称される被写界深度を拡大させる技術が注目されている。ＥＤＯＦ技術の具体的な一例としては、被写体像を取得する光学系に対して複屈折マスクを適用し、当該光学系を介して撮像された画像に対して、当該複屈折マスクの光学特性に応じた画像処理（画像信号処理）を適用することで、被写界深度を拡大させる手法が挙げられる。
特開２００９－２８５１９１号公報
　一方で、医療の現場においては、内視鏡等の医療機器は、使用の度にオートクレーブ（高圧蒸気）滅菌処理にかけられるような状況が想定され得る。このようなオートクレーブ滅菌処理が繰り返し施されることで、内視鏡等の光学系に適用された複屈折マスクの光学特性が変化し、被写界深度の拡大に係る処理（例えば、上記画像処理）の結果として得られる画像に影響を及ぼす（例えば、画像の画質が変化する）場合がある。
　そこで、本開示では、複屈折マスクを利用した被写界深度の拡大に係る制御をより好適な態様で実現することが可能な技術について提案する。
　本開示によれば、複屈折マスクを含む光学系を介して取得された患者の被写体像が撮像された画像に対して画像処理を施すことで補正画像が生成されるように制御する制御部と、前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得する取得部と、を備え、前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理を制御する、医療用画像処理装置が提供される。
　また、本開示によれば、複屈折マスクを含み患者の被写体像を取得する光学系と、前記被写体像の画像を撮像する撮像部と、を含む撮像装置と、前記撮像部により撮像された画像に画像処理を施すことで補正画像が生成されるように制御する制御部と、前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得する取得部と、を含む画像処理装置と、を備え、前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理を制御する、医療用画像処理システムが提供される。
　また、本開示によれば、コンピュータが、複屈折マスクを含む光学系を介して取得された患者の被写体像が撮像された画像に対して画像処理を施すことで補正画像が生成されるように制御することと、前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得することと、を含み、前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理が制御される、医療用画像処理装置の駆動方法が提供される。
　以上説明したように本開示によれば、複屈折マスクを利用した被写界深度の拡大に係る制御をより好適な態様で実現することが可能な技術が提供される。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る医療用画像処理システムの概略的な構成の一例について説明するための説明図である。 同実施形態に係る内視鏡に適用される光学素子の概略的な構成の一例について説明するための説明図である。 同実施形態に係る内視鏡の構成の一例について説明するための説明図である。 同実施形態に係る光学素子の特性について説明するための説明図である。 同実施形態に係る光学素子の特性について説明するための説明図である。 同実施形態に係る内視鏡に適用される光学素子の特性の一例について説明するための説明図である。 オートクレーブ処理の適用状況に応じたレタデーションの変化に関するシミュレーション結果の一例について説明するための説明図である。 同実施形態に係る医療用画像処理システムの機能構成の一例を示した機能ブロック図である。 同実施形態に係る医療用画像処理システムの一連の処理の流れの一例について示したフローチャートである。 変形例１に係る医療用画像処理システムの概要について説明するための説明図である。 変形例２に係る医療用画像処理システムの概要について説明するための説明図である。 変形例３に係る医療用画像処理システムの概要について説明するための説明図である。 同実施形態に係る医療用画像処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。 顕微鏡手術システムの概略的な構成の一例を示す図である。 図１４に示す顕微鏡手術システムを用いた手術の様子を示す図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．システムの概要
　２．光学素子の構成
　３．複屈折マスクを利用したＥＤＯＦ技術に関する検討
　４．技術的特徴
　　４．１．概要
　　４．２．機能構成
　　４．３．処理
　　４．４．変形例
　５．ハードウェア構成
　６．応用例
　７．むすび
　＜＜１．システムの概要＞＞
　まず、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図１は、本開示の一実施形態に係る医療用画像処理システムの概略的な構成の一例について説明するための説明図である。医療用画像処理システム１は、内視鏡下手術システムである。図１の例では、術者（医師）３が、医療用画像処理システム１を用いて、患者ベッド５上の患者７に内視鏡下手術を行っている。医療用画像処理システム１は、内視鏡１０と、その他の手術器具（術具）３０と、内視鏡１０を支持する支持アーム装置４０と、内視鏡下手術のための様々な装置が搭載されたカート５０と、から構成される。
　内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカと呼ばれる筒状の開孔器具３７ａ～３７ｄが腹壁に複数穿刺される。そして、トロッカ３７ａ～３７ｄから、内視鏡１０の鏡筒１１、及びその他の術具３０が、患者７の体腔内に挿入される。図１の例では、その他の術具３０として、気腹チューブ３１、エネルギー処置具３３及び鉗子３５が示されている。エネルギー処置具３３は、高周波電流又は超音波振動での、組織の切開若しくは剥離又は血管の封止などの処置のために利用される。なお、図示した術具３０は一例に過ぎず、他の種類の術具（例えば、攝子又はレトラクタなど）が利用されてもよい。
　内視鏡１０によって撮像される患者７の体腔内の画像は、表示装置５３により表示される。術者３は、表示画像をリアルタイムで見ながら、エネルギー処置具３３及び鉗子３５を用いて、例えば患部を切除するなどの処置を行う。なお、図示を省略しているが、気腹チューブ３１、エネルギー処置具３３及び鉗子３５は、手術中に、術者３又は助手などのユーザによって支持される。
　支持アーム装置４０は、ベース部４１から延伸するアーム部４３を備える。図１の例では、アーム部４３は、関節部４５ａ、４５ｂ及び４５ｃ、並びにリンク４７ａ及び４７ｂから構成され、内視鏡１０を支持している。アーム部４３がアーム制御装置５７からの制御に従って駆動される結果として、内視鏡１０の位置及び姿勢が制御され、内視鏡１０の安定的な位置の固定もまた実現され得る。
　内視鏡１０は、鏡筒１１と、鏡筒１１の基端に接続されるカメラヘッド１３と、から構成される。鏡筒１１の先端からある長さまでの一部分は、患者７の体腔内に挿入される。図１の例では、硬性の鏡筒１１を有するいわゆる硬性鏡として内視鏡１０が構成されているが、内視鏡１０は、いわゆる軟性鏡として構成されてもよい。
　鏡筒１１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０には光源装置５５が接続されており、光源装置５５によって生成された光が、鏡筒１１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者７の体腔内の観察対象に向かって照射される。なお、内視鏡１０は、直視鏡であってもよく、又は斜視鏡若しくは側視鏡であってもよい。
　カメラヘッド１３は、照射部と、光学系、駆動系、及びイメージセンサを内蔵する撮像部とを備える。照射部は、光源装置５５からライトガイドを通じて供給される照射光を、被写体へ向けて照射する。光学系は、典型的にはレンズユニットを含み、鏡筒１１の先端から取り込まれる被写体からの観察光（照射光の反射光）を、イメージセンサへ向けて集光する。レンズユニット内のズームレンズ及びフォーカスレンズの位置は、倍率及び焦点距離といった撮像条件を可変的に制御するために、駆動系により駆動されて変化し得る。カメラヘッド１３のイメージセンサは、光学系により集光される観察光を光電変換し、電気信号である画像信号を生成する。イメージセンサは、３つの色成分の画像信号をそれぞれ生成する別個の撮像素子を有する３板式センサであってもよく、又は単板式若しくは２板式といった他のタイプのイメージセンサであってもよい。イメージセンサは、例えばＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）又はＣＣＤ（Charge-Coupled　Device）などのいかなるタイプの撮像素子を有していてもよい。イメージセンサにより生成される画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera　Control　Unit）５１へ送信される。
　ある実施形態において、カメラヘッド１３により生成される画像信号により表現される撮像画像は、視差判定用画像を含む。視差判定用画像は、典型的には、右眼画像及び左眼画像から構成される。右眼画像及び左眼画像は、複眼カメラの右眼用イメージセンサ及び左眼用イメージセンサによりそれぞれ生成されてもよい。その代わりに、右眼画像及び左眼画像は、単眼カメラの単一のイメージセンサにより（例えばシャッタ切り替え方式で）生成されてもよい。
　ＣＣＵ５１は、信号線及び通信インタフェースを介してカメラヘッド１３と接続される。カメラヘッド１３とＣＣＵ５１との間の信号線は、例えば光ケーブルなどの、双方向の通信を可能とする高速の伝送線である。ＣＣＵ５１は、ＣＰＵ（Central　Processing　Unit）などのプロセッサとＲＡＭ（Random　Access　Memory）などのメモリとを有し、内視鏡１０及び表示装置５３の動作を統括的に制御する。ＣＣＵ５１は、画像信号を一時的に記憶するためのフレームメモリと、画像処理を実行する１つ以上のＧＰＵ（Graphics　Processing　Unit）とをさらに有してもよい。例えば、ＣＣＵ５１は、カメラヘッド１３から入力される視差判定用画像に基づいて、画素ごと（又は他の何らかの単位ごとに）視差を判定する。判定される視差は、例えば、立体視画像の生成、被写界深度の拡大、立体感の強調又はダイナミックレンジの拡張といった画像処理のために利用され得る。ＣＣＵ５１は、画像処理の結果として生成される画像を、表示のために表示装置５３へ出力し、又は記録のためにレコーダ６５へ出力し得る。出力される一連の画像は、動画（映像）を構成し得る。ＣＣＵ５１において実行される画像処理は、例えば現像及びノイズ低減などの一般的な処理を含んでもよい。また、ＣＣＵ５１は、カメラヘッド１３へ制御信号を送信し、カメラヘッド１３の駆動を制御する。当該制御信号には、例えば上述した撮像条件を指定する情報が含まれ得る。
　表示装置５３は、ＣＣＵ５１からの制御に従い、入力される表示画像信号に基づく画像を表示する。また、表示装置５３は、入力される表示画像信号に基づいて立体視画像を表示してもよい。この場合には、表示装置５３は、アクティブシャッタ方式、パッシブ方式又はグラスレス方式などのいかなる方式で立体視画像を表示してもよい。
　光源装置５５は、例えばＬＥＤ、キセノンランプ、ハロゲンランプ、レーザ光源、又はこれらの組み合わせに相当する光源を含み、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡１０へ供給する。
　アーム制御装置５７は、例えばＣＰＵなどのプロセッサを有し、所定のプログラムに従って動作することにより支持アーム装置４０のアーム部４３の駆動を制御する。
　入力装置５９は、医療用画像処理システム１へのユーザ入力を受け付ける１つ以上の入力インタフェースを含む。ユーザは、入力装置５９を介して、医療用画像処理システム１へ様々な情報を入力し又は様々な指示を入力することができる。例えば、ユーザは、入力装置５９を介して、後述する設定情報又はその他のパラメータを入力してもよい。また、例えば、ユーザは、入力装置５９を介して、アーム部４３を駆動させる旨の指示、内視鏡１０における撮像条件（照射光の種類、倍率及び焦点距離など）を変更する旨の指示、又はエネルギー処置具３３を駆動させる旨の指示などを入力する。
　入力装置５９は、いかなる種類のユーザ入力を扱ってもよい。例えば、入力装置５９は、マウス、キーボード、スイッチ（例えば、フットスイッチ６９）又はレバーなどの機構を介して物理的なユーザ入力を検出してもよい。入力装置５９は、タッチパネルを介してタッチ入力を検出してもよい。入力装置５９は、メガネ型デバイス又はＨＭＤ（Head　Mounted　Display）といったウェアラブルデバイスの形態で実現され、ユーザの視線又はジェスチャを検出してもよい。また、入力装置５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声コマンドを検出してもよい。
　処置具制御装置６１は、組織の焼灼若しくは切開又は血管の封止などの処置のために、エネルギー処置具３３の駆動を制御する。気腹装置６３は、内視鏡１０により観察される視野を確保し及び術者の作業空間を確保する目的で、患者７の体腔を膨らませるために、気腹チューブ３１を介して当該体腔内にガスを送り込む。レコーダ６５は、医療上の作業に関する様々な情報（例えば、設定情報、画像情報及びバイタルセンサ（図示せず）からの測定情報のうちの１つ以上）を記録媒体へ記録する。プリンタ６７は、医療上の作業に関する様々な情報を、テキスト、画像又はグラフなどの何らかの形式で印刷する。
　なお、本実施形態に係る内視鏡１０は、鏡筒１１とカメラヘッド１３との間に所謂光学マスク等のような光学素子１２を挿入可能に構成されていてもよい。光学素子１２としては、例えば、複屈折マスク（ＢＭ：Birefringent　Mask）や３次元位相マスク（Cubic　Phase　Mask）等が挙げられる。本実施形態に係る医療用画像処理システム１においては、このような光学素子１２を鏡筒１１とカメラヘッド１３との間に介在させることで、カメラヘッド１３内の撮像素子に対して被写体像を結像する一連の光学系の光学的な特性を変化させ、撮像される画像のボケ量を調整する（例えば、被写界深度を制御する）。なお、光学素子１２の詳細については別途後述する。
　以上、図１を参照して、本開示に係る技術が適用され得る例示的なシステムの概要について説明した。
　＜＜２．光学素子の構成＞＞
　続いて、図２～図６を参照して、本実施形態に係る内視鏡１０において、鏡筒１１とカメラヘッド１３との間に挿入される光学素子１２の特徴についてより詳しく説明する。
　近年では、カメラ等の撮像装置に用いられる撮像素子（所謂イメージセンサ）の解像度はより高くなる傾向にあり、「ＨＤ（１２８０×７２０）」に限らず、「４Ｋ　ＵＨＤ（３８４０×２１６０）」や「８Ｋ　ＵＨＤ（７６８０×４３２０）」のものも提案されている。そのため、本実施形態に係る内視鏡１０のような医療用の観察装置（撮像装置）においても、撮像される画像の高解像度化が望まれている。一方で、高解像度化に伴い撮像素子の画素サイズもより小さくなる傾向にあり、相対的に各画素により集光される光の光量がより少なくなる傾向にある。このような状況下では、例えば、絞りをより開く（即ち、Ｆ値をより小さくする）ことで光量不足を補う場合があるが、その一方で、絞りの開放に伴い被写界深度がより狭くなる場合がある。
　以上のような状況を鑑み、例えば、ＥＤＯＦ（Extended　Depth　of　Field）と称される、被写界深度を拡大させる技術が適用される場合がある。本実施形態に係る内視鏡１０では、当該ＥＤＯＦ技術の中でも、複屈折マスクを利用したＥＤＯＦ技術を適用することで、撮像される画像の被写界深度をより拡大させる。具体的には、本実施形態に係る内視鏡１０は、前述したように、鏡筒１１とカメラヘッド１３との間に光学素子１２を挿入可能に構成されており、当該光学素子１２が挿入されることで、撮像される画像の被写界深度が制御される。
　例えば、図２は、本実施形態に係る内視鏡１０に適用される光学素子１２の概略的な構成の一例について説明するための説明図である。具体的には、図２は、光学素子１２が複屈折マスクとして構成されている場合の一例を示しており、光学素子１２をカメラヘッドの光軸方向から見た場合における当該光学素子１２の構成の一例を示している。なお、図２では、図面の横方向をｘ方向、縦方向をｙ方向、奥行き方向（即ち、カメラヘッド１３の光軸方向）をｚ方向とする。また、以降の説明では、特に定義が無い場合には、撮像装置（例えば、撮像装置３）の光軸方向（換言すると、奥行き方向）をｚ方向、当該撮像装置により撮像される画像の横方向及び縦方向（即ち、光軸に垂直な方向）をｘ方向及びｙ方向とする。
　図２に示すように、光学素子１２は、参照符号１２５で示された領域の内部に、当該領域１２５の中心近傍から外側に向けて複数の偏光素子１２１～１２３が配置されている。より具体的な一例として、図２に示す例では、光学素子１２は、光軸に対して垂直なｘｙ平面上において、同心円状に複数の偏光素子１２１～１２３が配置されている。なお、図２に示された矢印は、当該矢印が付された偏光素子の偏光方向を模式的に示している。即ち、偏光素子１２１～１２３は、互いに隣接する偏光素子の偏光方向が互いに異なるように設けられている。
　例えば、図２に示す例では、偏光素子１２１の偏光方向はｘ方向である。これに対して、偏光素子１２１に隣接する偏光素子１２２の偏光方向はｙ方向であり、当該偏光素子１２１の偏光方向（ｘ方向）に対して９０度回転した方向となっている。同様に、偏光素子１２２に隣接する偏光素子１２３の偏光方向はｘ方向であり、当該偏光素子１２２の偏光方向（ｙ方向）に対して９０度回転した方向となっている。
　このような構成により、鏡筒１１により集光された光は、光軸（ｚ方向）に垂直なｘｙ平面上の位置に応じて、光学素子１２の偏光素子１２１～１２３のうちいずれかに入射し、当該偏光素子により偏光された光が、カメラヘッド１３に入射することとなる。
　なお、鏡筒１１とカメラヘッド１３との間に光学素子１２を介在させることが可能であれば、内視鏡１０の構成は特に限定されない。例えば、図３は、本実施形態に係る内視鏡１０の構成の一例について説明するための説明図であり、鏡筒１１とカメラヘッド１３との間に光学素子１２を介在させるための構成の一例を示している。
　具体的な一例として、参照符号１０ａで示した内視鏡の構成例は、光学素子１２を鏡筒１１の一部として構成した場合の一例である。具体的には、内視鏡１０ａにおいては、鏡筒１１ａのうち、カメラヘッド１３ａに装着される側の端部に光学素子１２ａが保持されている。このような構成により、鏡筒１１ａにより集光された光が当該鏡筒１１ａの外部に出射される際に光学素子１２ａを通過し、当該光学素子１２ａを通過した光がカメラヘッド１３ａに入射することとなる。このような構成であれば、その内視鏡に最適な被写界深度拡大処理を行うことが可能となり得る。
　また、他の一例として、参照符号１０ｂで示した内視鏡の構成例は、光学素子１２をカメラヘッド１３の一部として構成した場合の一例である。具体的には、内視鏡１０ｂにおいては、カメラヘッド１３ｂのうち、鏡筒１１ｂに装着される側の端部に光学素子１２ａが保持されている。このような構成により、鏡筒１１ｂにより集光された光がカメラヘッド１３ｂに入射する際に、光学素子１２ｂを通過することとなる。このような構成であれば、専用の内視鏡ではなく、従来の内視鏡を用いて、被写界深度拡大処理を行う事が可能となり得る。
　また、参照符号１０ｃで示した内視鏡の構成例は、光学素子１２を所謂アタッチメントとして構成した場合の一例である。具体的には、光学素子１２は、鏡筒１１ｃ及びカメラヘッド１３ｃのそれぞれに対して、当該鏡筒１１ｃと当該カメラヘッド１３ｃとの間に介在するように着脱可能に構成されている。このような構成により、鏡筒１１ｃとカメラヘッド１３ｃとの間に介在するように光学素子１２ｃを装着することで、鏡筒１１ｃにより集光された光が、光学素子１２ｃを通過した後、カメラヘッド１３ｃに入射することとなる。このような構成であれば、様々な内視鏡、カメラヘッドに対応可能となるため、導入が容易である。
　もちろん、図３に示した構成例はあくまで一例であり、鏡筒１１とカメラヘッド１３との間に光学素子１２を介在させることが可能であれば、内視鏡１０の構成は、図３に示した構成例のみには限定されないことは言うまでもない。
　ここで、図４及び図５を参照して、図２に示す光学素子１２の特性について説明する。図４及び図５は、本実施形態に係る光学素子１２の特性について説明するための説明図である。具体的には、図４は、鏡筒１１とカメラヘッド１３との間に光学素子１２が介在しない場合の一例であり、鏡筒１１により集光されカメラヘッド１３に導かれた光の光路を模式的に示している。また、図５は、鏡筒１１とカメラヘッド１３との間に光学素子１２を介在させた場合の一例であり、鏡筒１１により集光され光学素子１２を介してカメラヘッド１３に導かれた光の光路を模式的に示している。
　図４に示す例では、鏡筒１１により集光されカメラヘッド１３に導かれた光は、当該カメラヘッド１３の結像光学系により、撮像素子の像面に結像するように光路が制御される。図４において、参照符号ｖ１１で示す像は、参照符号ｐ１１で示された位置において結像する被写体像を模式的に示している。また、参照符号ｖ１３で示す像は、参照符号ｐ１３で示された位置において結像する被写体像を模式的に示したものである。
　これに対して、図５に示す例では、鏡筒１１により集光され光は、光学素子１２を介してカメラヘッド１３に導かれ、当該カメラヘッド１３の結像光学系により光路が制御される。図５において、参照符号ｖ２１で示す像は、参照符号ｐ１１で示された位置において結像する被写体像を模式的に示している。また、参照符号ｖ２３で示す像は、参照符号ｐ１３で示された位置において結像する被写体像を模式的に示したものである。
　図４及び図５を比較するとわかるように、光学素子１２が挿入されることにより、カメラヘッド１３の撮像素子に被写体像を結像するための一連の光学系（以降では、単に「一連の光学系」とも称する）の特性が変化する。具体的には、光学素子１２の挿入に伴い、当該光学素子１２の挿入前に比べて、位置ｐ１１と位置ｐ１３との間における被写体像の結像形状（即ち、点像分布関数（ＰＳＦ：Point　Spread　Function））の変化がより少なくなる。
　例えば、図６は、本実施形態に係る内視鏡１０に適用される光学素子１２の特性の一例について説明するための説明図であり、光学素子１２の挿入に伴う一連の光学系の変調伝達関数（ＭＴＦ：Modulation　Transfer　Function）の変化の一例を示している。図６において、横軸は、一連の光学系の結像面（換言すると、合焦位置）を基準とした光軸方向のズレ（即ち、デフォーカス量）を示しており、縦軸は、変調伝達関数（ＭＴＦ）を示している。また、図６において、参照符号ｇ１１で示されたグラフは、図４に示すように、鏡筒１１とカメラヘッド１３との間に光学素子１２が介在しない場合における、一連の光学系の変調伝達関数（ＭＴＦ）の一例を示している。また、参照符号ｇ１３で示されたグラフは、図５に示すように、鏡筒１１とカメラヘッド１３との間に光学素子１２を挿入した場合における、一連の光学系の変調伝達関数（ＭＴＦ）の一例を示している。
　図６に示すように、光学素子１２を適用することで、当該光学素子１２の適用前に比べて、光軸方向に沿ったより広い範囲にわたって変調伝達関数（ＭＴＦ）が分布するように、一連の光学系の特性が変化する。即ち、光学素子１２の適用により、被写界深度をより拡大することが可能となる。
　一方で、図６を参照するとわかるように、光学素子１２を適用することで、合焦位置における変調伝達関数（ＭＴＦ）の値が、当該光学素子１２の適用前に比べて下がる。そこで、本実施形態に係る医療用画像処理システム１では、図５に示すように、カメラヘッド１３により撮像された画像に対して復元処理（画像処理）を施すことで、変調伝達関数（ＭＴＦ）の低下に伴い生じる被写体像の画像の劣化（所謂ボケ）に対し画像を復元する。例えば、図５において、参照符号ｖ２５で示した像は、被写体像ｖ２３に対して上記復元処理を施した場合における、当該復元処理後の被写体像の一例を示している。なお、当該復元処理（例えば、ボケ量を調整する処理）としては、例えば、デコンボリューションと称される処理が挙げられる。もちろん、上記画像の劣化を復元することが可能であれば、被写体像の画像に適用される復元処理は、必ずしもデコンボリューションのみには限定されない。
　以上のような制御により、例えば、被写界深度が拡大され、かつ観察対象がより鮮明に提示された、画像（即ち、より鮮鋭な画像）を得ることが可能となる。
　以上、図２～図６を参照して、本実施形態に係る内視鏡１０において、鏡筒１１とカメラヘッド１３との間に挿入される光学素子１２の特徴についてより詳しく説明した。
　＜＜３．複屈折マスクを利用したＥＤＯＦ技術に関する検討＞＞
　続いて、本実施形態に係る医療用画像処理システムのように、複屈折マスクを利用したＥＤＯＦ技術を適用する場合における技術的課題について説明する。
　複屈折マスクと画像処理（復元処理）との組み合わせによって被写界深度を拡大させる場合には、複屈折マスクやその他の光学系の光学特性が既知であるものとして、当該画像処理として実行される処理の内容が設計される。
　ここで、複屈折マスクを利用したＥＤＯＦ技術においては、前述したように、例えば、上記画像処理として、複屈折マスクを含む光学系を介して撮像された画像からボケを除去するためのデコンボリューションと称される処理が適用される。デコンボリューションにおいては、適用されるフィルタのフィルタ係数を、複屈折マスクを含む光学系の光学特性に応じて適応的に切り替えることで、当該複屈折マスクの挿入により生じたボケが除去される。
　なお、デコンボリューションフィルタとしては、例えば、逆フィルタやウィナーフィルタ等が挙げられる。逆フィルタは、例えば、複屈折マスクを含む光学系（例えば、内視鏡の鏡筒等）の光学特性（例えば、変調伝達関数（ＭＴＦ）等）に応じて設計されるフィルタに相当する。即ち、当該逆フィルタは、例えば、当該光学系の変調伝達関数の逆特性を有するように設計されてもよい。
　また、ウィナーフィルタの空間周波数特性ＷＦについては、以下に（式１）として示す計算式で表される。
Figure JPOXMLDOC01-appb-M000001
　上記（式１）において、ｕ及びｖのそれぞれは、画像平面に水平な互いに直交する方向をｘ方向及びｙ方向とした場合に、ｘ方向及びｙ方向それぞれへの空間周波数を表している。また、Ｈ（ｕ，ｖ）は、光学的伝達関数（ＯＴＦ：Optical　Transfer　Function）を示している。なお、Ｈ＊（ｕ，ｖ）は、Ｈ（ｕ，ｖ）の複素共役を示している。また、Ｓｆ（ｕ，ｖ）及びＳｎ（ｕ，ｖ）のそれぞれは、原画像及びノイズそれぞれのパワースペクトルを示している。
　一方で、手術等のような医療の現場で使用されるカメラヘッドや内視鏡の鏡筒（例えば、硬性鏡や軟性鏡）のような医療機器は、使用される度にオートクレーブ（高圧蒸気）滅菌処理にかけられる。そのため、例えば、内視鏡に対してオートクレーブ滅菌処理が繰り返し施されることで、当該内視鏡の光学系（即ち、硬性鏡や軟性鏡）の光学特性、特に、複屈折マスクの光学特性が徐々に変化する場合がある。このような状況下では、複屈折マスクの光学特性（即ち、変化後の光学特性）と、画像信号処理が想定している光学特性と、の間に乖離が生じ、出力される画像の画質に影響を及ぼす場合がある。
　具体的には、複屈折マスクの光学特性として、レタデーション（Retardation）と称される光の位相差を示すパラメータが挙げられる。レタデーションは、屈折率差Δｎ（＝ｎｅ－ｎｏ）と、複屈折物質の厚さｄと、の積Δｎｄで表される。オートクレーブ滅菌処理のような所謂オートクレーブ処理（高圧蒸気処理）が複屈折マスクに適用されることで、当該複屈折マスクの屈折率差Δｎの特性が変化する（即ち、屈折率差Δｎが減少する）ことが推定され得る。この屈折率差Δｎの値が減少することで、例えば、被写界深度の拡大に関する効果が薄れることとなる。
　これに対して、上述のような複屈折マスクのレタデーションの変化が生じているにも関わらず、当該レタデーションの変化前と同様の画像処理（復元処理）が、当該複屈折マスクを利用して撮像された画像に適用されると、出力される画像の画質が所謂過強調となる可能性が高い。そのため、複屈折マスクのレタデーションの変化に応じて、画像処理の内容を適応的に切り替えることで、より好適な画質の画像を出力可能とすることが望ましい場合がある。
　複屈折マスクの光学特性（レタデーション）については、当該複屈折マスク単体であれば測定することが可能である。しかしながら、内視鏡の光学系（例えば、硬性鏡）やカメラヘッドの光学系等の一部として複屈折マスクが組み込まれている場合もあり、このような場合においては、複屈折マスク単体の光学特性を測定することは困難である。
　以上のような状況を鑑み、本開示では、複屈折マスクを利用した被写界深度の拡大に係る制御をより好適な態様で実現することが可能な技術を提案する。具体的には、本開示では、オートクレーブ滅菌処理が繰り返し施されることで複屈折マスクの光学特性が変化するような状況下においても、画像をより好適な態様で出力する（例えば、より好適な画質で出力する）ことが可能な技術の一例について提案する。
　＜＜４．技術的特徴＞＞
　以下に、本開示の一実施形態に係る医療用画像処理システムの技術的特徴について説明する。
　　＜４．１．概要＞
　前述したように、医療用観察装置においては、内視鏡の鏡筒やカメラヘッド等の光学系の一部として複屈折マスクが組み込まれている場合があり、このような場合においては、複屈折マスク単体の光学特性を事後的に測定する（即ち、組み込み後に測定する）ことは困難である。そのため、このような状況下では、例えば、複屈折マスクが組み込まれた機器に対してオートクレーブ滅菌処理が繰り返し適用されることで、当該複屈折マスクの光学特性（レタデーション）が変化した場合に、当該光学特性の変化を直接測定することは困難である。
　そこで、本実施形態に係る医療用画像処理システムでは、オートクレーブ滅菌処理の適用状況に応じて、複屈折マスクの光学特性（例えば、レタデーション）の変化を推定し、当該推定結果に応じて、画像に対して適用する画像処理（画像信号処理）を制御する。
　具体的な一例として、医療用画像処理システムは、内視鏡の鏡筒やカメラヘッド等の機器（以降では、「対象機器」とも称する）に対するオートクレーブ処理の適用回数や適用時間（積算時間）等の適用状況に応じて、当該対象機器に設けられた（組み込まれた）複屈折マスクの光学特性の変化を間接的に推定する。そして、当該医療用画像処理システムは、当該光学特性の変化の当該推定の結果に応じて、当該対象機器を使用して撮像された画像に対して適用される画像処理（復元処理）を制御する。具体的な一例として、医療用画像処理システムは、光学特性の変化の推定結果に応じて、撮像された画像に適用されるフィルタ（例えば、デコンボリューションフィルタ）を選択的に切り替える。
　なお、対象機器それぞれに対するオートクレーブ処理の適用状況については、例えば、医療用画像処理システムにより管理されてもよいし、当該医療用画像処理システムとは異なる他のシステム（例えば、院内システム等）で管理されてもよい。また、対象機器ごとのオートクレーブ処理の適用状況については、例えば、各対象機器を当該機器に関連付けられた識別情報（シリアルＩＤ等）に基づき識別することで、対象機器ごとに個別に管理することが可能である。
　また、他の一例として、対象機器の使用時間に応じて、当該対象機器に対するオートクレーブ処理の適用状況が推定されることで、当該対象機器に設けられた複屈折マスクの光学特性の変化が推定されてもよい。
　また、温度センサ等による対象機器の周囲の温度の変化を検出結果に応じて、当該対象機器に対するオートクレーブ処理の適用状況が推定されることで、当該対象機器に設けられた複屈折マスクの光学特性の変化が推定されてもよい。具体的には、内視鏡の鏡筒やカメラヘッド等の機器の筐体内に設けられた温度センサが閾値以上の温度を検出した場合に、当該対象機器に対してオートクレーブ処理が適用されているものと認識され、オートクレーブ処理の適用回数や適用時間が計上されればよい。
　なお、内視鏡の鏡筒やカメラヘッド等の各対象機器に対するオートクレーブ処理の適用状況に応じた、当該対象機器の光学系の光学特性（特に、複屈折マスクのレタデーション）の変化については、事前の実験やシミュレーション等によりあらかじめ測定しておくことが可能である。例えば、図７は、オートクレーブ処理の適用状況に応じたレタデーションの変化に関するシミュレーション結果の一例について説明するための説明図である。図７において、横軸は、対象機器に対して適用されるオートクレーブ処理の回数を示している。また、縦軸は、対象機器のレタデーションの変化を、初期状態（例えば、出荷時）におけるレタデーションを１とした場合における比率で示している。なお、図７に示す例では、「Ｎｏ．１」～「Ｎｏ．６」で示した６種類の機器について、レタデーションの変化に関するシミュレーションの結果の一例がそれぞれ示されている。
　図７を参照するとわかるように、対象機器に対するオートクレーブ処理の適用回数が増大するほど、当該対象機器のレタデーションはより低下する傾向にある。即ち、図７に示す例から、オートクレーブ処理の適用状況（例えば、適用回数や適用時間）を対象機器ごとに個別に管理することで、当該対象機器のレタデーションの変化（即ち、レタデーションの低下）を推定することが可能であることがわかる。そのため、対象機器のレタデーションの変化の推定結果に応じて、当該対象機器を使用して取得（撮像）された画像に対して適用するデコンボリューション等の画像処理が制御されることで、より好適な態様の画像（例えば、より好適な画質の画像）を出力することが可能となる。
　以上のような構成により、内視鏡等に組み込まれた複屈折マスクの光学特性（レタデーション）が、オートクレーブ処理等により後発的に変化するような状況下においても、当該光学特性の変化を間接的に推定し、撮像される画像に対してより好適な画像処理を適用することが可能となる。なお、以降では、本実施形態に係る医療用画像処理システムについてより詳細に説明する。
　　＜４．２．機能構成＞
　続いて、本実施形態に係る医療用画像処理システムの機能構成の一例について、特に、複屈折マスクを利用したＥＤＯＦ技術に関する部分に着目して説明する。例えば、図８は、本実施形態に係る医療用画像処理システムの機能構成の一例を示した機能ブロック図である。
　図８に示すように、本実施形態に係る医療用画像処理システム２００は、撮像装置２１０と、画像処理装置２３０と、表示装置２９１とを含む。また、医療用画像処理システム２００は、入力装置２９３を含んでもよい。また、医療用画像処理システム２００は、院内情報管理システム２９５のような他のシステムと所定のネットワークを介して接続されていてもよい。
　表示装置２９１は、図１に示す表示装置５３に相当し、ユーザに対して提示される情報（例えば、画像等）を表示情報として表示する。具体的な一例として、撮像装置２１０により撮像された画像に対して、画像処理装置２３０により画像処理が施された画像（例えば、補正画像）が、表示装置２９１を介してユーザに提示される。
　入力装置２９３は、医療用画像処理システム２００を構成する各装置に対してユーザが各種情報を入力インタフェースに相当する。入力装置２９３は、ユーザの操作入力を受け付け、当該操作入力に応じた情報を所定の装置（例えば、画像処理装置２３０）に入力する。これにより、当該装置は、ユーザからの指示を認識したり、ユーザ入力に基づく情報を取得したりすることが可能となる。
　院内情報管理システム２９５は、各種情報を管理するためのシステムである。例えば、院内情報管理システム２９５により、撮像装置２１０の使用状況や、当該撮像装置２１０に対するオートクレーブ処理（例えば、オートクレーブ滅菌処理）の適用状況等に関する情報が管理される。院内情報管理システム２９５は、所定のネットワークを介してアクセス可能に構成されていてもよく、当該ネットワークを介した他の装置（例えば、画像処理装置２３０）からの要求に応じて、当該装置に対して自身が管理する情報を出力してもよい。このような構成により、他の装置は、院内情報管理システム２９５にアクセスすることで、当該院内情報管理システム２９５が管理する各種情報を取得することが可能となる。
　撮像装置２１０は、患者の画像を撮像して当該画像を所定の出力先に出力する医療用観察装置（換言すると、医療用撮像装置）に相当する。具体的な一例として、撮像装置２１０は、図１及び図３に示す内視鏡１０（即ち、鏡筒１１及びカメラヘッド１３）に相当する。なお、本説明では、撮像装置２１０が内視鏡として構成されている場合を例に説明する。
　図８に示すように、撮像装置２１０は、対物レンズ等の光学系２１１と、複屈折マスク２１２と、撮像素子２１３とを含む。光学系２１１は、内視鏡の鏡筒を模式的に示している。また、撮像素子２１３は、カメラヘッドに設けられた撮像素子を模式的に示している。また、複屈折マスク２１２は、図３を参照して説明した複屈折マスク１２ａ～１２ｃのいずれかを模式的に示している。なお、上記光学系２１１と上記複屈折マスク２１２とを含む部分（即ち、硬性鏡や軟性鏡等に相当する部分）が、「内視鏡部」の一例に相当する。
　また、撮像装置２１０は、監視部２１４及び記憶部２１５を備えてもよい。監視部２１４は、撮像装置２１０の各種状態を監視し、当該監視の結果に応じた情報を記憶部２１５に記憶させる。記憶部２１５は、各種情報を一時的または恒久的に記憶する。
　具体的な一例として、監視部２１４は、温度センサ等のような周囲の温度を検知する検知部を備えてもよい。この場合には、監視部２１４は、当該検知部により検知された、光学系２１１、複屈折マスク２１２、及び撮像素子２１３の周辺の温度（換言すると、温度変化）を監視し、当該監視の結果に応じた情報を記憶部２１５に記憶させてもよい。このような構成により、例えば、撮像装置２１３に対してオートクレーブ処理が適用されると、上記検知部により当該オートクレーブ処理による温度変化が検知され、当該温度変化の検知結果が記憶部２１５に記憶される。
　また、他の一例として、監視部２１４は、計時部を備え、当該計時部を利用して撮像装置２１０の使用時間（例えば、撮像時間や駆動時間等）を監視し、当該監視の結果に応じた情報（例えば、使用時間を示す情報）を記憶部２１５に記憶させてもよい。
　なお、記憶部２１５に記憶された各種情報は、例えば、所定のインタフェースを介して他の装置（例えば、画像処理装置２３０）に出力されてもよい。
　画像処理装置２３０は、撮像装置２１０による撮像結果に応じて当該撮像装置２１０から出力される画像信号に対して、現像処理等の各種画像処理を施すことで出力画像を生成し、当該出力画像を表示装置２９１に表示させる。なお、画像処理装置２３０は、例えば、図１に示すＣＣＵ５１として構成され得る。即ち、画像処理装置２３０が、「医療用画像処理装置」の一例に相当する。
　具体的には、図８に示すように、画像処理装置２３０は、画像処理部２３１と、推定部２３７と、記憶部２３９とを含む。また、画像処理装置２３０は、光学特性検出部２３８を含んでもよい。また、画像処理部２３１は、例えば、現像処理部２３２と、ＥＤＯＦ処理部２３３と、高画質化処理部２３４と、制御部２３５とを含む。また、画像処理部２３１は、フィルタバンク２３６を含んでもよい。
　推定部２３７は、撮像装置２１０から各種情報を取得し、取得した当該情報に応じて、当該撮像装置２１０に対するオートクレーブ処理の適用状況を推定する。
　具体的な一例として、推定部２３７は、光学系２１１、複屈折マスク２１２、及び撮像素子２１３の周辺の温度の監視結果に応じて、撮像装置２１０に対して適用されたオートクレーブ処理の回数を推定してもよい。また、推定部２３７は、撮像装置２１０の使用時間の監視結果に応じて、当該撮像装置２１０に対して適用されたオートクレーブ処理の回数を推定してもよい。また、推定部２３７は、撮像装置２１０から識別情報を取得して当該撮像装置２１０を認識することで、撮像装置２１０に対して適用されたオートクレーブ処理の適用状況（例えば、回数）を、撮像装置２１０ごとに個別に推定してもよい。このような構成により、複数の撮像装置２１０のうちのいずれが選択的に使用されるような状況下においても、使用される撮像装置２１０ごとに個別に、オートクレーブ処理の適用状況を推定することが可能となる。
　また、推定部２３７は、撮像装置２１０に対してオートクレーブ処理が適用された累積時間を推定してもよい。例えば、推定部２３７は、オートクレーブ処理の適用回数の推定結果に対して、あらかじめ設定された１回あたりのオートクレーブ処理の適用時間を乗ずることで、オートクレーブ処理が適用された累積時間を推定してもよい。また、推定部２３７は、撮像装置２１０に対してその都度適用されたオートクレーブ処理の時間に応じて、当該オートクレーブ処理の適用状況（例えば、累積時間）を推定してもよい。
　また、他の一例として、推定部２３７は、院内情報管理システム２９５により管理された撮像装置２１０に関する各種情報を当該院内情報管理システム２９５から取得してもよい。この場合には、推定部２３７は、院内情報管理システム２９５から取得した情報に基づき、撮像装置２１０に対するオートクレーブ処理の適用状況を推定してもよい。院内情報管理システム２９５から取得される情報としては、例えば、撮像装置２１０の累積使用時間に関する情報、撮像装置２１０に対するオートクレーブ処理の適用回数に関する情報、及び、撮像装置２１０に対してオートクレーブ処理が適用された累積時間に関する情報等が挙げられる。なお、これらの情報はあくまで一例であり、推定部２３７が、撮像装置２１０に対するオートクレーブ処理の適用状況を認識または推定することが可能な情報であれば、当該情報は必ずしも上述した例のみには限定されない。
　また、他の一例として、推定部２３７は、撮像装置２１０に関する各種情報を、入力装置２９３等の入力インタフェースを介してユーザ入力に基づき取得してもよい。この場合には、推定部２３７は、ユーザ入力に基づき取得した情報に基づき、撮像装置２１０に対するオートクレーブ処理の適用状況を推定してもよい。なお、推定部２３７が、撮像装置２１０に対するオートクレーブ処理の適用状況を認識または推定することが可能であれば、ユーザ入力として取得される情報は特に限定されない。
　そして、推定部２３７は、撮像装置２１０に対するオートクレーブ処理の適用状況の推定結果に応じた情報を、記憶部２３９に記憶させてもよい。また、他の一例として、推定部２３７は、撮像装置２１０に対するオートクレーブ処理の適用状況の推定結果に応じた情報を、後述する制御部２３５に直接出力してもよい。
　光学特性検出部２３８は、後述する現像処理部２３２により、撮像装置２１０から出力される画像信号に基づき生成された画像を解析することで、撮像装置２１０に含まれる一連の光学系（例えば、光学系２１１や複屈折マスク２１２）の光学特性の変化を検出する。これにより、複屈折マスク２１２の光学特性（例えば、レタデーション）の変化を間接的に推定することが可能となる。なお、光学特性検出部２３８は、上記光学特性の変化の検出結果に応じた情報を記憶部２３９に記憶させてもよい。また、他の一例として、光学特性検出部２３８は、上記光学特性の変化の検出結果に応じた情報を後述する制御部２３５に直接出力してもよい。
　なお、所謂キャリブレーション等の操作時（例えば、システムの保守作業時）に、既知のキャリブレーションチャート（例えば、白と黒で構成された模様やエッジの画像等）を利用した、光学特性検出部２３８による、撮像装置２１０に含まれる一連の光学系の光学特性の変化の検出が行われてもよい。この場合には、光学特性検出部２３８は、撮像装置２１０により撮像された上記キャリブレーションチャートの画像中における模様やエッジ等の画像特徴に基づき、撮像装置２１０に含まれる一連の光学系の光学特性の変化を検出してもよい。
　記憶部２３９は、各種情報を一時的または恒久的に記憶する。例えば前述したように、記憶部２３９には、撮像装置２１０に対するオートクレーブ処理の適用状況の推定結果に応じた情報や、撮像装置２１０に含まれる一連の光学系の光学特性の変化の検出結果に応じた情報等が記憶されてもよい。また、記憶部２３９には、入力装置２９３等の所定の入力インタフェースを介してユーザにより入力された情報や、院内情報管理システム２９５等から送信された情報（例えば、院内情報管理システム２９５で管理された情報）等が記憶されてもよい。具体的な一例として、撮像装置２１０に対するオートクレーブ処理の適用状況に関する情報が、入力装置２９３を介したユーザ入力に基づき取得され記憶部２３９に記憶されてもよい。また、院内情報管理システム２９５から、撮像装置２１０に対するオートクレーブ処理の適用状況に関する情報が送信され、当該情報が記憶部２３９に記憶されてもよい。
　現像処理部２３２は、撮像装置２１０から出力される画像信号に対して所謂現像処理を施すことで、当該画像信号に基づく画像（即ち、当該撮像装置２１０による撮像結果に基づく画像）を生成する。現像処理部２３２は、生成した当該画像を後段に位置するＥＤＯＦ処理部２３３に出力する。
　ＥＤＯＦ処理部２３３は、前段に位置する現像処理部２３２から出力される画像（即ち、撮像装置２１０からの画像信号に基づく画像）に対して、デコンボリューション等の復元処理（例えば、フィルタ処理）を施すことで、複屈折マスク２１２の適用に伴い生じた当該画像のボケを復元する。これにより、被写界深度がより拡大され、かつボケが復元された補正画像が生成される。なお、ＥＤＯＦ処理部２３３による上記復元処理は、後述する制御部２３５により制御される。具体的な一例として、ＥＤＯＦ処理部２３３が入力画像に対して適用するフィルタが、制御部２３５により切り替えられてもよい。また、他の一例として、ＥＤＯＦ処理部２３３が入力画像に対して適用するフィルタ処理の係数が、制御部２３５により制御されてもよい。そして、ＥＤＯＦ処理部２３３は、生成した補正画像（即ち、ボケが改善された画像）を後段に位置する高画質化処理部２３４に出力する。
　高画質化処理部２３４は、前段に位置するＥＤＯＦ処理部２３３から出力される画像（即ち、補正画像）に対して各種画像処理を施し、当該画像処理後の画像を、所定の出力先に出力する。具体的な一例として、高画質化処理部２３４は、上記画像処理後の画像を、画像処理装置２３０に対して所定の伝送経路を介して接続された表示装置２９１に出力することで、当該表示装置２９１に当該画像を表示させてもよい。なお、高画質化処理部２３４が入力画像に対して適用する画像処理の種別は、当該高画質化処理部２３４から出力される画像の用途に応じて適宜決定されてもよい。また、高画質化処理部２３４が入力画像に対して適用する画像処理の種別が、所定の入力インタフェースを介したユーザからの指示に応じて選択的に切り替えられてもよい。
　制御部２３５は、所定の条件に応じて、ＥＤＯＦ処理部２３３の動作、即ち、当該ＥＤＯＦ処理部２３３による入力画像に対するデコンボリューション等の復元処理（即ち、画像処理）を制御する。例えば、制御部２３５は、撮像装置２１０に対するオートクレーブ処理の適用状況に応じて、ＥＤＯＦ処理部２３３の動作を制御してもよい。このとき、制御部２３５は、ＥＤＯＦ処理部２３３が入力画像に対して適用するフィルタを選択的に切り替えてもよい。
　具体的には、オートクレーブ処理の適用による複屈折マスク２１２のレタデーションの劣化に伴い、例えば、被写界深度の拡大の効果が低下し、入力画像の劣化量（即ち、ボケ量）も低減する。そのため、例えば、制御部２３５は、ボケ量の低減に応じて、当該画像に対する復元処理の適用量を抑制してもよい。これにより、出力される画像の画質が所謂過強調となるような事態の発生を防止し、より好適な画質の画像が出力されるように制御することが可能となる。
　なお、適用されるフィルタに関する情報ついては、例えば、所定の記憶領域に記憶されていてもよい。例えば、図８に示すフィルタバンク２３６は、ＥＤＯＦ処理部２３３が入力画像に対して適用する各種フィルタに関する情報が保持された記憶領域を模式的に示している。なお、フィルタバンク２３６に相当する構成については、画像処理部２３１の外部に設けられていてもよく、画像処理装置２３０の外部に設けられていてもよい。
　また、他の一例として、制御部２３５は、複屈折マスク２１２による被写界深度の拡大の効果の低減に応じて、入力画像に対して、当該低減分を補うように被写界深度を拡大する補正処理（例えば、フィルタ）が適用されるように制御してもよい。即ち、制御部２３５は、オートクレーブ処理の適用状況（例えば、積算時間）に応じて、入力画像に対して、被写界深度を拡大する当該補正処理が適用されるように制御してもよい。また、このとき制御部２３５は、当該補正処理の適用量を、オートクレーブ処理の適用状況に応じて制御してもよい。この場合には、例えば、制御部２３５は、撮像装置２１０に対して施されたオートクレーブ処理の積算時間が長いほど、被写界深度の拡大に係る補正処理の適用量がより増大するように制御してもよい。
　なお、上述した、入力画像の被写界深度を拡大する補正処理については、例えば、所謂機械学習を応用することで実現されてもよい。具体的には、オートクレーブ処理が適用さていない状態の画像（例えば、ＥＤＯＦ技術により被写界深度が拡大された画像）を学習データとして機械学習（例えば、多層ニューラルネットワークを用いた機械学習）を行い、当該機械学習の結果に基づき上記補正処理が行われればよい。即ち、制御部２３５は、撮像装置２１０に対して施されたオートクレーブ処理の積算時間が閾値を超えた場合に、上記機械学習の結果を利用して、入力画像に対して被写界深度を拡大する補正処理が適用されるように制御すればよい。
　また、他の一例として、上述した、入力画像の被写界深度を拡大する補正処理が、焦点距離の異なる複数枚の画像を合成する処理を追加することで実現されてもよい。
　なお、制御部２３５は、撮像装置２１０に対するオートクレーブ処理の適用状況に関する情報については、例えば、前述した推定部２３７による推定結果に応じて記憶部２３９に記憶された情報を利用してもよい。また、制御部２３５は、推定部２３７による当該推定結果を、当該推定部２３７から直接取得してもよい。
　また、撮像装置２１０に対するオートクレーブ処理の適用状況に関する情報の取得元は、必ずしも、記憶部２３９や推定部２３７のみには限定されない。具体的な一例として、入力装置２９３等の入力インタフェースを介したユーザ入力に基づき当該情報が取得されてもよい。また、他の一例として、院内情報管理システム２９５から当該情報が取得されてもよい。なお、制御部２３５のうち、当該情報の取得に係る部分が「取得部」の一例に相当する。
　また、制御部２３５は、撮像装置２１０に含まれる一連の光学系の光学特性の変化の検出結果に応じて、ＥＤＯＦ処理部２３３の動作を制御してもよい。具体的な一例として、制御部２３５は、撮像装置２１０に対するオートクレーブ処理の適用状況に応じてＥＤＯＦ処理部２３３に対して入力画像への適用を指示するフィルタを、当該一連の光学系の光学特性の変化の検出結果に応じて制御してもよい。なお、本動作については、変形例として詳細を別途後述する。また、制御部２３５は、当該一連の光学系の光学特性の変化の検出結果に応じて、ＥＤＯＦ処理部２３３が入力画像に対して適用するフィルタを直接指定してもよい。例えば、制御部２３５は、当該検出結果に応じて、上記一連の光学系に含まれる複屈折マスク２１２の光学特性（例えば、レタデーション）の変化を推定し、当該推定の結果に応じて、ＥＤＯＦ処理部２３３に対して入力画像への適用を指示するフィルタを決定してもよい。
　なお、上述した医療用画像処理システム２００の機能構成はあくまで一例であり、上述した各機能が実現可能であれば、医療用画像処理システム２００の機能構成は必ずしも図８に示す例には限定されない。具体的な一例として、撮像装置２１０、画像処理装置２３０、表示装置２９１、及び入力装置２９３のうち、少なくとも２以上の装置が一体的に構成されていてもよい。また、画像処理装置２３０の各構成のうち一部の構成が、当該画像処理装置２３０の外部（例えば、サーバ等）に設けられていてもよい。また、画像処理装置２３０の各機能が、複数の装置が連携して動作することで実現されてもよい。
　以上、図８を参照して、本実施形態に係る医療用画像処理システムの機能構成の一例について、特に、複屈折マスクを利用したＥＤＯＦ技術に関する部分に着目して説明した。
　　＜４．３．処理＞
　続いて、本実施形態に係る医療用画像処理システムの一連の処理の流れの一例ついて、特に図８に示す画像処理装置２３０の動作に着目して説明する。例えば、図９は、本実施形態に係る医療用画像処理システムの一連の処理の流れの一例について示したフローチャートである。具体的には、図９は、図８に示す医療用画像処理システム２００において、画像処理装置２３０が、撮像装置２１０に対するオートクレーブ滅菌処理の適用状況を推定し、当該推定の結果に応じて、複屈折マスクを利用したＥＤＯＦ技術における復元処理を制御する場合の一例について示している。
　まず、画像処理装置２３０（推定部２３７）は、撮像装置２１０から各種情報（例えば、当該撮像装置２１０の使用時間に関する情報等）を取得し、取得した当該情報に応じて、当該撮像装置２１０に対するオートクレーブ滅菌処理の適用状況を推定する（Ｓ１０１）。そして、画像処理装置２３０（制御部２３５）は、当該推定の結果に応じて、入力画像、即ち、撮像装置２１０からの画像信号に基づく画像に対して適用するＥＤＯＦ処理の制御が必要か否かを判定する（Ｓ１０３）。
　画像処理装置２３０（制御部２３５）は、入力画像に対して適用するＥＤＯＦ処理（即ち、デコンボリューション等の復元処理）の制御が必要と判断した場合には（Ｓ１０３、ＹＥＳ）、撮像装置２１０に対するオートクレーブ滅菌処理の適用状況の推定結果に応じて、当該ＥＤＯＦ処理の制御を行う。具体的な一例として、画像処理装置２３０は、入力画像に対して適用されるデコンボリューションフィルタを、撮像装置２１０に対するオートクレーブ滅菌処理の適用状況に応じて選択的に切り替えてもよい（Ｓ１０５）。なお、画像処理装置２３０は、上記ＥＤＯＦ処理の制御が不要と判定した場合には（Ｓ１０３、ＮＯ）、当該ＥＤＯＦ処理の制御に係る処理を実行せずに次の処理に遷移する。
　次いで、画像処理装置２３０（現像処理部２３２）は、撮像装置２１０から撮像結果に基づき出力される画像信号を取得し（Ｓ１０７）、当該画像信号に対して現像処理を施すことで、取得した画像信号に基づく画像（即ち、撮像装置２１０による撮像結果に基づく画像）を生成する（Ｓ１０９）。
　画像処理装置２３０（ＥＤＯＦ処理部２３３）は、現像処理に基づき生成した画像に対して、デコンボリューション等の復元処理を施すことで、複屈折マスク２１２の適用に伴い生じた当該画像のボケを復元する（Ｓ１１１）。これにより、被写界深度がより拡大され、かつボケが復元された補正画像が生成される。なお、当該復元処理については、前述の通り、撮像装置２１０に対するオートクレーブ滅菌処理の適用状況に応じて制御される。また、画像処理装置２３０（高画質化処理部２３４）は、当該補正画像に対して各種画像処理（例えば、高画質化のための画像処理）を施し、当該画像処理後の画像を、所定の出力先に出力する（Ｓ１１３）。
　以上のようにして、画像処理装置２３０は、患者の観察の終了が指示されるまで（Ｓ１１５、ＮＯ）、参照符号Ｓ１０７～Ｓ１１３に係る処理を逐次実行する。そして、画像処理装置２３０は、患者の観察の終了が指示されると（Ｓ１１５、ＹＥＳ）、上述した一連の処理を終了する。
　以上、図９を参照して、本実施形態に係る医療用画像処理システムの一連の処理の流れの一例ついて、特に図８に示す画像処理装置２３０の動作に着目して説明した。
　　＜４．４．変形例＞
　続いて、本実施形態に係る医療用画像処理システムの変形例について説明する。
　　（変形例１：フィルタの動的生成）
　まず、変形例１として、画像処理装置２３０が、撮像装置２１０に対するオートクレーブ処理の適用状況に応じて入力画像に適用するフィルタ（即ち、デコンボリューションフィルタ）の一部を、他のフィルタから動的に生成する場合の一例について説明する。なお、本説明では、画像処理装置２３０は、撮像装置２１０に対するオートクレーブ処理の適用回数に応じて、入力画像に適用するフィルタを決定する場合に着目して説明する。
　例えば、図１０は、変形例１に係る医療用画像処理システムの概要について説明するための説明図であり、撮像装置２１０に対するオートクレーブ処理の適用回数に応じた、当該撮像装置２１０に設けられた複屈折マスク２１２の光学特性の変化の一例を示している。図１０において、横軸は、対象機器に対して適用されるオートクレーブ処理の回数を示している。また、縦軸は、対象機器のレタデーションの変化を、初期状態（例えば、出荷時）におけるレタデーションを１とした場合における比率で示している。
　図１０に示す例では、撮像装置２１０に対するオートクレーブ処理の適用回数に応じたフィルタとして、フィルタＦ１００、Ｆ１０４、Ｆ１０８、及びＦ１１２があらかじめ生成され、所定の記憶領域（例えば、図８に示すフィルタバンク２３６）に保持されている。なお、フィルタＦ１００は、撮像装置２１０に対するオートクレーブ処理の適用回数が０回の場合における、複屈折マスクの光学特性にあわせて、入力画像に対して復元処理が施されるように調整されている。即ち、画像処理装置２３０は、撮像装置２１０に対するオートクレーブ処理の適用回数が０回の場合には、入力画像（即ち、撮像装置２１０による撮像結果に基づく画像）に対してフィルタＦ１００に基づく復元処理を施す。同様に、フィルタＦ１０４、Ｆ１０８、及びＦ１１２は、それぞれ撮像装置２１０に対するオートクレーブ処理の適用回数が４００回、８００回、及び１２００回の場合に対応している。
　即ち、図１０に示す例では、オートクレーブ処理の適用回数全てに対してフィルタがあらかじめ生成されておらず、所定の回数ごと（例えば、４００回ごと）に離散的に対応するフィルタが生成されている。
　このような構成の基で、変形例１に係る画像処理装置２３０は、オートクレーブ処理の適用回数に対応するフィルタが生成されていない場合には、あらかじめ生成されたフィルタの少なくともいずれかを利用して当該適用回数に対応するフィルタを動的に生成してもよい。
　具体的な一例として、図１０に示す例において、撮像装置２１０に対するオートクレーブ処理の適用回数が２００回であるものとする。この場合には、対応するフィルタがあらかじめ生成されていないこととなる。そのため、画像処理装置２３０は、オートクレーブ処理の適用回数が０回の場合に対応するフィルタＦ１００と、４００回の場合に対応するフィルタＦ１０４と、に基づき、２００回の場合に対応するフィルタＦ２０２を生成してもよい。具体的には、画像処理装置２３０は、フィルタＦ１００及びＦ１０４それぞれのフィルタ係数を利用した線形補間に基づき、オートクレーブ処理の適用回数が２００回の場合に対応するフィルタＦ２０２を生成してもよい。これは、他の回数の場合についても同様である。即ち、オートクレーブ処理の適用回数が６００回の場合に対応するフィルタについては、例えば、フィルタＦ１０４及びＦ１０６それぞれのフィルタ係数を利用した線形補間に基づき生成することが可能である。
　以上のような構成により、変形例１に係る医療用画像処理システムにおいては、オートクレーブ処理の適用回数に応じてあらかじめ生成しておくフィルタの数を制限することが可能となる。即ち、所定の記憶領域に保持される当該フィルタに関する情報の容量を制限することが可能となる。
　なお、上記では、撮像装置２１０に対するオートクレーブ処理の適用回数に応じて、入力画像に適用するフィルタが制御される場合の一例について説明したが、必ずしも画像処理装置２３０によるフィルタの制御に係る処理を限定するものではない。即ち、画像処理装置２３０が、所定の適用状況に応じてあらかじめ生成されたフィルタに基づき、他の適用状況に対応するフィルタを生成することが可能であれば、その態様は特に限定されない。具体的な一例として、当該フィルタが、撮像装置２１０に対して施されたオートクレーブ処理の累積時間に対応して生成されてもよい。
　また、上記では、入力画像に対してフィルタ処理が適用される場合に着目して説明したが、画像処理装置２３０による制御の対象は必ずしもフィルタ処理には限定されない。即ち、画像処理装置２３０は、所定の適用状況に応じてあらかじめ設定された入力画像に対する画像処理に基づき、他の適用状況に対応する画像処理を生成してもよい。
　以上、図１０を参照して、変形例１として、画像処理装置２３０が、撮像装置２１０に対するオートクレーブ処理の適用状況に応じて入力画像に適用するフィルタの一部を、他のフィルタから動的に生成する場合の一例について説明した。
　　（変形例２：復元処理の制御例）
　続いて、変形例２として、撮像装置２１０に対するオートクレーブ処理の適用状況に応じた復元処理の制御の一例について説明する。なお、本説明では、画像処理装置２３０は、撮像装置２１０に対するオートクレーブ処理の適用回数に応じて、入力画像に適用するフィルタを決定する場合に着目して説明する。
　前述したように、本実施形態に係る医療用画像処理システムにおいて、画像処理装置２３０は、撮像装置２１０に対するオートクレーブ処理の適用状況（例えば、適用回数）に応じて、当該撮像装置２１０に設けられた複屈折マスク２１２の光学特性（例えば、リタデーション）の変化を推定する。一方で、様々な誤差要因や撮像装置２１０の個体差等により、オートクレーブ処理の適用状況に応じて推定される複屈折マスク２１２の光学特性の変化と、実際の複屈折マスク２１２の光学特性の変化と、の間に乖離が生じる場合がある。
　このような状況を鑑み、変形例２に係る医療用画像処理システムでは、画像処理装置２３０は、撮像装置２１０に対するオートクレーブ処理の適用状況に応じて入力画像に適用されるフィルタ処理を、所定の条件に応じて制御する。
　例えば、図１１は、変形例２に係る医療用画像処理システムの概要について説明するための説明図であり、撮像装置２１０に対するオートクレーブ処理の適用回数に応じた、当該撮像装置２１０に設けられた複屈折マスク２１２の光学特性の変化の一例を示している。なお、図１１における横軸及び縦軸は、図１０に示す例と同様である。
　図１１において、参照符号Ｇ１１で示すグラフは、撮像装置２１０に対するオートクレーブ処理の適用状況に応じて、当初の想定通りに複屈折マスク２１２の光学特性が変化（劣化）する場合について示している。これに対して、参照符号Ｇ１３で示すグラフは、複屈折マスク２１２の光学特性の劣化の進行が、当初の想定以上に急である場合の一例について示している。また、参照符号Ｇ１５で示すグラフは、複屈折マスク２１２の光学特性の劣化の信号が、当初の想定よりも緩やかな場合の一例について示している。
　具体的には、グラフＧ１３で示すケースでは、オートクレーブ処理の適用回数が８００回の場合において、複屈折マスク２１２の光学特性が、当初の想定通り（即ち、グラフＧ１１のケース）であればオートクレーブ処理の適用回数が１２００回の場合における光学特性まで劣化が進行している。このような状況下では、入力画像に対して、オートクレーブ処理の適用回数が８００回の場合を想定した復元処理（即ち、フィルタ）が適用されたとしても、より好適な態様の画質の補正画像が生成されない場合がある。同様に、グラフＧ１３で示すケースでは、オートクレーブ処理の適用回数が４００回の場合において、複屈折マスク２１２の光学特性が、当初の想定通りであれば、オートクレーブ処理の適用回数が８００回の場合における光学特性まで劣化している。この場合においても、当初の想定通りに復元処理が適用されたとしても、より好適な態様の画質の補正画像が生成されない場合がある。
　また、グラフＧ１５で示すケースでは、オートクレーブ処理の適用回数が８００回の場合において、複屈折マスク２１２の光学特性が、当初の想定通りであればオートクレーブ処理の適用回数が４００回の場合における光学特性までしか劣化していない。このような状況下では、入力画像に対して、オートクレーブ処理の適用回数が８００回の場合を想定した復元処理（即ち、フィルタ）が適用されたとしても、より好適な態様の画質の補正画像が生成されない場合がある。
　このような状況を鑑み、変形例２に係る画像処理装置２３０は、オートクレーブ処理の適用状況に応じて入力画像に適用する復元処理（例えば、フィルタ）を、所定の条件に応じて選択的に切り替え可能に構成されている。
　具体的な一例として、画像処理装置２３０は、入力画像に対する復元処理の適用結果を、表示装置２９１を介してユーザに提示し、当該復元処理として適用するフィルタをユーザに選択させてもよい。この場合には、画像処理装置２３０は、ユーザによるフィルタの選択結果に応じて、以降に、オートクレーブ処理の適用状況に応じて入力画像に適用する復元処理を切り替えてもよい。具体的には、画像処理装置２３０は、ユーザによるフィルタの選択結果に応じて、以降における、オートクレーブ処理の適用状況に応じたフィルタの選択を、グラフＧ１１に示す特性基づく選択から、グラフＧ１３またはＧ１５に示す特性に基づく選択に切り替えてよい。
　また、画像処理装置２３０は、キャリブレーション等の操作の結果として得られる、撮像装置２１０に含まれる一連の光学系の光学特性の変化の検出結果に基づき、以降に、オートクレーブ処理の適用状況に応じて入力画像に適用する復元処理を切り替えてもよい。
　また、画像処理装置２３０は、撮像装置２１０により撮像された画像に対して画像解析を施し、当該解析の結果に基づき、以降に、オートクレーブ処理の適用状況に応じて入力画像に適用する復元処理を適応的に切り替えてもよい。この場合には、例えば、画像処理装置２３０は、画像解析に基づき画像の劣化の度合い（換言すると、ボケ量）を検出または推定し、当該検出または当該推定の結果に応じて、当該画像や以降に入力される画像に対して適用する復元処理を適応的に切り替えてもよい。
　以上、変形例２として、図１１を参照して、撮像装置２１０に対するオートクレーブ処理の適用状況に応じた復元処理の制御の一例について説明した。
　　（変形例３：ユーザへのフィルタの提示方法）
　続いて、変形例３として、変形例２として前述したように、入力画像に対して復元処理として適用するフィルタをユーザが選択する場合において、当該ユーザに対してフィルタの選択肢を提示する方法の一例について説明する。なお、本説明では、画像処理装置２３０は、撮像装置２１０に対するオートクレーブ処理の適用回数に応じて、入力画像に適用するフィルタを決定する場合に着目して説明する。
　変形例３に係る画像処理装置２３０は、ユーザに対して選択可能なフィルタの候補を提示する際に、選択可能な候補の数を状況に応じて制御する。例えば、図１２は、変形例３に係る医療用画像処理システムの概要について説明するための説明図であり、撮像装置２１０に対するオートクレーブ処理の適用回数に応じた、当該撮像装置２１０に設けられた複屈折マスク２１２の光学特性の変化の一例を示している。なお、図１２における横軸及び縦軸は、図１０に示す例と同様である。
　図１２において、参照符号Ｇ１１で示すグラフは、撮像装置２１０に対するオートクレーブ処理の適用状況に応じて、当初の想定通りに複屈折マスク２１２の光学特性が変化する場合について示している。これに対して、参照符号Ｇ１３で示すグラフは、複屈折マスク２１２の光学特性の劣化の進行が、当初の想定以上に急である場合の一例について示している。また、フィルタＦ１００、Ｆ１０４、Ｆ１０８、及びＦ１１２は、図１０に示す例において、同様の符号が付されたフィルタをそれぞれ示している。即ち、参照符号Ｆ１０で示された一連のフィルタ（フィルタＦ１００、Ｆ１０４、Ｆ１０８、及びＦ１１２）は、撮像装置２１０に対するオートクレーブ処理の適用状況に応じて、当初の想定通りに複屈折マスク２１２の光学特性が変化した場合に、入力画像への適用が予定されているフィルタを示している。
　また、参照符号Ｆ３０で示された一連のフィルタは、ユーザに対して選択可能な候補として提示されるフィルタの選択肢を模式的に示している。
　例えば、フィルタＦ３０３及びＦ３０５は、オートクレーブ処理の適用回数が３００回及び５００回の場合を想定したフィルタのそれぞれを模式的に示している。図１２に示す例では、画像処理装置２３０は、オートクレーブ処理の適用回数が４００回の場合に、ユーザに対して選択可能なフィルタの候補として、フィルタＦ３０３及びＦ３０５を提示している。
　また、フィルタＦ３１０、Ｆ３１１、Ｆ３１３、及びＦ３１４は、オートクレーブ処理の適用回数が１０００回、１１００回、１３００回、及び１４００回の場合を想定したフィルタのそれぞれを模式的に示している。図１２に示す例では、画像処理装置２３０は、オートクレーブ処理の適用回数が１２００回の場合に、ユーザに対して選択可能なフィルタの候補として、フィルタＦ３１０、Ｆ３１１、Ｆ３１３、及びＦ３１４を提示している。
　このように、変形例３に係る画像処理装置２３０は、例えば、撮像装置２１０に対するオートクレーブ処理の適用回数に応じて、ユーザに対して選択可能に提示するフィルタの候補の数を制御してもよい。具体的には、複屈折マスク２１２の光学特性の変化については、オートクレーブ処理の適用回数がより少ないほど当初の予測からのズレがより小さくなり、適用回数がより多くなるほど当初の予測からのズレがより大きくなる傾向にある。そのため、例えば、画像処理装置２３０は、オートクレーブ処理の適用回数が閾値より少ない場合には、当初の予測からのずれが小さいため、ユーザに対して選択可能な候補として提示するフィルタの数を制限してもよい。また、画像処理装置２３０は、オートクレーブ処理の適用回数がより多くなるほど、当初の予測からのずれがより大きくなるため、ユーザに対して選択可能な候補として提示するフィルタの数がより多くなるように制御してもよい。
　また、画像処理装置２３０は、撮像装置２１０に含まれる一連の光学系（例えば、光学系２１１や複屈折マスク２１２）の光学特性の変化の検出結果に応じて、ユーザに対して選択可能な候補として提示するフィルタの数を制御してもよい。例えば、画像処理装置２３０は、上記一連の光学系の光学特性の変化の検出結果と、当該光学特性の変化に関する当初の予測と、の間の差がより大きい場合（例えば、閾値より大きい場合）には、選択可能な候補としてユーザに提示するフィルタの数がより多くなるように制御してもよい。より具体的な一例として、画像処理装置２３０は、上記一連の光学系の光学特性（例えば、複屈折マスク２１２のレタデーション）の劣化が当初の予測よりも進んでいる場合には、選択可能な候補としてユーザに提示するフィルタの数がより多くなるように制御してもよい。
　なお、上記では、撮像装置２１０に対するオートクレーブ処理の適用回数に応じて、ユーザに対して選択可能な候補として提示するフィルタの数が制御される場合の一例について説明したが、必ずしも同態様には限定されない。即ち、画像処理装置２３０が、撮像装置２１０に対するオートクレーブ処理の適用状況に応じて、ユーザに対して選択可能な候補として提示するフィルタの数を制御することが可能であれば、その態様は特に限定されない。具体的な一例として、画像処理装置２３０は、撮像装置２１０に対して施されたオートクレーブ処理の累積時間に応じて、ユーザに対して選択可能な候補として提示するフィルタの数を制御してもよい。
　以上、変形例３として、図１２を参照して、変形例２として前述したように、入力画像に対して復元処理として適用するフィルタをユーザが選択する場合において、当該ユーザに対してフィルタの選択肢を提示する方法の一例について説明した。
　＜＜５．ハードウェア構成＞＞
　続いて、図１３を参照しながら、本開示の一実施形態に係る医療用画像処理システムを構成する画像処理装置２３０のような情報処理装置のハードウェア構成の一例について、詳細に説明する。図１３は、本開示の一実施形態に係る医療用画像処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
　本実施形態に係るシステムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
　ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図８に示す画像処理部２３１、推定部２３７、及び光学特性検出部２３８は、ＣＰＵ９０１により実現され得る。
　ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。例えば、図８に示す入力装置２９３は、入力装置９１５により実現され得る。
　出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。例えば、図８に示す表示装置２９１は、出力装置９１７により実現され得る。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図８に示す記憶部２３９は、ストレージ装置９１９により実現され得る。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ　Ｄｉｇｉｔａｌ　ｍｅｍｏｒｙ　ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ　ｃａｒｄ）又は電子機器等であってもよい。
　接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　Ｄｉｇｉｔａｌ　Ｓｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
　以上、本開示の実施形態に係るシステムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１３では図示しないが、システムを構成する情報処理装置９００に対応する各種の構成を当然備える。
　なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。
　＜＜６．応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、患者の微細部位を拡大観察しながら行う、いわゆるマイクロサージェリーに用いられる顕微鏡手術システムに適用されてもよい。
　図１４は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図１４を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。
　顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。
　顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。
　筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light　Emitting　Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
　撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary　Metal　Oxide　Semiconductor）イメージセンサ又はＣＣＤ（Charge　Coupled　Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
　なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto　Exposure）機能やＡＦ（Auto　Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
　また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
　操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
　アーム部５３０９は、複数のリンク（第１リンク５３１３ａ～第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ～第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。
　第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
　第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。
　第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。
　第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。
　第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
　第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。
　第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。
　第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。
　第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。
　第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。
　第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。
　第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。
　第１関節部５３１１ａ～第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
　なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
　ここで、第１関節部５３１１ａ～第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ～第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
　例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
　また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。
　また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図１４に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。
　また、第１関節部５３１１ａ～第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
　このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。
　制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ～第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ～第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise　reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。
　なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ～第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
　制御装置５３１７は、ＣＰＵ（Central　Processing　Unit）、ＧＰＵ（Graphics　Processing　Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ～第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。
　表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro　Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
　図１５は、図１４に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図１５では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図１５では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。
　図１５に示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
　以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。
　本開示に係る技術は、以上説明した構成のうち、制御装置５３１７に好適に適用され得る。具体的な一例として、顕微鏡部５３０３を構成する光学系に対してオートクレーブ処理が適用される場合には、制御装置５３１７は、当該顕微鏡部５３０３を介して取得される画像に対する画像処理を、当該オートクレーブ処理の適用状況に応じて制御してもよい。このような構成により、オートクレーブ処理の適用に伴い、顕微鏡部５３０３を構成する光学系の光学特性が変化した場合においても、当該顕微鏡部５３０３を介して取得される画像を、より好適な態様で出力することが可能となる。
　＜＜７．むすび＞＞
　以上説明したように、本開示の一実施形態に係る医療用画像処理システムにおいて、画像処理装置は、複屈折マスクを含む光学系（例えば、内視鏡部）を介して取得された患者の被写体像が撮像された画像に対して画像処理（例えば、デコンボリューション等の復元処理）を施すことで補正画像が生成されるように制御する。また、当該画像処理装置は、上記光学系に対するオートクレーブ処理（例えば、オートクレーブ滅菌処理）の適用状況に関する情報を取得する。このとき、画像処理装置は、当該オートクレーブ処理の適用状況に関する情報を、上記光学系が保持された撮像装置（即ち、医療用観察装置）から取得してもよいし、院内情報管理システム等により管理された情報として当該システムから取得してもよい。また、画像処理装置は、当該オートクレーブ処理の適用状況に関する情報を、ユーザ入力に基づき取得してもよい。そして、画像処理装置は、上記光学系（換言すると、当該光学系が保持された撮像装置）に対するオートクレーブ処理の適用状況に応じて、上記画像に対して施される上記画像処理を制御する。
　以上のような構成により、例えば、内視鏡等の光学系に対してオートクレーブ滅菌処理が繰り返し施されることで、当該光学系に含まれる複屈折マスクの光学特性（例えば、レタデーション）が変化するような状況下においても、画像をより好適な態様で出力する（例えば、より好適な画質で出力する）ことが可能となる。また、本実施形態に係る医療用画像処理システムに依れば、複屈折マスクが内視鏡等に組み込まれ、当該複屈折マスク単体の光学特性の変化を直接検出することが困難な場合においても、当該光学特性の変化に応じて、より好適な態様で画像を出力することが可能となる。即ち、本実施形態に係る医療用画像処理システムに依れば、複屈折マスクを利用した被写界深度の拡大に係る制御をより好適な態様で実現することが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、本開示に係る技術の適用先は、上述した例のみには限定されない。即ち、複屈折マスクを利用したＥＤＯＦ技術を適用し、かつ、当該複屈折マスクを含む光学系に対してオートクレーブ処理が適用される場合には、本開示に係る技術を応用することが可能である。また、上述した例では、主に、手術中に患者の画像（例えば、術部の画像）を撮像する場合を想定して説明しているが、本実施形態に係る医療用画像処理システムの適用先によっては、撮像対象が適宜変更されてもよい。具体的な一例として、本実施形態に係る医療用画像処理システムを検査や分析に利用する場合には、当該検査や当該分析の対象となる検体が、撮像対象（即ち、観察対象）であってもよい。そのため、本開示においては、撮像や観察の対象として「患者」と記載した部分については、検査や分析の対象となる「検体」を含み、ひいては当該「患者」や当該「検体」と実質的に同様の概念も含み得るものとする。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　複屈折マスクを含む光学系を介して取得された患者の被写体像が撮像された画像に対して画像処理を施すことで補正画像が生成されるように制御する制御部と、
　前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得する取得部と、
　を備え、
　前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理を制御する、
　医療用画像処理装置。
（２）
　前記画像処理は、前記画像のボケ量を調整するフィルタ処理を含む、前記（１）に記載の医療用画像処理装置。
（３）
　前記制御部は、前記適用状況に応じて、前記ボケ量を調整するフィルタを切り替えることで、前記画像処理を制御する、前記（２）に記載の医療用画像処理装置。
（４）
　前記制御部は、前記適用状況に応じて、フィルタ係数の異なる複数の前記フィルタに基づき新たなフィルタを生成し、当該新たなフィルタが前記画像に適用されるように制御する、前記（３）に記載の医療用画像処理装置。
（５）
　前記制御部は、前記適用状況に応じて前記フィルタ処理の係数を制御することで、前記画像処理を制御する、前記（２）に記載の医療用画像処理装置。
（６）
　前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて推定される前記光学系の光学特性の変化に応じて、前記画像処理を制御する、前記（１）～（５）のいずれか一項に記載の医療用画像処理装置。
（７）
　前記光学特性は、前記光学系の屈折率差に関する特性を含む、前記（６）に記載の医療用画像処理装置。
（８）
　前記光学系に対する高圧蒸気滅菌処理の適用状況を推定する推定部を備え、
　前記制御部は、前記高圧蒸気滅菌処理の適用状況の推定結果に応じて前記画像処理を制御する、前記（１）～（７）のいずれか一項に記載の医療用画像処理装置。
（９）
　前記推定部は、前記光学系に対して前記高圧蒸気滅菌処理が施された回数に応じて、当該高圧蒸気滅菌処理の適用状況を推定する、前記（８）に記載の医療用画像処理装置。
（１０）
　前記推定部は、所定の温度センサによる前記光学系の周囲の環境の温度変化の検出結果に基づき、当該光学系に対して前記高圧蒸気滅菌処理が施された回数を推定する、前記（９）に記載の医療用画像処理装置。
（１１）
　前記推定部は、前記光学系に対して前記高圧蒸気滅菌処理が施された時間に応じて、当該高圧蒸気滅菌処理の適用状況を推定する、前記（８）に記載の医療用画像処理装置。
（１２）
　前記推定部は、前記光学系が過去に使用された時間に応じて、前記高圧蒸気滅菌処理の適用状況を推定する、前記（８）に記載の医療用画像処理装置。
（１３）
　前記制御部は、前記適用状況に応じて適用が予定されている前記画像処理を、所定の条件に応じて制御する、前記（１）～（１２）のいずれか一項に記載の医療用画像処理装置。
（１４）
　前記所定の条件は、前記光学系を利用した所定の被写体の撮像結果に応じた条件を含む、前記（１３）に記載の医療用画像処理装置。
（１５）
　前記所定の条件は、ユーザ入力に応じた条件を含む、前記（１３）または（１４）に記載の医療用画像処理装置。
（１６）
　前記所定の条件は、前記高圧蒸気滅菌処理の適用状況に応じてユーザに提示される、前記画像処理の適用量に関する選択肢に対する当該ユーザの選択に応じた条件を含む、前記（１５）に記載の医療用画像処理装置。
（１７）
　前記光学系に対する前記高圧蒸気滅菌処理の適用量が多いほど、ユーザに提示される前記選択肢の数が多くなるように制御される、前記（１６）に記載の医療用画像処理装置。
（１８）
　複屈折マスクを含み患者の被写体像を取得する光学系と、前記被写体像の画像を撮像する撮像部と、を含む撮像装置と、
　前記撮像部により撮像された画像に画像処理を施すことで補正画像が生成されるように制御する制御部と、前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得する取得部と、を含む画像処理装置と、
　を備え、
　前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理を制御する、
　医療用画像処理システム。
（１９）
　前記光学系の少なくとも一部が内視鏡部として構成され、
　前記撮像部は、前記内視鏡部により取得された前記被写体像を撮像する、
　前記（１８）に記載の医療用画像処理システム。
（２０）
　コンピュータが、
　複屈折マスクを含む光学系を介して取得された患者の被写体像が撮像された画像に対して画像処理を施すことで補正画像が生成されるように制御することと、
　前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得することと、
　を含み、
　前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理が制御される、
　医療用画像処理装置の駆動方法。
　２００　医療用画像処理システム
　２１０　撮像装置
　２１１　光学系
　２１２　複屈折マスク
　２１３　撮像素子
　２１４　監視部
　２１５　記憶部
　２３０　画像処理装置
　２３１　画像処理部
　２３２　現像処理部
　２３３　ＥＤＯＦ処理部
　２３４　高画質化処理部
　２３５　制御部
　２３６　フィルタバンク
　２３７　推定部
　２３８　光学特性検出部
　２３９　記憶部
　２９１　表示装置
　２９３　入力装置
　２９５　院内情報管理システム

Claims (20)

  1. 　複屈折マスクを含む光学系を介して取得された患者の被写体像が撮像された画像に対して画像処理を施すことで補正画像が生成されるように制御する制御部と、
    　前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得する取得部と、
    　を備え、
    　前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理を制御する、
    　医療用画像処理装置。
  2. 　前記画像処理は、前記画像のボケ量を調整するフィルタ処理を含む、請求項１に記載の医療用画像処理装置。
  3. 　前記制御部は、前記適用状況に応じて、前記ボケ量を調整するフィルタを切り替えることで、前記画像処理を制御する、請求項２に記載の医療用画像処理装置。
  4. 　前記制御部は、前記適用状況に応じて、フィルタ係数の異なる複数の前記フィルタに基づき新たなフィルタを生成し、当該新たなフィルタが前記画像に適用されるように制御する、請求項３に記載の医療用画像処理装置。
  5. 　前記制御部は、前記適用状況に応じて前記フィルタ処理の係数を制御することで、前記画像処理を制御する、請求項２に記載の医療用画像処理装置。
  6. 　前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて推定される前記光学系の光学特性の変化に応じて、前記画像処理を制御する、請求項１に記載の医療用画像処理装置。
  7. 　前記光学特性は、前記光学系の屈折率差に関する特性を含む、請求項６に記載の医療用画像処理装置。
  8. 　前記光学系に対する高圧蒸気滅菌処理の適用状況を推定する推定部を備え、
    　前記制御部は、前記高圧蒸気滅菌処理の適用状況の推定結果に応じて前記画像処理を制御する、請求項１に記載の医療用画像処理装置。
  9. 　前記推定部は、前記光学系に対して前記高圧蒸気滅菌処理が施された回数に応じて、当該高圧蒸気滅菌処理の適用状況を推定する、請求項８に記載の医療用画像処理装置。
  10. 　前記推定部は、所定の温度センサによる前記光学系の周囲の環境の温度変化の検出結果に基づき、当該光学系に対して前記高圧蒸気滅菌処理が施された回数を推定する、請求項９に記載の医療用画像処理装置。
  11. 　前記推定部は、前記光学系に対して前記高圧蒸気滅菌処理が施された時間に応じて、当該高圧蒸気滅菌処理の適用状況を推定する、請求項８に記載の医療用画像処理装置。
  12. 　前記推定部は、前記光学系が過去に使用された時間に応じて、前記高圧蒸気滅菌処理の適用状況を推定する、請求項８に記載の医療用画像処理装置。
  13. 　前記制御部は、前記適用状況に応じて適用が予定されている前記画像処理を、所定の条件に応じて制御する、請求項１に記載の医療用画像処理装置。
  14. 　前記所定の条件は、前記光学系を利用した所定の被写体の撮像結果に応じた条件を含む、請求項１３に記載の医療用画像処理装置。
  15. 　前記所定の条件は、ユーザ入力に応じた条件を含む、請求項１３に記載の医療用画像処理装置。
  16. 　前記所定の条件は、前記高圧蒸気滅菌処理の適用状況に応じてユーザに提示される、前記画像処理の適用量に関する選択肢に対する当該ユーザの選択に応じた条件を含む、請求項１５に記載の医療用画像処理装置。
  17. 　前記光学系に対する前記高圧蒸気滅菌処理の適用量が多いほど、ユーザに提示される前記選択肢の数が多くなるように制御される、請求項１６に記載の医療用画像処理装置。
  18. 　複屈折マスクを含み患者の被写体像を取得する光学系と、前記被写体像の画像を撮像する撮像部と、を含む撮像装置と、
    　前記撮像部により撮像された画像に画像処理を施すことで補正画像が生成されるように制御する制御部と、前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得する取得部と、を含む画像処理装置と、
    　を備え、
    　前記制御部は、前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理を制御する、
    　医療用画像処理システム。
  19. 　前記光学系の少なくとも一部が内視鏡部として構成され、
    　前記撮像部は、前記内視鏡部により取得された前記被写体像を撮像する、
    　請求項１８に記載の医療用画像処理システム。
  20. 　コンピュータが、
    　複屈折マスクを含む光学系を介して取得された患者の被写体像が撮像された画像に対して画像処理を施すことで補正画像が生成されるように制御することと、
    　前記光学系に対する高圧蒸気滅菌処理の適用状況に関する情報を取得することと、
    　を含み、
    　前記高圧蒸気滅菌処理の適用状況に応じて前記画像処理が制御される、
    　医療用画像処理装置の駆動方法。
PCT/JP2018/028551 2017-08-31 2018-07-31 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法 Ceased WO2019044328A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019539095A JP7160041B2 (ja) 2017-08-31 2018-07-31 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
EP18849540.2A EP3662810A4 (en) 2017-08-31 2018-07-31 MEDICAL IMAGE PROCESSING DEVICE AND SYSTEM AND MEDICAL IMAGE PROCESSING DEVICE CONTROL METHOD
US16/640,730 US11154179B2 (en) 2017-08-31 2018-07-31 Medical image processing apparatus, medical image processing system, and driving method of medical image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-166591 2017-08-31
JP2017166591 2017-08-31

Publications (1)

Publication Number Publication Date
WO2019044328A1 true WO2019044328A1 (ja) 2019-03-07

Family

ID=65526443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/028551 Ceased WO2019044328A1 (ja) 2017-08-31 2018-07-31 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法

Country Status (4)

Country Link
US (1) US11154179B2 (ja)
EP (1) EP3662810A4 (ja)
JP (1) JP7160041B2 (ja)
WO (1) WO2019044328A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111467524A (zh) * 2020-04-30 2020-07-31 湖南马王堆制药有限公司 一种紫外红外多源消毒驻极家用口罩再生箱
WO2020196027A1 (ja) * 2019-03-28 2020-10-01 ソニー株式会社 光学系、内視鏡、および医療用画像処理システム
JPWO2020196387A1 (ja) * 2019-03-28 2020-10-01
CN114111879A (zh) * 2020-08-25 2022-03-01 通用电气精准医疗有限责任公司 用于医疗探头的主动侵入检测系统
EP4012471A4 (en) * 2019-09-25 2022-10-05 Sony Group Corporation OPTICAL IMAGING SYSTEM AND IMAGING DEVICE

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US10932806B2 (en) 2017-10-30 2021-03-02 Ethicon Llc Reactive algorithm for surgical system
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11406390B2 (en) 2017-10-30 2022-08-09 Cilag Gmbh International Clip applier comprising interchangeable clip reloads
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11311342B2 (en) 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
WO2019087904A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 手術アームシステム及び手術アーム制御システム
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US12376855B2 (en) 2017-12-28 2025-08-05 Cilag Gmbh International Safety systems for smart powered surgical stapling
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US11424027B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US12096916B2 (en) 2017-12-28 2024-09-24 Cilag Gmbh International Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US12127729B2 (en) 2017-12-28 2024-10-29 Cilag Gmbh International Method for smoke evacuation for surgical hub
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US20190201112A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Computer implemented interactive surgical systems
US11213359B2 (en) 2017-12-28 2022-01-04 Cilag Gmbh International Controllers for robot-assisted surgical platforms
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US12396806B2 (en) 2017-12-28 2025-08-26 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US20190201090A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Capacitive coupled return path pad with separable array elements
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
WO2019133143A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Surgical hub and modular device response adjustment based on situational awareness
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11234756B2 (en) * 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US10918310B2 (en) 2018-01-03 2021-02-16 Biosense Webster (Israel) Ltd. Fast anatomical mapping (FAM) using volume filling
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11672605B2 (en) 2017-12-28 2023-06-13 Cilag Gmbh International Sterile field interactive control displays
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US12062442B2 (en) 2017-12-28 2024-08-13 Cilag Gmbh International Method for operating surgical instrument systems
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US12458351B2 (en) 2017-12-28 2025-11-04 Cilag Gmbh International Variable output cartridge sensor assembly
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11298148B2 (en) 2018-03-08 2022-04-12 Cilag Gmbh International Live time tissue classification using electrical parameters
US11337746B2 (en) 2018-03-08 2022-05-24 Cilag Gmbh International Smart blade and power pulsing
US12303159B2 (en) 2018-03-08 2025-05-20 Cilag Gmbh International Methods for estimating and controlling state of ultrasonic end effector
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11589865B2 (en) 2018-03-28 2023-02-28 Cilag Gmbh International Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11406382B2 (en) 2018-03-28 2022-08-09 Cilag Gmbh International Staple cartridge comprising a lockout key configured to lift a firing member
US11272931B2 (en) 2019-02-19 2022-03-15 Cilag Gmbh International Dual cam cartridge based feature for unlocking a surgical stapler lockout
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
US20210316022A1 (en) * 2020-04-08 2021-10-14 Paul M. Ciesiun Ultraviolet light germicidal irradiation device
CN115702374A (zh) * 2020-07-17 2023-02-14 索尼集团公司 内窥镜系统、内窥镜控制方法以及程序
CN113559303A (zh) * 2021-05-31 2021-10-29 舌尖科技(北京)有限公司 消毒系统、方法及相应存储介质和多功能舱
US11999058B2 (en) 2022-04-04 2024-06-04 General Electric Company Method and apparatus for robotic arm navigation
CN120436557A (zh) * 2025-06-17 2025-08-08 昆明菲康智造科技有限公司 一种3d腹腔内窥镜影像装置及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139819A (ja) * 1998-09-01 2000-05-23 Olympus Optical Co Ltd 内視鏡
JP2007097652A (ja) * 2005-09-30 2007-04-19 Olympus Medical Systems Corp 内視鏡
JP2009285191A (ja) 2008-05-29 2009-12-10 Hoya Corp 内視鏡システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993017727A1 (en) * 1992-03-13 1993-09-16 American Sterilizer Company Device and system for sterilizing objects
US5868664A (en) * 1996-02-23 1999-02-09 Envision Medical Corporation Electrically isolated sterilizable endoscopic video camera head
AU755635B2 (en) * 1998-10-01 2002-12-19 Minntech Corporation Endoscope reprocessing and sterilization system
JP3691764B2 (ja) * 2001-03-07 2005-09-07 オリンパス株式会社 オートクレーブ装置
EP1645293B1 (en) * 2003-07-22 2011-04-27 Olympus Corporation High temperature and high pressure steam sterilization method for endoscope, and endoscope
JP4276995B2 (ja) * 2004-01-08 2009-06-10 オリンパス株式会社 内視鏡用滅菌テストパック
JP4632716B2 (ja) 2004-08-10 2011-02-16 オリンパス株式会社 滅菌耐久性組成物を用いた内視鏡光学系、及びそれを備えた内視鏡
JP4700397B2 (ja) * 2005-04-25 2011-06-15 オリンパスメディカルシステムズ株式会社 内視鏡洗滌消毒装置
US8109871B2 (en) * 2005-05-06 2012-02-07 Minntech Corporation Endoscope integrity tester including context-sensitive compensation and methods of context-sensitive integrity testing
JP5188800B2 (ja) * 2007-12-21 2013-04-24 オリンパスメディカルシステムズ株式会社 内視鏡洗浄消毒装置及びこの内視鏡洗浄消毒装置による漏水検知方法
WO2011033675A1 (ja) 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置および画像表示装置
JP5624745B2 (ja) * 2009-10-23 2014-11-12 オリンパス株式会社 内視鏡システム
JP6165624B2 (ja) * 2010-03-25 2017-07-19 デピュー シンセス プロダクツ, インコーポレーテッドDePuy Synthes Products, Inc. 医療用使い捨て画像装置を提供するためのシステムおよび方法
JP5657375B2 (ja) 2010-12-24 2015-01-21 オリンパス株式会社 内視鏡装置及びプログラム
EP2610857A1 (en) * 2011-12-30 2013-07-03 Samsung Electronics Co., Ltd. Display apparatus, upgrading apparatus, display system and control method thereof
JP6000702B2 (ja) * 2012-07-12 2016-10-05 オリンパス株式会社 医療システム
US9270919B2 (en) * 2013-09-24 2016-02-23 Karl Storz Imaging, Inc. Simultaneous display of two or more different sequentially processed images
JP6497977B2 (ja) 2015-03-02 2019-04-10 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
EP3294108A4 (en) * 2015-05-15 2019-01-09 Virender K. Sharma METHOD AND SYSTEM FOR STEAM STERILIZATION OF ENDOSCOPES
KR102186742B1 (ko) 2015-06-25 2020-12-04 인더스마트 주식회사 고속 단거리 인터페이스용 안드로이드 시스템을 위한 다중 영상 장치 및 이미지 처리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000139819A (ja) * 1998-09-01 2000-05-23 Olympus Optical Co Ltd 内視鏡
JP2007097652A (ja) * 2005-09-30 2007-04-19 Olympus Medical Systems Corp 内視鏡
JP2009285191A (ja) 2008-05-29 2009-12-10 Hoya Corp 内視鏡システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3662810A4

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12114833B2 (en) 2019-03-28 2024-10-15 Sony Group Corporation Optical system, endoscope, and medical image processing system
WO2020196027A1 (ja) * 2019-03-28 2020-10-01 ソニー株式会社 光学系、内視鏡、および医療用画像処理システム
JPWO2020196387A1 (ja) * 2019-03-28 2020-10-01
WO2020196387A1 (ja) * 2019-03-28 2020-10-01 ソニー株式会社 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム
CN113614602A (zh) * 2019-03-28 2021-11-05 索尼集团公司 光学系统、内窥镜和医疗图像处理系统
JP7476883B2 (ja) 2019-03-28 2024-05-01 ソニーグループ株式会社 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム
CN113614602B (zh) * 2019-03-28 2025-01-21 索尼集团公司 光学系统、内窥镜和医疗图像处理系统
US12471753B2 (en) 2019-03-28 2025-11-18 Sony Group Corporation Signal processing device, signal processing method, program, and medical image processing system
EP4012471A4 (en) * 2019-09-25 2022-10-05 Sony Group Corporation OPTICAL IMAGING SYSTEM AND IMAGING DEVICE
US12270975B2 (en) 2019-09-25 2025-04-08 Sony Group Corporation Imaging optical system and imaging apparatus
CN111467524A (zh) * 2020-04-30 2020-07-31 湖南马王堆制药有限公司 一种紫外红外多源消毒驻极家用口罩再生箱
CN114111879A (zh) * 2020-08-25 2022-03-01 通用电气精准医疗有限责任公司 用于医疗探头的主动侵入检测系统
CN114111879B (zh) * 2020-08-25 2024-06-11 通用电气精准医疗有限责任公司 用于医疗探头的主动侵入检测系统

Also Published As

Publication number Publication date
JP7160041B2 (ja) 2022-10-25
US20200178760A1 (en) 2020-06-11
JPWO2019044328A1 (ja) 2020-10-15
EP3662810A4 (en) 2020-07-08
EP3662810A1 (en) 2020-06-10
US11154179B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
JP7160041B2 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
JP2023083547A (ja) 画像処理装置、画像処理方法、及び記録媒体
JP7226325B2 (ja) 焦点検出装置および方法、並びにプログラム
US11653824B2 (en) Medical observation system and medical observation device
JP6828695B2 (ja) 医療用画像処理装置、システム、方法及びプログラム
JP7127538B2 (ja) 画像処理装置、医療機器の作動方法及び医療システム
JP2018047088A (ja) 制御装置、制御方法及び医療用システム
JP7200939B2 (ja) 手術システム、制御方法、手術機器、並びにプログラム
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
JP6935389B2 (ja) 医療用立体観察装置、医療用立体観察方法、及びプログラム
WO2017010157A1 (ja) 医療用観察装置及び医療用観察方法
WO2018100885A1 (ja) 医療用観察装置、及び制御方法
WO2018179681A1 (ja) 医療用観察装置及び観察視野補正方法
JP6884607B2 (ja) 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2017145606A1 (ja) 画像処理装置、画像処理方法及び内視鏡システム
JP2020162628A (ja) 光学系、内視鏡、および医療用画像処理システム
JP2019066749A (ja) 撮像装置、撮像装置制御用ユニット及び撮像方法
JP7160042B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110383817A (zh) 图像拾取设备、视频信号处理设备和视频信号处理方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2020196387A1 (ja) 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18849540

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019539095

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018849540

Country of ref document: EP

Effective date: 20200304

WWW Wipo information: withdrawn in national office

Ref document number: 2018849540

Country of ref document: EP