[go: up one dir, main page]

WO2020203405A1 - 医療用観察システムおよび方法、並びに医療用観察装置 - Google Patents

医療用観察システムおよび方法、並びに医療用観察装置 Download PDF

Info

Publication number
WO2020203405A1
WO2020203405A1 PCT/JP2020/012676 JP2020012676W WO2020203405A1 WO 2020203405 A1 WO2020203405 A1 WO 2020203405A1 JP 2020012676 W JP2020012676 W JP 2020012676W WO 2020203405 A1 WO2020203405 A1 WO 2020203405A1
Authority
WO
WIPO (PCT)
Prior art keywords
medical observation
optical system
unit
change
surgical field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/012676
Other languages
English (en)
French (fr)
Inventor
小林　洋平
芳男 相馬
慧佑 宇山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP20785287.2A priority Critical patent/EP3933481A4/en
Priority to CN202080023381.9A priority patent/CN113614607B/zh
Priority to US17/441,698 priority patent/US12207794B2/en
Priority to JP2021511472A priority patent/JP7571722B2/ja
Publication of WO2020203405A1 publication Critical patent/WO2020203405A1/ja
Anticipated expiration legal-status Critical
Priority to US18/988,944 priority patent/US20250127382A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present technology relates to medical observation systems and methods, and medical observation devices, and in particular, medical observation systems and methods capable of maintaining the accuracy of three-dimensional information even when the optical system is changed. Also related to medical observation equipment.
  • Patent Document 1 proposes a technique for generating three-dimensional information by SLAM and displaying it on a screen.
  • the optical system of the medical observation device may be changed during surgery.
  • the position of the focus lens in the optical system moves.
  • the scope of the endoscope may be replaced during surgery, which results in changes in the optics.
  • This technology was made in view of such a situation, and makes it possible to maintain the accuracy of three-dimensional information even if the optical system is changed.
  • the medical observation system of one aspect of the present technology includes an acquisition unit that acquires surgical field data acquired by the medical observation device, a detection unit that detects changes in the optical system of the medical observation device, and the detection unit.
  • an estimation unit that estimates the parameters determined by the optical system after the change and a condition for generating three-dimensional information based on the surgical field data using the estimation result of the estimation unit. It is provided with a setting unit for setting.
  • the medical observation device of another aspect of the present technology includes an imaging unit that images the surgical field and generates surgical field data, and an output unit that outputs the surgical field data, and changes in the optical system of the imaging unit.
  • an imaging unit that images the surgical field and generates surgical field data
  • an output unit that outputs the surgical field data
  • changes in the optical system of the imaging unit When a change in the optical system is detected, the parameters determined by the optical system after the change are estimated, and the estimation result is used to set the conditions for generating three-dimensional information based on the surgical field data. Used in observation systems.
  • the surgical field data acquired by the medical observation device is acquired, a change in the optical system of the medical observation device is detected, and when a change in the optical system is detected, the optical after the change is detected.
  • the parameters determined by the system are estimated, and the estimation results are used to set the conditions for generating three-dimensional information based on the surgical field data.
  • FIG. 1 is a diagram showing a configuration example of a surgical support system according to a first embodiment of the present technology.
  • FIG. 1 shows, for example, an example of an endoscopic surgery system used in abdominal endoscopic surgery, which is performed in a medical field in place of conventional open surgery.
  • troccas 25a and 25b are attached to the abdominal wall at several places.
  • a laparoscope hereinafter, also referred to as an endoscope
  • an energy treatment tool 22 a forceps 23, etc.
  • an observation medical device for observing the inside of the patient are inserted into the body through the holes provided in the troccas 25a and 25b. Will be inserted.
  • the surgeon performs treatment such as excising the affected area U with an energy treatment tool 22 or the like while viewing the image of the affected area (tumor or the like) U in the patient's body imaged by the endoscope 11 in real time.
  • the endoscope 11, the energy treatment tool 22, and the forceps 23 are held by an operator, a robot, or the like.
  • the surgeon refers to a medical worker who is involved in the surgery performed in the operating room, and the surgeon includes, for example, a surgeon, an assistant, a scopist, a nurse, or a place other than the operating room. Includes doctors and others who are monitoring the surgery.
  • the endoscope 11 is held by, for example, a scopist.
  • the endoscope 11 includes a scope inserted into a patient and a camera head including an image pickup element that receives and images light guided by the scope.
  • the scope may be a hard type or a soft type. Further, the scope and the image sensor may be integrated.
  • a cart 31 equipped with devices for endoscopic surgery, a patient bed 33 on which a patient lies, a foot switch 35, and the like are installed.
  • the cart 31 includes, for example, devices such as a camera control unit (CCU) 13, a light source device 17, a treatment tool device 21, a pneumoperitoneum device 24, a display device 15, a recorder 26, and a printer 27 as medical devices. Placed.
  • CCU camera control unit
  • the image signal of the affected area U captured through the observation optical system of the endoscope 11 is transmitted to the CCU 13 via the camera cable which is a signal transmission cable.
  • the CCU 13 may be connected to the endoscope 11 via a camera cable, or may be connected to the endoscope 11 via a wireless communication path.
  • the CCU 13 performs signal processing on the image signal output from the endoscope 11, and outputs the image signal after the signal processing to the display device 15. With such a configuration, the surgical field image of the affected area U is displayed on the display device 15.
  • the CCU 13 may output the image signal after signal processing to the recorder 26 so that the recorder 26 can record the surgical field image of the affected area U as image data (for example, moving image data). Further, the CCU 13 may have the printer 27 print the surgical field image of the affected area U by outputting the image signal after the signal processing to the printer 27.
  • the light source device 17 is connected to the endoscope 11 via a light guide cable, and can switch and irradiate the affected portion U with light of various wavelengths.
  • the light emitted from the light source device 17 may be used as auxiliary light, for example.
  • the treatment tool device 21 corresponds to, for example, a high frequency output device that outputs a high frequency current to the energy treatment tool 22 that cuts the affected portion U by using electric heat.
  • the pneumoperitoneum device 24 includes air supply and intake means, and supplies air to, for example, an abdominal region in the patient's body.
  • the foot switch 35 controls the CCU 13 and the treatment tool device 21 by using the foot operation of the operator or the assistant as a trigger signal.
  • FIG. 2 is a block diagram showing a functional configuration example of the surgery support system.
  • the surgery support system 100 of FIG. 2 is composed of an imaging unit 101, an information processing unit 102, and a display unit 103.
  • the imaging unit 101 corresponds to the endoscope 11 in FIG.
  • the imaging unit 101 images the surgical field in response to an operation by the scopist, and outputs the image signal obtained by the imaging to the information processing unit 102.
  • the imaging unit 101 is a medical observation device that images the surgical field and outputs the obtained surgical field data.
  • a microscope may be used instead of an endoscope.
  • the medical observation device has a circuit for processing the imaging process and the generated image signal (for example, CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), or FPGA (Field-). ProgrammableGateArray)) is loaded.
  • the information processing unit 102 corresponds to the CCU 13 in FIG.
  • the information processing unit 102 acquires the image signal supplied from the imaging unit 101, performs signal processing on the image signal, and outputs the signal of the surgical field image generated by performing the signal processing to the display unit 103. ..
  • the information processing unit 102 may be configured in a device other than the CCU 13.
  • the display unit 103 corresponds to the display device 15 in FIG.
  • the display unit 103 displays the surgical field image based on the image signal supplied from the information processing unit 102.
  • the information processing unit 102 includes an optical system change detection unit 111, a parameter estimation unit 112, a three-dimensional information generation unit 113, and a display information generation unit 114.
  • At least a part of the information processing unit 102 is realized by executing a predetermined program by a circuit including the CPU of the CCU 13 of FIG.
  • the image signal output from the imaging unit 101 is input to the optical system change detection unit 111, the three-dimensional information generation unit 113, and the display information generation unit 114.
  • At least a part of the functions of the information processing unit 102 may be realized by the FPGA.
  • the optical system change detection unit 111 detects changes in the optical system that occur in the imaging unit 101 during surgery.
  • the change in the optical system is such that when the imaging unit 101 adjusts the optical system such as zoom (angle of view) adjustment (movement of the zoom lens) and focus adjustment (movement of the focus lens), the imaging unit 101 When the scope is included in, it occurs when the scope is replaced.
  • information on the optical system can be obtained electronically from the imaging unit 101 For example, zoom adjustment and focus adjustment are performed on a part of the optical members of the optical system included in the imaging unit 101 based on the output of the CCU 13. Since it is moved, information indicating a change in the optical system (for example, information indicating the position of the zoom lens or the position of the focus lens) is stored in the CCU 13. In this case, the optical system change detection unit 111 detects the change in the optical system based on the information indicating the change in the optical system stored in the CCU 13. Further, the imaging unit 101 may include a removable scope, and the scope may be provided with a storage unit that stores information indicating the type of the scope. At this time, the circuit included in the imaging unit 101 may acquire the scope information and output it to the CCU 13. In this case, the optical system change detection unit 111 detects the change in the optical system based on the information obtained from the imaging unit 101.
  • the imaging unit 101 may include a removable scope, and the scope may be provided with a storage unit that stores information
  • the optical system change detecting unit 111 detects the change of the optical system based on the image signal obtained from the imaging unit 101.
  • the optical system change detection unit 111 repeatedly detects a mask region in an image signal sequentially supplied from the imaging unit 101.
  • the mask region is a kerare region formed around the effective region in which the surgical field is reflected in the surgical field image generated from the image signal.
  • the eclipse changes, so that the mask area changes, and the size of the diameter of the circular effective area changes.
  • the optical system change detection unit 111 detects the change in the optical system that has occurred in the image pickup unit 101 by detecting such a change in the mask region.
  • the optical system change detection unit 111 detects the change in the optical system generated in the image pickup unit 101 by using the singular value of the camera matrix (elementary matrix of the frame). It is possible to detect changes in the focal length based on the singular value of the camera matrix. This makes it possible to detect changes in the optical system such as movement of the focus lens and movement of the zoom lens.
  • the detection method using the singular value of the camera matrix uses the property that the non-zero singular values of the elementary matrix calculated from the two viewpoints are the same when the focal lengths are the same, and the elementary matrix is used.
  • This is a method of detecting that the focal length has changed by the ratio of the singular values of. The method is described in, for example, "Kazuki Nozawa,” Stabilization of 3D reconstruction for an input image group having an unknown focal length ", CVIM-182, vol.2012, No.19".
  • the optical system change detection unit 111 performs the following processes (a) to (d).
  • the optical system change detection unit 111 records a key frame as a reference for generating three-dimensional information in SLAM.
  • the optical system change detection unit 111 sequentially calculates the elementary matrix E using keyframes.
  • the optical system change detection unit 111 calculates the non-zero singular value of the elementary matrix E.
  • the elementary matrix E is a 3 ⁇ 3 matrix.
  • the epipolar condition which is the basis of three-dimensional reconstruction, is satisfied, the singular value in the third row of the diagonal matrix ⁇ when E is decomposed into singular values (formula (1) below) becomes 0, and the diagonal in frame i.
  • the matrix ⁇ i is as shown in equation (2) below.
  • the optical system change detection unit 111 detects that the focal length has changed by comparing the ratio of non-zero singular values at each time.
  • the change in the optical system can be detected by comparing the ratio of the singular values of the diagonal matrix ⁇ in the frame i with the threshold value th.
  • the optical system change detection unit 111 outputs the detection result obtained by detecting the change in the optical system as described above to the parameter estimation unit 112.
  • the detection result output to the parameter estimation unit 112 also includes information on the optical system of the imaging unit 101.
  • the method for detecting changes in the optical system is not limited to the above method, and other methods can be adopted.
  • the parameter estimation unit 112 of FIG. 2 estimates the parameters that are the conditions for generating the three-dimensional information based on the surgical field image.
  • the parameter is a parameter determined by the optical system, and is information indicating, for example, a focal length, an image center, a magnification, and a distortion coefficient of a lens.
  • the information constituting the parameters may include at least one parameter determined by the optical system, for example, at least one of the focal length, the image center, the magnification, and the distortion coefficient.
  • the parameters determined by the optical system include parameters determined by the arrangement of the optical system in the imaging unit 101. For example, even with the same scope, the center of the image may change slightly by removing the scope.
  • the parameter estimation unit 112 refers to the table showing the relationship between the information of the optical system and the parameters, and the optical obtained from the imaging unit 101. Find the parameters corresponding to the system information.
  • the parameter estimation unit 112 is provided with a table that is generated in advance and represents the relationship between the information of the optical system and the parameters.
  • the parameter estimation unit 112 estimates the parameter matrix as a parameter based on the image signal obtained from the imaging unit 101.
  • Self-Calibration which can estimate a matrix of parameters without using a calibration pattern.
  • Self-Calibration is described in, for example, "O.D. Faugeras," Camera self-calibration: Theory and experiments ", Europe Conference on Computer Vision, 1992, pp321-334.”
  • the parameter estimation unit 112 calculates information that serves as a reliability index of the estimated parameter matrix.
  • the parameter estimation unit 112 newly sets the three-dimensional information generation condition using the parameter estimation result, that is, whether or not the parameter which is the three-dimensional information generation condition is updated with the estimated parameter. Judge whether or not. When it is determined that the parameter that is the condition for generating the three-dimensional information is updated, the parameter that is the condition for generating the three-dimensional information is updated.
  • the parameter estimation unit 112 determines whether or not to update the parameter by the threshold value determination using the reliability index of the parameter matrix after estimation. For example, if the reliability index of the parameter matrix after estimation is higher than the preset threshold value, it is determined that the parameter is updated, and if it is lower than the threshold value, it is determined that the parameter is not updated.
  • the parameter estimation unit 112 presents the estimation result to the display unit 103, and determines whether or not to update the parameter according to the selection by the user who has seen the estimation result.
  • the three-dimensional information generation unit 113 generates three-dimensional information using parameters that are conditions for generating three-dimensional information, based on each frame of the surgical field image represented by the image signal supplied from the imaging unit 101.
  • the three-dimensional information is information generated by using the above-mentioned parameters based on the surgical field image.
  • the three-dimensional information includes a three-dimensional map showing the three-dimensional structure of the subject (in an organ or a body cavity) reflected in the surgical field image, and position / posture information showing the self-position and posture of the imaging unit 101.
  • Visual SLAM that inputs only the surgical field image, or RGB-D that measures the depth information with a ToF sensor or Lidar and inputs the surgical field image and depth information. -SLAM etc. are used.
  • the three-dimensional information generation unit 113 stops generating three-dimensional information until a new parameter is estimated by the parameter estimation unit 112.
  • the three-dimensional information generation unit 113 restarts the generation of the three-dimensional information using the new parameter.
  • the three-dimensional information generation unit 113 does not stop the generation of the three-dimensional information, and the three-dimensional information before the change in the optical system and the optical It is stored separately from the 3D information after the system change.
  • the three-dimensional information generation unit 113 gives the three-dimensional information of the place (3 before the change of the optical system).
  • the three-dimensional information is updated by replacing the (dimensional information) with the three-dimensional information (three-dimensional information after the change of the optical system) generated by using the new parameters.
  • the three-dimensional information generation unit 113 outputs the three-dimensional information generated in this way to the display information generation unit 114.
  • the display information generation unit 114 causes the display unit 103 to display the surgical field image based on the image signal supplied from the imaging unit 101.
  • the display information generation unit 114 causes the display unit 103 to display the three-dimensional map based on the three-dimensional information supplied from the three-dimensional information generation unit 113.
  • the display method such as color may be changed before and after the parameter is updated so that the three-dimensional map is displayed.
  • the display information generation unit 114 displays the detection result of the change in the optical system in the optical system change detection unit 111.
  • the imaging unit 101 may display information indicating that the scope has been exchanged, or may display information such as the type of scope after the exchange.
  • the display information generation unit 114 may cause the display unit 103 to display a new parameter set as a condition for generating three-dimensional information.
  • FIG. 4 is a flowchart illustrating a three-dimensional information generation process in the surgery support system 100.
  • step S111 the three-dimensional information generation unit 113 generates three-dimensional information using parameters based on the surgical field image represented by the image signal obtained from the imaging unit 101.
  • step S112 the three-dimensional information generation unit 113 updates the three-dimensional information generated so far by using the newly generated three-dimensional information.
  • step S113 the display information generation unit 114 causes the display unit 103 to display the three-dimensional map based on the three-dimensional information supplied from the three-dimensional information generation unit 113.
  • step S114 the optical system change detection unit 111 determines whether or not a change in the optical system has been detected.
  • step S114 If it is determined in step S114 that a change in the optical system has been detected, the parameter estimation unit 112 estimates the parameter in step S115. Generation of 3D information is stopped until the parameters are updated.
  • step S116 the parameter estimation unit 112 determines whether or not to update the parameter that is the condition for generating the three-dimensional information by using the estimated parameter. The determination here is made based on the reliability index of the estimation result of the parameter as described above.
  • step S116 If it is determined in step S116 that the parameters are not updated, the process returns to step S115 and the parameter estimation is repeated.
  • step S117 the parameter estimation unit 112 updates the parameter that is the condition for generating the three-dimensional information with the new parameter.
  • the parameters updated by the parameter estimation unit 112 are supplied to the three-dimensional information generation unit 113.
  • the scale of the 3D map is adjusted by using a new parameter so as to correspond to the 3D map before the change in the optical system is detected. Generation of dimensional information continues.
  • step S118 the three-dimensional information generation unit 113 determines whether or not to end the three-dimensional information generation process. If it is determined in step S118 that the three-dimensional information generation process is not completed, or if it is determined in step S114 that the change in the optical system is not detected, the process returns to step S111 and the subsequent processes are repeated. Is done.
  • step S118 if it is determined in step S118 that the three-dimensional information generation process is finished, the process of the surgery support system 100 is finished.
  • the parameters that are the conditions for generating the three-dimensional information are updated, and the generation of the three-dimensional information is continued using the updated parameters.
  • parameters including focal length, image center, and distortion coefficient to appropriate values.
  • parameters are obtained by camera calibration, and during operation (during surgery), the parameters obtained in advance are treated as fixed values, and three-dimensional information is generated.
  • the optical system such as zoom may be adjusted or the scope itself may be replaced, which changes the parameters.
  • the scale of the generated three-dimensional information or the like may change or an error may occur.
  • the parameters may be readjusted, but it is necessary to take out the scope and manually calibrate the camera, which is not realistic during surgery.
  • FIG. 5 is a diagram showing another configuration example of the surgery support system.
  • the configuration of the surgery support system 200 shown in FIG. 5 is such that a robot arm device 212 including a robot arm 211 and a cart 213 on which various devices for endoscopic surgery are mounted are provided. It is different from the configuration shown in 1.
  • the robot arm device 212 holds the endoscope 11 by using the robot arm 211.
  • the position / orientation information of the endoscope 11 acquired by the robot arm device 212 is supplied to the CCU 13 (information processing unit 102 in FIG. 2).
  • the position / orientation information of the endoscope 11 supplied from the robot arm device 212 is used for detecting changes in the optical system and estimating parameters.
  • the functional configuration of the surgery support system 200 of FIG. 5 is the same as the configuration described with reference to FIG. With reference to FIG. 2 again, a method of detecting changes in the optical system using the position / posture information of the imaging unit 101 (endoscope 11) and a method of estimating parameters for the surgery support system 200 will be described.
  • the position / orientation information of the imaging unit 101 supplied from the robot arm device 212 is input to the optical system change detection unit 111 and the three-dimensional information generation unit 113.
  • the optical system change detection unit 111 detects a change in the optical system based on the locus of the self-position of the imaging unit 101 supplied from the robot arm device 212.
  • the self-position of the imaging unit 101 estimated by the 3D information generation unit 113 by SLAM will have an error when the optical system changes.
  • the optical system change detection unit 111 compares the locus of the actual self-position of the image pickup unit 101 obtained from the robot arm device 212 with the locus of the self-position estimated by the three-dimensional information generation unit 113, and their errors become large. If so, it is detected as if the optical system has changed.
  • the imaging unit 101 when the angle of view changes, it is difficult to distinguish between degeneracy due to zooming and movement of the imaging unit 101 in the optical axis direction, but when the imaging unit 101 is held by the robot arm 211, Since it is possible to detect the presence or absence of movement of the imaging unit 101, it is possible to detect changes in the optical system using the angle of view. That is, when the angle of view of the surgical field image is changed and the imaging unit 101 is not moved, it is detected as if the optical system has changed.
  • the imaging unit 101 is held by a scopist, when the presence or absence of movement of the imaging unit 101 can be detected by a sensor or the like, the change in the angle of view and the movement of the imaging unit 101 are similar to the case of the robot arm 211.
  • the presence or absence may be used to detect changes in the optical system.
  • a method of detecting changes in the optical system for example, there is a method of recording feature points between frames and tracking changes in feature points near the outer peripheral side of the surgical field image.
  • the parameter estimation unit 112 estimates the parameters using the position / orientation information of the imaging unit 101 obtained from the robot arm device 212. For estimation of parameters based on the information obtained from the robot arm, for example, “Radu Horaud,” The Advantage of Mounting a Camera onto a Robot Arm ", Europe-China Workshop on Geometrical Modeling and Invariants for Computer Vision, 1995, pp206- 213. ”.
  • the operation of the surgery support system 200 of FIG. 5 is basically the same as the operation described with reference to FIG.
  • the accuracy of the three-dimensional information after the change can be maintained, and the three-dimensional information generated before the change and the three-dimensional information generated before the change can be maintained. It is possible to continuously use the three-dimensional information generated after the change.
  • FIG. 6 is a block diagram showing an example of the hardware configuration of the information processing device 300 constituting the surgery support system according to the second embodiment of the present technology.
  • the surgery support system including the information processing device 300 of FIG. 6 displays, for example, an image during surgery recorded in the surgery support system of FIG. 1 after the surgery, and is used for education of the surgeon or the student. It is a system to be operated.
  • the surgery support system including the information processing device 300 can also be called an endoscopic surgery education system.
  • the information processing device 300 is composed of, for example, a computer.
  • the CPU 301, ROM 302, and RAM 303 are connected to each other by the bus 304.
  • An input / output interface 305 is further connected to the bus 304.
  • An input unit 306 including a keyboard and a mouse, and an output unit 307 including a display and a speaker are connected to the input / output interface 305.
  • the input / output interface 305 is connected to a storage unit 308 composed of a hard disk, non-volatile memory, etc., a communication unit 309 composed of a network interface, etc., and a drive 310 for driving the removable media 311.
  • the surgery support system When used for education, it differs from the first embodiment in that it is not necessary to estimate the parameters immediately. It is possible to read the entire surgical field image once and then perform processing.
  • a 3D map (integrated 3D map) optimized for the entire recorded image is generated once, and then SLAM including the camera posture estimation is operated, and 3 It is designed to display a 3D map.
  • FIG. 7 is a block diagram showing a functional configuration example of the surgery support system.
  • the surgery support system 350 of FIG. 7 is composed of an image storage unit 351, an information processing unit 352, and a display unit 353.
  • the image storage unit 351 corresponds to the storage unit 308 in FIG.
  • the image storage unit 351 stores the surgical field image captured by the endoscope 11 (FIG. 1) during the operation.
  • the information processing unit 352 is realized in the CPU 301 of FIG.
  • the information processing unit 352 performs signal processing on the surgical field image stored in the image storage unit 351 and supplies the surgical field image obtained by performing the signal processing to the display unit 353.
  • the display unit 353 corresponds to the display constituting the output unit 307 of FIG.
  • the display unit 353 displays the surgical field image based on the image signal supplied from the information processing unit 352.
  • the information processing unit 352 is composed of an optical system change detection unit 361, a three-dimensional map generation unit 362, a three-dimensional map storage unit 363, a three-dimensional information generation unit 364, and a display information generation unit 365. At least a part of the information processing unit 352 is realized by executing a predetermined program by the CPU 301 of FIG. Descriptions that overlap with the above description will be omitted as appropriate.
  • optical system change detection unit 361 refers to the entire surgical field image stored in the image storage unit 351 and detects a change in the optical system. The change in the optical system is detected in the same manner as the optical system change detection unit 111 in FIG.
  • the optical system change detection unit 361 sets a section of a frame having the same parameters, that is, a section of a frame in which there is no change in the optical system as a section.
  • the optical system change detection unit 361 estimates the parameters of each section. The parameter estimation is performed in the same manner as the parameter estimation unit 112 of FIG. The optical system change detection unit 361 outputs the parameters of each section to the three-dimensional map generation unit 362.
  • the three-dimensional map generation unit 362 generates a three-dimensional map of each section using the parameters supplied from the optical system change detection unit 361.
  • the three-dimensional map generated by the three-dimensional map generation unit 362 is a three-dimensional map of the subject reflected in the surgical field image of a plurality of frames constituting the section.
  • Multiview stereo and SfM which can generate 3D maps from multiple viewpoints, for generating 3D maps.
  • Multiview stereo for example, "Multi-View Stereo: A tutorial. Foundations and. TrendsR in Computer Graphics and Vision, vol. 9, no. 1-2, 2013, pp.1-148.”, "Evaluation of multi" -view 3D reconstruction software, CAIP 2015: Computer Analysis of Images and Patterns, pp.450-461. ”.
  • the 3D map generation unit 362 outputs the 3D map of each section to the 3D map storage unit 363.
  • the 3D map storage unit 363 stores the 3D map of each section generated by the 3D map generation unit 362.
  • Three-dimensional information generation unit 364 integrates the 3D maps of each section stored in the 3D map storage unit 363, and generates an integrated 3D map through all the sections.
  • the 3D map generated in each section has different parameters for each section, so the scale and position are different, and it is difficult to integrate them as they are and use them for SLAM processing. Therefore, in the three-dimensional information generation unit 364, the scale and the positional relationship of each section are corrected, and the three-dimensional map is integrated while optimizing the scale and the like.
  • the 3D information generation unit 364 estimates the scale of the 3D map of the other sections with respect to the 3D map that is the reference in the section, so that the 3D map in all sections Scale and integrate.
  • Each of the points on the 3D map generated in each section holds a vector called a feature, which represents the features of that point.
  • the 3D information generation unit 364 can identify the overlapping portion in the 3D map by searching for a point that holds the same feature amount between different 3D maps.
  • the three-dimensional information generation unit 364 uses the least squares method in the overlapping portion to identify the scale and the positional relationship that minimizes the residual.
  • the points that retain the feature amount include the feature points of the surgical field image or the feature points of the three-dimensional map.
  • the feature points of the surgical field image are, for example, SIFT, SURF, ORB, and AKAZE.
  • the feature points of the 3D map are, for example, SHOT, PFH, and PPF.
  • each point of the generated 3D map does not retain the feature quantity and the corresponding points cannot be identified between the 3D maps, that is, the overlapping parts cannot be identified, the correspondence relationship is estimated at the same time. It is also possible to use an ICP capable of registering two point clouds.
  • the 3D information generation unit 364 uses the integrated 3D map to generate 3D information by SLAM including the camera's self-position and orientation estimation.
  • the 3D information generation unit 364 outputs the generated 3D information to the display information generation unit 365.
  • the 3D map generation unit 362 generates a 3D map of each section, but the 3D map generation unit 362 has described the 3D information (position / orientation) of each section. Information and a 3D map) may be generated.
  • the three-dimensional map storage unit 363 stores the three-dimensional information of each section.
  • the 3D information generation unit 364 the 3D information of each section is integrated, and SLAM processing including the self-position and orientation estimation of the camera is performed using the integrated 3D information. Dimensional information is generated.
  • the display information generation unit 365 causes the display unit 353 to display the surgical field image based on the image signal read from the image storage unit 351.
  • the display information generation unit 365 causes the display unit 353 to display the integrated three-dimensional map based on the three-dimensional information supplied from the three-dimensional information generation unit 364.
  • FIG. 8 is a flowchart illustrating a three-dimensional information generation process in the surgery support system 350.
  • step S311 the optical system change detection unit 361 reads the surgical field image represented by the image signal obtained from the image storage unit 351.
  • the optical system change detection unit 361 refers to the entire surgical field image, and based on the detection result of the change in the optical system, sets a section of the frame having the same parameters, that is, a section of the frame in which the optical system does not change. Set as a section.
  • step S313 the optical system change detection unit 361 estimates the parameters of each section.
  • step S314 the 3D map generation unit 362 generates a 3D map of each section.
  • step S315 the 3D map storage unit 363 stores the 3D map of each section generated by the 3D map generation unit 362.
  • step S316 the 3D information generation unit 364 integrates the 3D maps of each section stored in the 3D map storage unit 363 to generate an integrated 3D map.
  • the 3D information generation unit 364 uses the integrated 3D map to generate 3D information by SLAM including self-position and orientation estimation of the camera.
  • step S317 the display information generation unit 365 causes the display unit 353 to display the three-dimensional map based on the three-dimensional information supplied from the three-dimensional information generation unit 364.
  • the parameters that are the conditions for generating the three-dimensional information are updated for each section set in the optical system of the imaging unit 101 according to the change, and the three-dimensional map generated for each section is integrated.
  • the second embodiment when it is used for post-surgery education or the like, it is possible to suppress an error in three-dimensional information even if a change in the optical system occurs during the surgery. be able to.
  • FIG. 9 shows an example of a microsurgical system using a surgical videomicroscope as an observation medical device for observing the inside of a patient.
  • FIG. 9 a doctor who is a practitioner (user) 520 performs an operation on an operation target (patient) 540 on an operation table 530 using an operation instrument 521 such as a scalpel, tweezers, and forceps. The state of going is shown.
  • an operation instrument 521 such as a scalpel, tweezers, and forceps. The state of going is shown.
  • treatment is a general term for various medical treatments such as surgery and examination performed by a doctor who is a user 520 on a patient who is a treatment target 540.
  • the state of the operation is shown as an example of the operation, but the operation using the surgical video microscope device 510 is not limited to the operation, and may be various other operations.
  • a surgical video microscope device 510 according to an embodiment of the present technology is provided beside the operating table 530.
  • the surgical video microscope device 510 includes a base portion 511 as a base, an arm portion 512 extending from the base portion 511, and an imaging unit 515 connected to the tip of the arm portion 512 as a tip unit.
  • the arm portion 512 has a plurality of joint portions 513a, 513b, 513c, a plurality of links 514a, 514b connected by the joint portions 513a, 513b, and an imaging unit 515 provided at the tip of the arm portion 512.
  • the arm portion 512 has three joint portions 513a to 513c and two links 514a and 514b.
  • the number and shape of the joint portions 513a to 513c and the links 514a and 514b, and the joint portion 513a so as to realize the desired degree of freedom.
  • the direction of the drive shaft of to 513c may be appropriately set.
  • the joint portions 513a to 513c have a function of rotatably connecting the links 514a and 514b to each other, and the drive of the arm portion 512 is controlled by driving the rotation of the joint portions 513a to 513c.
  • An imaging unit 515 is connected to the tip of the arm portion 512 as a tip unit.
  • the image pickup unit 515 is a unit that acquires an image to be imaged by including an optical system that acquires an optical image of a subject, and is configured as, for example, a camera capable of capturing a moving image or a still image. As shown in FIG. 9, the arm portion 512 and the imaging unit 515 are used by the surgical video microscope device 510 so that the imaging unit 515 provided at the tip of the arm portion 512 images the state of the treatment site of the operation target 540. Self-position and posture are controlled.
  • the configuration of the imaging unit 515 connected to the tip of the arm portion 512 as a tip unit is not particularly limited, and for example, the imaging unit 515 may be configured as an endoscope or a microscope. Further, the image pickup unit 515 may be configured to be detachable from the arm portion 512.
  • an imaging unit 515 may be appropriately connected to the tip of the arm portion 512 as a tip unit.
  • the imaging unit 515 is applied as the tip unit will be described, but it goes without saying that the tip unit connected to the tip of the arm portion 512 is not necessarily limited to the imaging unit 515.
  • a display device 550 such as a monitor or a display is installed at a position facing the user 520.
  • the image of the treatment site acquired by the imaging unit 515 is displayed on the display screen of the display device 550 after being subjected to various image processing by, for example, an image processing device built in or externally attached to the surgical video microscope device 510. Displayed as an electronic image.
  • the user 520 can perform various treatments (for example, surgery) while viewing the electronic image of the treatment site displayed on the display screen of the display device 550.
  • the imaging unit 515 includes, for example, the imaging unit 101 described with reference to FIG. Further, an image processing device that performs various image processing on the image of the treatment site acquired by the image pickup unit 515 corresponds to an example of the information processing unit 102 described with reference to FIG. Similarly, the display device 550 corresponds to an example of the display unit 103 described with reference to FIG.
  • the arm portion 512 corresponds to an example of the robot arm 211 described with reference to FIG.
  • the surgical videomicroscope device 510 includes the robot arm device 212 described with reference to FIG.
  • FIG. 10 is a block diagram showing an example of the hardware configuration of the information processing device 900 constituting the surgery support system according to the embodiment of the present technology.
  • the information processing apparatus 900 includes a CPU 901, a ROM 903, and a RAM 905. Further, the information processing device 900 includes a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, and a storage device 919. The information processing device 900 may include a drive 921, a connection port 923, and a communication device 925.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
  • ROM 903 stores programs and calculation parameters used by CPU 901.
  • the RAM 905 primaryly stores a program used by the CPU 901, parameters that change as appropriate in the execution of the program, and the like. These are connected to each other by a host bus 907 composed of an internal bus such as a CPU bus.
  • a host bus 907 composed of an internal bus such as a CPU bus.
  • Each configuration of the information processing unit 102 described with reference to FIG. 2 is realized by, for example, the CPU 901.
  • the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
  • An input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925 are connected to the external bus 911 via an interface 913.
  • the input device 915 is an operating means operated by the user, such as a mouse, keyboard, touch panel, buttons, switches, levers, and pedals. Further, the input device 915 may be, for example, a remote control means (so-called remote controller) using infrared rays or other radio waves. The input device 915 may be, for example, an externally connected device 929 such as a mobile phone, a smartphone, or a tablet terminal that supports the operation of the information processing device 900.
  • the input device 915 is composed of, for example, an input control circuit that generates an input signal based on the information input by the user using the above-mentioned operating means and outputs the input signal to the CPU 901.
  • the user can input various data to the information processing device 900 and instruct the processing operation.
  • the output device 917 is composed of a device capable of visually or audibly notifying the user of the acquired information.
  • the output device 917 is configured as a CRT display device, a liquid crystal display device, a plasma display device, an EL display device, a display device such as a lamp, an audio output device such as a speaker and headphones, a printer device, and the like. ..
  • the output device 917 outputs, for example, the results obtained by various processes performed by the information processing device 900.
  • the display device displays the results obtained by various processes performed by the information processing device 900 as text or an image.
  • the audio output device converts an audio signal composed of reproduced audio data, acoustic data, and the like into an analog signal and outputs the signal.
  • the display unit 103 described with reference to FIG. 2 is realized by, for example, an output device 917.
  • the storage device 919 is a data storage device configured as an example of the storage unit of the information processing device 900.
  • the storage device 919 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 919 stores programs executed by the CPU 901, various data, and the like.
  • the drive 921 is a reader / writer for a recording medium, and is built in or externally attached to the information processing device 900.
  • the drive 921 reads the information recorded on the removable recording medium 927 such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs the information to the RAM 905.
  • the drive 921 can also write a record to a removable recording medium 927 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory.
  • the removable recording medium 927 is, for example, DVD media, HD-DVD media, Blu-ray (registered trademark) media, or the like. Further, the removable recording medium 927 may be a compact flash (registered trademark) (CF: CompactFlash), a flash memory, an SD (Secure Digital) memory card, or the like. Further, the removable recording medium 927 may be, for example, an IC (Integrated Circuit) card equipped with a non-contact IC chip, an electronic device, or the like.
  • IC Integrated Circuit
  • the connection port 923 is a port for directly connecting the external connection device 929 to the information processing device 900.
  • Examples of the connection port 923 include a USB (Universal Serial Bus) port, an IEEE1394 port, and a SCSI (Small Computer System Interface) port.
  • Another example of the connection port 923 is an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, and the like.
  • the communication device 925 is, for example, a communication interface composed of a communication device for connecting to a communication network (network) 931.
  • the communication device 925 is, for example, a communication card for wired or wireless LAN (Local Area Network), Bluetooth (registered trademark), or WUSB (Wireless USB). Further, the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 925 can transmit and receive signals to and from the Internet and other communication devices according to a predetermined protocol such as TCP / IP. Further, the communication network 931 connected to the communication device 925 may be configured by a network connected by wire or wirelessly.
  • the communication network 931 may be, for example, the Internet or a home LAN, or may be a communication network on which infrared communication, radio wave communication, or satellite communication is performed.
  • Each component of the information processing device 300 of FIG. 5 and the information processing device 900 of FIG. 10 described above may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. It may be configured. Therefore, it is possible to appropriately change the hardware configuration to be used according to the technical level at each time when the embodiment of the present technology is implemented.
  • a computer program for realizing each function of the information processing device 300 and the information processing device 900 constituting the operation support system according to the embodiment of the present technology, and implement the computer program on a personal computer or the like. .. It is also possible to provide a computer-readable recording medium in which such a computer program is stored.
  • the recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like.
  • the computer program may be distributed via a network, for example, without using a recording medium.
  • the program executed by the computer may be a program in which processing is performed in chronological order in the order described in this specification, in parallel, or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the surgical field data acquired by the medical observation device is acquired, and the change in the optical system of the medical observation device is detected.
  • a parameter determined by the changed optical system is estimated, and the estimation result is used to set conditions for generating three-dimensional information based on the surgical field data.
  • the accuracy of the three-dimensional information can be maintained even when the optical system is changed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • the present technology can also have the following configurations.
  • a medical observation system including a setting unit for setting conditions for generating three-dimensional information based on the surgical field data using the estimation result of the estimation unit.
  • the medical observation system according to (1) above wherein the detection unit detects a change in the optical system by detecting a change in the focal length of the surgical field image represented by the surgical field data.
  • the detection unit detects a change in the optical system by using a locus of a position of the medical observation device held by a robot arm.
  • the detection unit is of the optical system when the angle of view of the surgical field image represented by the surgical field data is changed and the medical observation device held by the robot arm is not moved.
  • the medical observation system according to (1) above which detects that there is a change.
  • the detection unit divides the surgical field data into sections that are sections composed of frames of a plurality of surgical field images.
  • the medical observation system according to any one of (1) to (5) above, wherein the estimation unit estimates the parameters for each section. (7) The estimation unit estimates the parameters corresponding to the information of the optical system acquired from the medical observation device based on a table obtained in advance and representing the relationship between the information of the optical system and the parameters. The medical observation system according to any one of (1) to (5) above. (8) The medical observation system according to any one of (1) to (5) above, wherein the estimation unit estimates the parameters based on the surgical field data. (9) The medical observation system according to (8), wherein the estimation unit estimates the parameters from the surgical field image represented by the surgical field data and generates a reliability index of a matrix of the parameters.
  • the medical observation system according to any one of (1) to (9), further comprising a three-dimensional information generation unit that generates the three-dimensional information using the parameters estimated by the estimation unit.
  • the three-dimensional information generation unit stops the generation of the three-dimensional information, and when the parameter is estimated by the estimation unit, the estimated parameter.
  • the medical observation system according to (10) above, which resumes the generation of the three-dimensional information using the above.
  • the medical observation system according to any one of (1) to (11), further comprising a display control unit that controls the display of the surgical field image represented by the surgical field data or the three-dimensional information.
  • the display control unit displays information indicating that the scope of the medical observation device has been exchanged as the detection result.
  • the display control unit displays information related to the scope of the medical observation device as the detection result.
  • the display control unit displays the three-dimensional information before the change and the three-dimensional information after the change.
  • the medical observation system Acquire the surgical field data acquired by the medical observation device, Detecting changes in the optical system of the medical observation device, When a change in the optical system is detected, the parameters determined by the optical system after the change are estimated.
  • An imaging unit that images the surgical field and generates surgical field data, It is equipped with an output unit that outputs the surgical field data. When a change in the optical system of the imaging unit is detected and a change in the optical system is detected, the parameters determined by the optical system after the change are estimated, and the estimation result is used to obtain three-dimensional information based on the surgical field data.
  • a medical observation device used in a medical observation system that sets the generation conditions of.
  • Surgical support system 11 Endoscope, 13 CCU, 15 Display device, 100 Surgical support system, 101 Camera, 102 Information processing unit, 103 Display unit, 111 Optical system change detection unit, 112 Parameter estimation unit, 113 3D information Generation unit, 114 display information generation unit, 200 surgery support system, 211 robot arm, 212 robot arm device, 300 surgery support system, 301 CPU, 307 output unit, 308 storage unit, 350 surgery support system, 351 image storage unit, 352 Information processing unit, 353 display unit, 361 optical system change detection unit, 362 3D map generation unit, 363 3D map storage unit, 364 3D information generation unit, 365 display information generation unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

本技術は、光学系に変更が生じた場合でも３次元情報の精度を維持することができるようにする医療用観察システムおよび方法、並びに医療用観察装置に関する。 医療用観察システムは、医療用観察装置により取得された術野データを取得し、医療用観察装置の光学系の変化を検知し、光学系の変化が検知された場合、変化後の光学系の状態を表すパラメータを推定し、推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する。本技術は、手術支援システムに適用することができる。

Description

医療用観察システムおよび方法、並びに医療用観察装置
　本技術は、医療用観察システムおよび方法、並びに医療用観察装置に関し、特に、光学系に変更が生じた場合でも３次元情報の精度を維持することができるようにした医療用観察システムおよび方法、並びに医療用観察装置に関する。
　内視鏡や顕微鏡といった医療用観察装置を用いた手術において、術野画像に基づいて３次元情報を生成し、３次元情報を術野画像の画像処理または表示処理に利用することが提案されている。
　例えば、特許文献１においては、３次元情報をSLAMにより生成し、画面に表示する技術が提案されている。
特開２０１７－２２５７００号公報
　ところで、手術中に、医療用観察装置の光学系が変更される場合がある。例えば、医療用観察装置のフォーカス調整を行った場合、光学系内のフォーカスレンズの位置が移動する。特に、内視鏡手術では、内視鏡のスコープを手術中に交換することがあり、これにより、光学系の変更が生じる。
　医療用観察装置の光学系に変更が生じた場合、前提とするパラメータが異なるため、変更前に生成された３次元情報の精度と、変更後に生成された３次元情報の精度とが異なるものになるが、手術中に３次元情報を最初から作り直すことは困難である。
　本技術はこのような状況に鑑みてなされたものであり、光学系に変更が生じた場合でも３次元情報の精度を維持することができるようにするものである。
　本技術の一側面の医療用観察システムは、医療用観察装置により取得された術野データを取得する取得部と、前記医療用観察装置の光学系の変化を検知する検知部と、前記検知部により前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定する推定部と、前記推定部の推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する設定部とを備える。
　本技術の他の側面の医療用観察装置は、術野を撮像し、術野データを生成する撮像部と、前記術野データを出力する出力部とを備え、前記撮像部の光学系の変化を検知し、前記光学系の変化を検知した場合、変化後の前記光学系により定まるパラメータを推定し、推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する医療用観察システムにおいて用いられる。
　本技術においては、医療用観察装置により取得された術野データが取得され、前記医療用観察装置の光学系の変化が検知され、前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータが推定され、推定結果を用いて、前記術野データに基づく３次元情報の生成条件が設定される。
本技術の第１の実施の形態に係る手術支援システムの構成例を示す図である。 本技術の第１の実施の形態に係る手術支援システムの機能構成例を示すブロック図である。 マスク領域の例を示す図である。 図２の手術支援システムの３次元情報生成処理について説明するフローチャートである。 手術支援システムの他の構成例を示す図である。 本技術の第２の実施の形態に係る手術支援システムを構成する情報処理装置の構成例を示す図である。 本技術の第２の実施の形態に係る手術支援システムの機能構成例を示すブロック図である。 図７の手術支援システムの３次元情報生成処理について説明するフローチャートである。 本技術の実施の形態に係る手術支援システムの他の構成例を示す図である。 情報処理装置のハードウェア構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．第１の実施の形態（手術中の利用）
　２．第２の実施の形態（教育での利用）
　３．適用例
　４．ハードウェア構成
　５．その他
＜＜１．第１の実施の形態（手術中の利用）＞＞
＜手術支援システムの構成例（内視鏡をスコピストが保持する例）＞
　図１は、本技術の第１の実施の形態に係る手術支援システムの構成例を示す図である。
　図１は、例えば、医療現場において従来の開腹手術に代わって行われる、腹部の内視鏡外科手術において用いられる内視鏡手術システムの一例を示している。
　図１の手術支援システム１においては、腹部の内視鏡外科手術では、従来のように腹壁を切って開腹する代わりに、トロッカ２５ａおよび２５ｂと呼ばれる開孔器具が腹壁に数か所取り付けられる。そして、トロッカ２５ａおよび２５ｂに設けられている孔から、患者の体内を観察する観察用医療機器としての腹腔鏡（以下、内視鏡ともいう）１１、エネルギ処置具２２や鉗子２３などが体内に挿入される。
　術者は、内視鏡１１によって撮像された患者の体内にある患部（腫瘍など）Ｕの画像をリアルタイムに見ながら、エネルギ処置具２２などによって患部Ｕを切除するなどの処置を行う。内視鏡１１、エネルギ処置具２２や鉗子２３は、術者またはロボットなどにより保持される。なお、術者とは、手術室で行われる手術に関わっている医療従事者をいい、術者には、例えば手術の執刀医、助手、スコピスト、看護師の他、手術室とは別の場所からその手術をモニタしている医者などが含まれる。図１の例において、内視鏡１１は、例えば、スコピストにより保持されている。内視鏡１１は、患者に挿入されるスコープと、スコープにより導光された光を受光して撮像する撮像素子を含むカメラヘッドを含む。なお、スコープは硬性タイプでもよいし、軟性タイプでもよい。また、スコープと撮像素子が一体化していてもよい。
　このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート３１、患者が横たわる患者ベッド３３、フットスイッチ３５などが設置される。カート３１には、医療機器として、例えば、カメラコントロールユニット（CCU）１３、光源装置１７、処置具用装置２１、気腹装置２４、表示装置１５、レコーダ２６、およびプリンタ２７などの装置類が載置される。
　内視鏡１１の観察光学系を通じて撮像された患部Ｕの画像信号は、信号伝送ケーブルであるカメラケーブルを介してCCU１３に伝送される。CCU１３は、カメラケーブルを介して内視鏡１１に接続される他、無線の通信経路を介して内視鏡１１に接続されてもよい。CCU１３は、内視鏡１１から出力される画像信号に対して信号処理を施し、信号処理後の画像信号を表示装置１５に出力する。このような構成により、患部Ｕの術野画像が表示装置１５に表示される。
　なお、CCU１３は、信号処理後の画像信号をレコーダ２６に出力することで、レコーダ２６に、患部Ｕの術野画像を画像データ（例えば、動画像のデータ）として記録させてもよい。また、CCU１３は、信号処理後の画像信号をプリンタ２７に出力することで、プリンタ２７に、患部Ｕの術野画像を印刷させてもよい。
　光源装置１７は、ライトガイドケーブルを介して内視鏡１１に接続され、患部Ｕに対してさまざまな波長の光を切り替えて照射することが可能である。光源装置１７から照射される光は、例えば、補助光として用いられる場合もある。
　処置具用装置２１は、例えば、電気熱を用いて患部Ｕを切断するエネルギ処置具２２に対して高周波電流を出力する高周波出力装置に相当する。
　気腹装置２４は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気する。
　フットスイッチ３５は、術者や助手などのフット操作をトリガ信号として、CCU１３や処置具用装置２１などを制御する。
＜手術支援システムの機能構成例＞
（CCU１３周りの構成）
　図２は、手術支援システムの機能構成例を示すブロック図である。
　図２の手術支援システム１００は、撮像部１０１、情報処理部１０２、および表示部１０３により構成される。
　撮像部１０１は、図１の内視鏡１１に相当する。撮像部１０１は、スコピストによる操作に応じて術野を撮像し、撮像することによって得られた画像信号を情報処理部１０２に出力する。撮像部１０１は、術野を撮像して得られた術野データを出力する医療用観察装置である。医療用観察装置として、内視鏡ではなく、顕微鏡が用いられるようにしてもよい。なお、医療用観察装置には撮像処理および生成した画像信号を処理するための回路（例えばCPU(Central Processing Unit)、およびRAM(Random Access Memory)、ROM(Read Only Memory)、またはFPGA(Field-Programmable Gate Array)）が積まれている。
　情報処理部１０２は、図１のCCU１３に相当する。情報処理部１０２は、撮像部１０１から供給された画像信号を取得し、画像信号に対して信号処理を施し、信号処理を施すことによって生成された術野画像の信号を表示部１０３に出力する。なお、情報処理部１０２がCCU１３以外の装置において構成されるようにしてもよい。
　表示部１０３は、図１の表示装置１５に相当する。表示部１０３は、情報処理部１０２から供給される画像信号に基づいて術野画像を表示する。
（情報処理部１０２の詳細構成）
　情報処理部１０２は、光学系変化検知部１１１、パラメータ推定部１１２、３次元情報生成部１１３、および表示情報生成部１１４により構成される。
　情報処理部１０２のうちの少なくとも一部は、図１のCCU１３のCPUなどを含む回路により所定のプログラムが実行されることによって実現される。撮像部１０１から出力された画像信号は、光学系変化検知部１１１、３次元情報生成部１１３、および表示情報生成部１１４に入力される。なお、情報処理部１０２のうちの少なくとも一部の機能は、FPGAにより実現されてもよい。
・光学系変化検知部１１１
　光学系変化検知部１１１は、手術中、撮像部１０１に生じた光学系の変化を検知する。光学系の変化は、例えば、ズーム（画角）の調整（ズームレンズの移動）やフォーカスの調整（フォーカスレンズの移動）などの光学系の調整が撮像部１０１において行われた場合、撮像部１０１にスコープが含まれるときはスコープの交換が行われた場合などに生じる。
　・光学系の情報を撮像部１０１から電子的に得ることができる場合
　例えば、ズームの調整やフォーカスの調整はCCU１３の出力に基づいて、撮像部１０１に含まれる光学系の一部の光学部材を移動させているため、CCU１３内に光学系の変化を示す情報（例えば、ズームレンズの位置やフォーカスレンズの位置を示す情報）が記憶される。この場合、光学系変化検知部１１１は、CCU１３に記憶された光学系の変化を示す情報に基づいて、光学系の変化を検知する。
　また、撮像部１０１に取り外し可能なスコープが含まれており、そのスコープにスコープの種類を示す情報を記憶した記憶部が設けられている場合がある。このとき、スコープの情報を撮像部１０１に含まれる回路が取得し、CCU１３に出力する構成としてもよい。この場合、光学系変化検知部１１１は、撮像部１０１から得られる情報に基づいて、光学系の変化を検知する。
　・光学系の情報を撮像部１０１から電子的に得ることができない場合
　この場合、光学系変化検知部１１１は、撮像部１０１から得られる画像信号に基づいて、光学系の変化を検知する。
　例えば、光学系変化検知部１１１は、撮像部１０１から順次供給される画像信号におけるマスク領域を繰り返し検出する。図３に示すように、マスク領域は、画像信号から生成される術野画像において、術野が映る有効領域の周りに形成されるケラレの領域である。スコープの交換などが行われたときにケラレが変化することでマスク領域が変化し、円形状の有効領域の径の大きさが変化することになる。
　光学系変化検知部１１１は、このようなマスク領域の変化を検知することにより、撮像部１０１に生じた光学系の変化を検知する。
　また、光学系変化検知部１１１は、カメラ行列（フレームの基本行列）の特異値を利用することにより、撮像部１０１に生じた光学系の変化を検知する。カメラ行列の特異値に基づいて、焦点距離の変化を検知することが可能となる。これにより、フォーカスレンズの移動やズームレンズの移動といった光学系の変化を検知することができる。
　ここで、カメラ行列の特異値を利用した検知方法は、焦点距離が同じである場合に、２つの視点において算出された基本行列の非ゼロの特異値が同じであるという性質を用い、基本行列の特異値の比によって、焦点距離が変化したことを検知する方法である。当該方法については、例えば、「野沢和輝,”焦点距離が未知の入力画像群に対する３次元復元の安定化”,CVIM-182,vol.2012,No.19」に記載されている。
　具体的には、光学系変化検知部１１１において、以下の（ａ）乃至（ｄ）の処理が行われる。
　（ａ）光学系変化検知部１１１は、SLAMにおいて３次元情報を生成するための基準となるキーフレームを記録する。
　（ｂ）光学系変化検知部１１１は、キーフレームを用いて基本行列Eを逐次的に計算する。
　（ｃ）光学系変化検知部１１１は、基本行列Eの非０特異値を計算する。
　ここで、基本行列Eは、３×３の行列である。３次元復元の基礎であるエピポーラ条件を満たす場合、Eを特異値分解（下式（１））した際の、対角行列Σの３行目の特異値は０になり、フレームiにおける対角行列Σiは、下式（２）のようになる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　ここで、σi2＜σi1とする。
　（ｄ）光学系変化検知部１１１は、非０特異値の比を各時間で比較することによって、焦点距離が変化したことを検知する。
　すなわち、同じ焦点距離で撮影した画像を元に算出した場合、１行目の特異値と２行目の特異値は等しい。この性質から、σi2／σi1が１に比べて小さい場合、そのことは、焦点距離が変わったことを意味する。したがって、下式（３）に示されるように、フレームiにおける対角行列Σの特異値の比と閾値thを比較することで、光学系の変化を検知することができる。
Figure JPOXMLDOC01-appb-M000003
　光学系変化検知部１１１は、以上のようにして光学系の変化を検知して得られた検知結果をパラメータ推定部１１２に出力する。パラメータ推定部１１２に出力される検知結果には、撮像部１０１の光学系の情報も含まれる。なお、光学系の変化の検知方法については、以上のような方法に限定されるものではなく、他の方法を採用することも可能である。
・パラメータ推定部１１２
　図２のパラメータ推定部１１２は、術野画像に基づく３次元情報の生成条件となるパラメータを推定する。パラメータは、光学系により定まるパラメータであり、例えば、焦点距離、画像中心、倍率、レンズの歪み係数を示す情報である。パラメータを構成する情報は、光学系により定まるパラメータを少なくとも１つ含んでいればよく、例えば、焦点距離、画像中心、倍率、および歪み係数のうちの少なくとも１つが含まれていればよい。なお、光学系により定まるパラメータは、撮像部１０１における光学系の配置により定まるパラメータを含む。例えば、同じスコープであってもスコープの取り外しを行うことで画像中心がわずかに変化することがある。
　・光学系の情報を撮像部１０１から電子的に得ることができる場合
　この場合、パラメータ推定部１１２は、光学系の情報とパラメータとの関係を表すテーブルを参照し、撮像部１０１から得られる光学系の情報に対応するパラメータを求める。パラメータ推定部１１２には、予め生成された、光学系の情報とパラメータとの関係を表すテーブルが与えられている。
　・光学系の情報を撮像部１０１から電子的に得ることができない場合
　この場合、パラメータ推定部１１２は、撮像部１０１から得られる画像信号に基づいて、パラメータとしてのパラメータ行列を推定する。
　例えば、キャリブレーションパターンを使用せずにパラメータの行列を推定することができるSelf-Calibrationを適用した推定方法が用いられる。Self-Calibrationについては、例えば、「O.D.Faugeras, “Camera self-calibration：Theory and experiments”, Europe Conference on Computer Vision, 1992, pp321-334.」に記載されている。パラメータ推定部１１２は、推定したパラメータ行列の信頼性指標となる情報を算出する。
　パラメータ推定部１１２は、パラメータの推定結果を用いて、３次元情報の生成条件を新たに設定するか否か、すなわち、推定後のパラメータで、３次元情報の生成条件となるパラメータを更新するか否かを判定する。３次元情報の生成条件となるパラメータを更新すると判定した場合、３次元情報の生成条件となるパラメータが更新される。
　パラメータを更新するか否かの判定方法としては、パラメータ推定部１１２自身が判断する自動的な判定方法と、ユーザにより判定させる手動の判定方法とがある。
　自動的な判定方法を用いる場合、パラメータ推定部１１２は、推定後のパラメータ行列の信頼性指標を用いた閾値判定によって、パラメータを更新するか否かを判定する。例えば、推定後のパラメータ行列の信頼性指標が事前に設定された閾値より高い場合、パラメータを更新するものとして判定され、閾値より低い場合、パラメータを更新しないものとして判定される。
　手動の判定方法を用いる場合、パラメータ推定部１１２は、推定結果を表示部１０３に提示し、推定結果を見たユーザによる選択に応じて、パラメータを更新するか否かを判定する。
・３次元情報生成部１１３
　３次元情報生成部１１３は、撮像部１０１から供給される画像信号により表される術野画像の各フレームに基づいて、３次元情報の生成条件となるパラメータを用いて３次元情報を生成する。３次元情報は、術野画像に基づき、上述したパラメータを用いて生成される情報である。３次元情報には、術野画像に映る被写体（臓器や体腔内）の３次元構造を表す３次元マップと、撮像部１０１の自己位置および姿勢を表す位置・姿勢情報とが含まれる。
　３次元情報生成のアルゴリズムとしては、術野画像のみを入力とするVisual SLAM、または、ToFセンサやLidarなどで深さ情報を測定し、術野画像と深さ情報とを入力とするRGB-D-SLAMなどが用いられる。
　３次元情報生成部１１３は、光学系の変化が光学系変化検知部１１１により検知された場合、新しいパラメータがパラメータ推定部１１２により推定されるまで、３次元情報の生成を停止する。新しいパラメータが推定された場合、３次元情報生成部１１３は、新しいパラメータを用いて、３次元情報の生成を再開する。
　また、３次元情報生成部１１３は、光学系の変化が光学系変化検知部１１１により検知された場合、３次元情報の生成を停止せずに、光学系の変化前の３次元情報と、光学系の変化後の３次元情報とを区別して保存する。３次元情報生成部１１３は、新しいパラメータが推定された後、光学系の変化前に撮影された場所と同じ場所が撮影された際に、その場所の３次元情報（光学系の変化前の３次元情報）を、新しいパラメータを用いて生成した３次元情報（光学系の変化後の３次元情報）に置き換えることによって、３次元情報を更新する。
　３次元情報生成部１１３は、このようにして生成した３次元情報を表示情報生成部１１４に出力する。
・表示情報生成部１１４
　表示情報生成部１１４は、撮像部１０１から供給される画像信号に基づいて、術野画像を表示部１０３に表示させる。
　また、表示情報生成部１１４は、３次元情報生成部１１３から供給される３次元情報に基づいて、３次元マップを表示部１０３に表示させる。パラメータの更新前と更新後とで、色などの表示方法を変えて３次元マップが表示されるようにしてもよい。
　また、表示情報生成部１１４は、光学系変化検知部１１１における光学系の変化の検知結果を表示させる。その際、撮像部１０１においてスコープが交換されたことを表す情報が表示されるようにしてもよいし、交換後のスコープの種類などの情報が表示されるようにしてもよい。
　さらに、表示情報生成部１１４は、３次元情報の生成条件として設定された新たなパラメータを表示部１０３に表示させるようにしてもよい。
＜手術支援システムの動作例＞
　図４は、手術支援システム１００における３次元情報生成処理について説明するフローチャートである。
　ステップＳ１１１において、３次元情報生成部１１３は、撮像部１０１から得られる画像信号により表される術野画像に基づき、パラメータを用いて３次元情報を生成する。
　ステップＳ１１２において、３次元情報生成部１１３は、新たに生成した３次元情報を用いて、それまでに生成した３次元情報を更新する。
　ステップＳ１１３において、表示情報生成部１１４は、３次元情報生成部１１３から供給される３次元情報に基づいて、３次元マップを表示部１０３に表示させる。
　ステップＳ１１４において、光学系変化検知部１１１は、光学系の変化を検知したか否かを判定する。
　光学系の変化を検知したとステップＳ１１４において判定された場合、ステップＳ１１５において、パラメータ推定部１１２は、パラメータを推定する。パラメータが更新されるまで、３次元情報の生成は停止される。
　ステップＳ１１６において、パラメータ推定部１１２は、推定後のパラメータを用いて、３次元情報の生成条件となるパラメータを更新するか否かを判定する。ここでの判定は、上述したようにパラメータの推定結果の信頼性指標に基づいて行われる。
　パラメータを更新しないとステップＳ１１６において判定された場合、ステップＳ１１５に戻り、パラメータの推定が繰り返される。
　一方、パラメータを更新するとステップＳ１１６において判定された場合、ステップＳ１１７において、パラメータ推定部１１２は、３次元情報の生成条件となるパラメータを、新しいパラメータによって更新する。パラメータ推定部１１２により更新されたパラメータは、３次元情報生成部１１３に供給される。
　３次元情報生成部１１３においては、例えば、光学系の変化が検知される前の３次元マップと対応がとれるように、新しいパラメータを用いて、３次元マップのスケールを調整するなどして、３次元情報の生成が継続される。
　ステップＳ１１８において、３次元情報生成部１１３は、３次元情報生成処理を終了するか否かを判定する。ステップＳ１１８において、３次元情報生成処理を終了しないと判定された場合、または、ステップＳ１１４において、光学系の変化を検知していないと判定された場合、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
　一方、ステップＳ１１８において３次元情報生成処理を終了すると判定された場合、手術支援システム１００の処理は終了となる。
　以上の処理により、撮像部１０１の光学系に変化が生じた場合には、３次元情報の生成条件となるパラメータが更新され、更新後のパラメータを用いて３次元情報の生成が継続される。
　Visual-SLAMにおいて正確な３次元情報を生成するためには、焦点距離、画像中心、歪み係数を含むパラメータを適切な値に設定する必要がある。一般的なVisual-SLAMでは、カメラキャリブレーションでパラメータを求め、動作中（手術中）は、予め求めたパラメータを固定値として扱い、３次元情報の生成が行われる。
　一方、手術中はズームなどの光学系の調整やスコープ自体の交換が行われることがあり、これにより、パラメータが変化する。光学系の変化の前後では、生成される３次元情報のスケール等に変化が生じたり、誤差が生じたりすることになる。変更後の３次元情報を利用するためには、パラメータを再調整すればよいが、スコープを取り出してカメラキャリブレーションを手動で行う必要があり、手術中にそれを行うのは現実的ではない。
　以上のように更新後のパラメータを用いて３次元情報の生成が継続されるようにすることにより、手術中に撮像部１０１の光学系に変化が生じた場合であっても、パラメータのキャリブレーションなどを再度行うことなく、３次元情報の精度を維持することが可能となる。
＜手術支援システムの他の構成例（内視鏡をロボットアームが保持する例）＞
　図５は、手術支援システムの他の構成例を示す図である。
　図５に示す構成のうち、図１の構成と対応する部分には同じ符号を付してある。重複する説明については適宜省略する。図５に示す手術支援システム２００の構成は、ロボットアーム２１１を含むロボットアーム装置２１２と、内視鏡下手術のための各種の装置が搭載されているカート２１３が設けられている点で、図１に示す構成と異なる。
　ロボットアーム装置２１２は、ロボットアーム２１１を用いて内視鏡１１を保持する。ロボットアーム装置２１２により取得される、内視鏡１１の位置・姿勢情報はCCU１３（図２の情報処理部１０２）に供給される。
　内視鏡１１がロボットアーム２１１により保持されている場合、ロボットアーム装置２１２から供給される内視鏡１１の位置・姿勢情報は、光学系の変化の検知とパラメータの推定に利用される。
＜手術支援システムの機能構成例＞
　図５の手術支援システム２００の機能構成は、図２を参照して説明した構成と同じ構成である。図２を再び参照して、手術支援システム２００についての撮像部１０１（内視鏡１１）の位置・姿勢情報を利用した光学系の変化の検知方法と、パラメータの推定方法について説明する。
　ロボットアーム装置２１２から供給される撮像部１０１の位置・姿勢情報は、光学系変化検知部１１１および３次元情報生成部１１３に入力される。
・光学系変化検知部１１１
　光学系変化検知部１１１は、ロボットアーム装置２１２から供給される撮像部１０１の自己位置の軌跡に基づいて、光学系の変化を検知する。
　SLAMによって３次元情報生成部１１３により推定される撮像部１０１の自己位置は、３次元マップと同様に光学系が変化すると誤差が生じるようになる。光学系変化検知部１１１は、ロボットアーム装置２１２から得られる実際の撮像部１０１の自己位置の軌跡と３次元情報生成部１１３により推定される自己位置の軌跡を比較し、それらの誤差が大きくなった場合、光学系の変化が生じたものとして検知する。
　また、一般的には、画角が変化した場合、ズームによる縮退と光軸方向の撮像部１０１の移動を区別することは難しいが、ロボットアーム２１１により撮像部１０１が保持されている場合は、撮像部１０１の移動の有無を検知できることから、画角を用いた光学系の変化の検知が可能になる。すなわち、術野画像の画角に変化が生じた場合であって、撮像部１０１の移動がないときに、光学系の変化があったものとして検知されることになる。
　なお、撮像部１０１がスコピストにより保持される場合においても、センサなどで撮像部１０１の移動の有無を検知できるときには、ロボットアーム２１１の場合と同様に、画角の変化と撮像部１０１の移動の有無を用いて、光学系の変化の検知が行われるようにしてもよい。
　光学系の変化の検知の方法としては、例えば、フレーム間で特徴点を記録し、術野画像の外周側に近い特徴点の変化を追跡することによって検知する方法があげられる。
・パラメータ推定部１１２
　パラメータ推定部１１２は、ロボットアーム装置２１２から得られる撮像部１０１の位置・姿勢情報を用いてパラメータを推定する。ロボットアームから得られる情報に基づくパラメータの推定については、例えば、「Radu Horaud, “The Advantage of Mounting a Camera onto a Robot Arm”, Europe-China Workshop on Geometrical Modelling and Invariants for Computer Vision, 1995, pp206-213.」に開示されている。
　図５の手術支援システム２００の動作は、図４を参照して説明した動作と基本的に同じ動作である。
　以上のように、第１の実施の形態によれば、手術中に光学系が変化した場合でも変化後の３次元情報の精度を維持することができ、変化前に生成した３次元情報と、変化後に生成した３次元情報とを連続して利用することが可能となる。
＜＜２．第２の実施の形態（教育での利用）＞＞
＜手術支援システムの構成例＞
　図６は、本技術の第２の実施の形態に係る手術支援システムを構成する情報処理装置３００のハードウェア構成の一例を示すブロック図である。
　図６の情報処理装置３００を含む手術支援システムは、例えば、図１の手術支援システムにおいて記録しておいた手術中の画像などを手術後に表示し、術者または生徒への教育のために用いられるシステムである。情報処理装置３００を含む手術支援システムは、内視鏡手術教育システムということもできる。
　図６に示すように、情報処理装置３００は、例えばコンピュータなどで構成される。
　CPU３０１、ROM３０２、RAM３０３は、バス３０４により相互に接続されている。
　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。
　また、入出力インタフェース３０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。
　手術支援システムを教育のために用いる場合、パラメータを即時に推定する必要がない点で、第１の実施の形態と異なる。術野画像全体を一度読み込んでから処理を行うことが可能となる。
　第２の実施の形態においては、記録しておいた画像全体で最適化した３次元マップ（統合した３次元マップ）を一度生成し、その後、カメラの姿勢推定も含めたSLAMを動作させ、３次元マップを表示させるようになされている。
＜手術支援システムの機能構成例＞
（全体構成）
　図７は、手術支援システムの機能構成例を示すブロック図である。
　図７の手術支援システム３５０は、画像記憶部３５１、情報処理部３５２、および表示部３５３により構成される。
　画像記憶部３５１は、図６の記憶部３０８に相当する。画像記憶部３５１は、手術中に内視鏡１１（図１）により撮像された術野画像を記憶する。
　情報処理部３５２は、図６のCPU３０１において実現される。情報処理部３５２は、画像記憶部３５１に記憶された術野画像に対して信号処理を施し、信号処理を施して得られた術野画像を表示部３５３に供給する。
　表示部３５３は、図６の出力部３０７を構成するディスプレイに相当する。表示部３５３は、情報処理部３５２から供給される画像信号に基づいて術野画像を表示する。
（情報処理部３５２の詳細構成）
　情報処理部３５２は、光学系変化検知部３６１、３次元マップ生成部３６２、３次元マップ記憶部３６３、３次元情報生成部３６４、および表示情報生成部３６５により構成される。情報処理部３５２のうちの少なくとも一部は、図６のCPU３０１により所定のプログラムが実行されることによって実現される。上述した説明と重複する説明については、適宜省略する。
・光学系変化検知部３６１
　光学系変化検知部３６１は、画像記憶部３５１に記憶されている術野画像全体を参照し、光学系の変化を検知する。光学系の変化の検知は、図２の光学系変化検知部１１１と同様にして行われる。
　光学系変化検知部３６１は、パラメータが同じフレームの区間、すなわち、光学系の変化がないフレームの区間をセクションとして設定する。
　光学系変化検知部３６１は、各セクションのパラメータを推定する。パラメータの推定は、図２のパラメータ推定部１１２と同様にして行われる。光学系変化検知部３６１は、各セクションのパラメータを３次元マップ生成部３６２に出力する。
・３次元マップ生成部３６２
　３次元マップ生成部３６２は、光学系変化検知部３６１から供給されるパラメータを用いて、各セクションの３次元マップを生成する。３次元マップ生成部３６２が生成する３次元マップは、セクションを構成する複数フレームの術野画像に映る被写体の３次元マップとなる。
　３次元マップの生成には、Visual SLAMやRGB-D-SLAMの他に、例えば、複数の視点から３次元マップを生成可能なMultiview stereoやSfMを用いることが可能である。Multiview stereoについては、例えば、「Multi-View Stereo： A Tutorial. Foundations and. TrendsR in Computer Graphics and Vision, vol. 9, no. 1-2, 2013, pp.1-148.」、「Evaluation of multi-view 3D reconstruction software, CAIP 2015： Computer Analysis of Images and Patterns, pp.450-461.」に記載されている。
　３次元マップ生成部３６２は、各セクションの３次元マップを３次元マップ記憶部３６３に出力する。
・３次元マップ記憶部３６３
　３次元マップ記憶部３６３は、３次元マップ生成部３６２により生成された各セクションの３次元マップを記憶する。
・３次元情報生成部３６４
　３次元情報生成部３６４は、３次元マップ記憶部３６３に記憶された各セクションの３次元マップを統合し、すべてのセクションを通して統合した３次元マップを生成する。
　各セクションで生成された３次元マップは、セクション毎にパラメータが異なるため、スケールおよび位置が異なり、そのまま統合してSLAM処理に用いることが困難である。そのため、３次元情報生成部３６４においては、各セクションのスケールと位置関係が補正され、スケールなどを最適化しながら、３次元マップが統合される。
　具体的には、３次元情報生成部３６４は、セクションの中で基準となる３次元マップに対して、それ以外のセクションの３次元マップのスケールを推定することで、すべてのセクションにおける３次元マップのスケールを揃えて統合する。
　各セクションで生成される３次元マップの点のそれぞれは、特徴量と呼ばれる、その点の特徴を表すベクトルを保持している。３次元情報生成部３６４は、異なる３次元マップ間で同じ特徴量を保持する点を探索することによって、３次元マップで重なる部分を同定することができる。３次元情報生成部３６４は、重なる部分において、最小二乗法を用い、残差が最小となるスケールと位置関係を同定する。
　なお、特徴量を保持する点としては、術野画像の特徴点、または、３次元マップの特徴点などがある。
　術野画像の特徴点は、例えば、SIFT、SURF、ORB、およびAKAZEなどである。
　３次元マップの特徴点は、例えば、SHOT、PFH、およびPPFなどである。
　また、生成後の３次元マップの各点が特徴量を保持しておらず、３次元マップ間において対応点の同定、すなわち、重なる部分の同定ができない場合は、対応関係の推定も同時に行いながら、２つの点群のレジストレーションが行えるICPを用いることもできる。
　３次元情報生成部３６４は、統合した３次元マップを用いて、カメラの自己位置および姿勢推定も含めたSLAMにより、３次元情報を生成する。
　３次元情報生成部３６４は、生成後の３次元情報を表示情報生成部３６５に出力する。
　上記説明においては、３次元マップ生成部３６２において、各セクションの３次元マップの生成が行われる場合の例について説明したが、３次元マップ生成部３６２において、各セクションの３次元情報（位置・姿勢情報と３次元マップ）が生成されるようにしてもよい。３次元マップ記憶部３６３には、各セクションの３次元情報が記憶される。
　この際、３次元情報生成部３６４においては、各セクションの３次元情報が統合され、統合した３次元情報を用いて、カメラの自己位置および姿勢推定も含めたSLAM処理が行われ、再度、３次元情報が生成される。
・表示情報生成部３６５
　表示情報生成部３６５は、図２の表示情報生成部１１４と同様に、画像記憶部３５１から読み出される画像信号に基づいて、術野画像を表示部３５３に表示させる。
　また、表示情報生成部３６５は、３次元情報生成部３６４から供給される３次元情報に基づいて、統合された３次元マップを表示部３５３に表示させる。
＜手術支援システムの動作例＞
　図８は、手術支援システム３５０における３次元情報生成処理について説明するフローチャートである。
　ステップＳ３１１において、光学系変化検知部３６１は、画像記憶部３５１から得られる画像信号により表される術野画像を読み込む。
　ステップＳ３１２において、光学系変化検知部３６１は、術野画像全体を参照し、光学系の変化の検知結果に基づいて、パラメータが同じフレームの区間、すなわち、光学系の変化がないフレームの区間をセクションとして設定する。
　ステップＳ３１３において、光学系変化検知部３６１は、各セクションのパラメータを推定する。
　ステップＳ３１４において、３次元マップ生成部３６２は、各セクションの３次元マップを生成する。
　ステップＳ３１５において、３次元マップ記憶部３６３は、３次元マップ生成部３６２により生成された各セクションの３次元マップを記憶する。
　ステップＳ３１６において、３次元情報生成部３６４は、３次元マップ記憶部３６３に記憶された各セクションの３次元マップを統合し、統合した３次元マップを生成する。３次元情報生成部３６４は、統合した３次元マップを用いて、カメラの自己位置および姿勢推定も含めたSLAMにより、３次元情報を生成する。
　ステップＳ３１７において、表示情報生成部３６５は、３次元情報生成部３６４から供給される３次元情報に基づいて、３次元マップを表示部３５３に表示させる。
　ステップＳ３１７において、表示部３５３に３次元マップが表示された場合、手術支援システム３５０の処理は終了となる。
　以上の処理により、撮像部１０１の光学系に変化に応じて設定されるセクション毎に、３次元情報の生成条件となるパラメータが更新され、セクション毎に生成された３次元マップが統合される。
　以上のように、第２の実施の形態によれば、手術後の教育などに用いられる場合において、光学系の変化が手術中に生じていても、３次元情報に誤差が生じることを抑制することができる。
＜＜３．適用例＞＞
　次に、図９を参照して、本技術の実施の形態に係る手術支援システムの適用例として、アームを備えた手術用ビデオ顕微鏡装置が用いられる場合の一例について説明する。
　図９は、患者の体内を観察する観察用医療機器としての手術用ビデオ顕微鏡装置を用いた顕微鏡手術システムの一例を示している。
　図９には、施術者（ユーザ）５２０である医師が、例えばメス、鑷子、鉗子などの手術用の器具５２１を使用して、施術台５３０上の施術対象（患者）５４０に対して手術を行っている様子が示されている。
　なお、以下の説明において、施術とは、手術や検査など、ユーザ５２０である医師が施術対象５４０である患者に対して行う各種の医療的な処置の総称であるものとする。また、図９の例では、施術の一例として手術の様子が示されているが、手術用ビデオ顕微鏡装置５１０が用いられる施術は手術に限定されず、他の各種の施術であってもよい。
　施術台５３０の脇には、本技術の実施の形態に係る手術用ビデオ顕微鏡装置５１０が設けられる。
　手術用ビデオ顕微鏡装置５１０は、基台であるベース部５１１、ベース部５１１から延伸するアーム部５１２、そして、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５を備える。
　アーム部５１２は、複数の関節部５１３ａ、５１３ｂ、５１３ｃ、関節部５１３ａ、５１３ｂによって連結される複数のリンク５１４ａ、５１４ｂ、そして、アーム部５１２の先端に設けられる撮像ユニット５１５を有する。
　図９の例では、簡単のため、アーム部５１２は３つの関節部５１３ａ乃至５１３ｃと２つのリンク５１４ａ、５１４ｂを有している。実際には、アーム部５１２と撮像ユニット５１５の位置および姿勢の自由度を考慮して、所望の自由度を実現するように関節部５１３ａ乃至５１３ｃとリンク５１４ａ、５１４ｂの数や形状、関節部５１３ａ乃至５１３ｃの駆動軸の方向などが適宜設定されてもよい。
　関節部５１３ａ乃至５１３ｃは、リンク５１４ａ、５１４ｂを互いに回動可能に連結する機能を有し、関節部５１３ａ乃至５１３ｃの回転が駆動されることにより、アーム部５１２の駆動が制御される。
　アーム部５１２の先端には、先端ユニットとして撮像ユニット５１５が接続されている。
　撮像ユニット５１５は、被写体の光学像を取得する光学系を含むことで、撮像対象の画像を取得するユニットであり、例えば動画像や静止画像を撮像できるカメラなどとして構成される。図９に示されるように、アーム部５１２の先端に設けられた撮像ユニット５１５が、施術対象５４０の施術部位の様子を撮像するように、手術用ビデオ顕微鏡装置５１０によってアーム部５１２と撮像ユニット５１５の自己位置および姿勢が制御される。
　なお、アーム部５１２の先端に先端ユニットとして接続される撮像ユニット５１５の構成は特に限定されず、例えば、撮像ユニット５１５は、内視鏡や顕微鏡として構成されてもよい。また、撮像ユニット５１５は、アーム部５１２に対して着脱可能に構成されてもよい。
　このような構成により、例えば、利用用途に応じた撮像ユニット５１５が、アーム部５１２の先端に先端ユニットとして適宜接続されてもよい。なお、ここでは、先端ユニットとして撮像ユニット５１５が適用されている場合に着目して説明するが、アーム部５１２の先端に接続される先端ユニットは、必ずしも撮像ユニット５１５に限定されないことは言うまでもない。
　また、ユーザ５２０と対向する位置には、モニタやディスプレイなどの表示装置５５０が設置される。撮像ユニット５１５により取得された施術部位の画像は、例えば、手術用ビデオ顕微鏡装置５１０に内蔵または外付けされた画像処理装置により、各種画像処理が施されたうえで、表示装置５５０の表示画面に電子画像として表示される。
　このような構成により、ユーザ５２０は、表示装置５５０の表示画面に表示される施術部位の電子画像を見ながら各種の処置（例えば手術など）を行うことが可能となる。
　ここで、図９の例では、撮像ユニット５１５が、例えば、図２を参照して説明した撮像部１０１を含む。また、撮像ユニット５１５により取得された施術部位の画像に対して、各種画像処理を施す画像処理装置が、図２を参照して説明した情報処理部１０２の一例に相当する。同様に、表示装置５５０が、図２を参照して説明した表示部１０３の一例に相当する。
　また、図９の例では、アーム部５１２が、図５を参照して説明したロボットアーム２１１の一例に相当する。同様に、手術用ビデオ顕微鏡装置５１０が、図５を参照して説明したロボットアーム装置２１２を含む。
＜＜４．ハードウェア構成＞＞
　次に、図１０を参照して、本技術の実施の形態に係る手術支援システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。
　図１０は、本技術の実施の形態に係る手術支援システムを構成する情報処理装置９００のハードウェア構成の一例を示すブロック図である。
　図１０に示されるように、情報処理装置９００は、CPU９０１，ROM９０３，およびRAM９０５を備えている。さらに、情報処理装置９００は、ホストバス９０７、ブリッジ９０９、外部バス９１１、インタフェース９１３、入力装置９１５、出力装置９１７、およびストレージ装置９１９を備えている。なお、情報処理装置９００は、ドライブ９２１、接続ポート９２３、通信装置９２５を備えてもよい。
　CPU９０１は、演算処理装置および制御装置として機能し、ROM９０３、RAM９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般またはその一部を制御する。
　ROM９０３は、CPU９０１が使用するプログラムや演算パラメータなどを記憶する。RAM９０５は、CPU９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータなどを一次記憶する。これらは、CPUバスなどの内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図２を参照して説明した情報処理部１０２の各構成は、例えばCPU９０１により実現される。
　ホストバス９０７は、ブリッジ９０９を介して、PCI（Peripheral Component Interconnect/Interface）バスなどの外部バス９１１に接続されている。外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３、および通信装置９２５が接続される。
　入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー、およびペダルなど、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよい。入力装置９１５は、例えば、情報処理装置９００の操作に対応した携帯電話機、スマートフォン、またはタブレット端末などの外部接続機器９２９であってもよい。
　入力装置９１５は、例えば、上述した操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU９０１に出力する入力制御回路などから構成されている。
　ユーザは、入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
　出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。具体的には、出力装置９１７は、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置、プリンタ装置などとして構成される。
　出力装置９１７は、例えば、情報処理装置９００が行った各種の処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データなどからなるオーディオ信号をアナログ信号に変換して出力する。なお、図２を参照して説明した表示部１０３は、例えば、出力装置９１７により実現される。
　ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、HDD（Hard Disk Drive）などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置９１９は、CPU９０１が実行するプログラムや各種データなどを格納する。
　ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵されるか、または外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７に記録される情報を読み出して、RAM９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体９２７に記録を書き込むことも可能である。
　リムーバブル記録媒体９２７は、例えば、DVDメディア、HD-DVDメディア、またはBlu-ray（登録商標）メディアなどである。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（CF：CompactFlash）、フラッシュメモリ、またはSD（Secure Digital）メモリカードなどであってもよい。さらに、リムーバブル記録媒体９２７は、例えば、非接触型ICチップを搭載したIC（Integrated Circuit）カード、または電子機器などであってもよい。
　接続ポート９２３は、外部接続機器９２９を情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例としては、USB（Universal Serial Bus）ポート、IEEE１３９４ポート、SCSI（Small Computer System Interface）ポートなどがある。接続ポート９２３の別の例としては、RS-232Cポート、光オーディオ端子、HDMI（登録商標）（High-Definition Multimedia Interface）ポートなどがある。接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。
　通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイスなどで構成された通信インタフェースである。通信装置９２５は、例えば、有線または無線LAN（Local Area Network）、Bluetooth（登録商標）、またはWUSB（Wireless USB）用の通信カードなどである。また、通信装置９２５は、光通信用のルータ、ADSL（Asymmetric Digital Subscriber Line）用のルータ、または各種通信用のモデムなどであってもよい。
　通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばTCP/IPなどの所定のプロトコルに則して信号を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワークなどにより構成されるようにしてもよい。通信網９３１は、例えば、インターネットや家庭内LANであってもよいし、赤外線通信、ラジオ波通信、または衛星通信が行われる通信網であってもよい。
　上述した図５の情報処理装置３００および図１０の情報処理装置９００の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。したがって、本技術の実施の形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
　さらに、本技術の実施の形態に係る手術支援システムを構成する情報処理装置３００および情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータなどに実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することも可能である。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、コンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
＜＜５．その他＞＞
　以上のように、本技術においては、医療用観察装置により取得された術野データが取得され、医療用観察装置の光学系の変化が検知される。そして、光学系の変化が検知された場合、変化後の光学系により定まるパラメータが推定され、推定結果を用いて、前記術野データに基づく３次元情報の生成条件が設定される。これにより、光学系に変化が生じた場合であっても、３次元情報の精度を維持することができる。
　術中に光学系に変化が生じた場合であっても、パラメータのキャリブレーションなどを再度行うことなく、３次元情報の精度を維持することができる。
　また、手術後の教育などに用いられる場合に、術野画像内で光学系の変化が生じていても、３次元情報に誤差が生じることを抑制することができる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　医療用観察装置により取得された術野データを取得する取得部と、
　前記医療用観察装置の光学系の変化を検知する検知部と、
　前記検知部により前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定する推定部と、
　前記推定部の推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する設定部と
　を備える医療用観察システム。
（２）
　前記検知部は、前記術野データにより表される術野画像の変化を検知することで、前記光学系の変化を検知する
　前記（１）に記載の医療用観察システム。
（３）
　前記検知部は、前記術野データにより表される術野画像の焦点距離の変化を検知することで、前記光学系の変化を検知する
　前記（１）に記載の医療用観察システム。
（４）
　前記検知部は、ロボットアームが保持する前記医療用観察装置の位置の軌跡を用いて、前記光学系の変化を検知する
　前記（１）に記載の医療用観察システム。
（５）
　前記検知部は、前記術野データにより表される術野画像の画角の変化が生じた場合であって、ロボットアームが保持する前記医療用観察装置の移動がないときに、前記光学系の変化があったものとして検知する
　前記（１）に記載の医療用観察システム。
（６）
　前記検知部は、前記光学系の変化に基づいて、前記術野データを、複数の術野画像のフレームからなる区間であるセクション毎に区切り、
　前記推定部は、前記セクション毎に、前記パラメータを推定する
　前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（７）
　前記推定部は、予め求められた、前記光学系の情報と前記パラメータとの関係を表すテーブルに基づいて、前記医療用観察装置から取得される前記光学系の情報に対応する前記パラメータを推定する
　前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（８）
　前記推定部は、前記術野データに基づいて前記パラメータを推定する
　前記（１）乃至（５）のいずれかに記載の医療用観察システム。
（９）
　前記推定部は、前記術野データにより表される術野画像から前記パラメータを推定し、前記パラメータの行列の信頼性指標を生成する
　前記（８）に記載の医療用観察システム。
（１０）
　前記推定部により推定された前記パラメータを用いて、前記３次元情報を生成する３次元情報生成部をさらに備える
　前記（１）乃至（９）のいずれかに記載の医療用観察システム。
（１１）
　前記３次元情報生成部は、前記検知部により前記光学系の変化が検知された場合、前記３次元情報の生成を停止し、前記推定部により前記パラメータが推定された場合、推定された前記パラメータを用いて、前記３次元情報の生成を再開する
　前記（１０）に記載の医療用観察システム。
（１２）
　前記術野データにより表される術野画像または前記３次元情報の表示を制御する表示制御部をさらに備える
　前記（１）乃至（１１）のいずれかに記載の医療用観察システム。
（１３）
　前記表示制御部は、前記検知部による前記光学系の変化の検知結果を表示させる
　前記（１２）に記載の医療用観察システム。
（１４）
　前記表示制御部は、前記検知結果として、前記医療用観察装置のスコープが交換されたことを表す情報を表示させる
　前記（１３）に記載の医療用観察システム。
（１５）
　前記表示制御部は、前記検知結果として、前記医療用観察装置のスコープに関連する情報を表示させる
　前記（１３）に記載の医療用観察システム。
（１６）
　前記表示制御部は、変化前の前記３次元情報と変化後の前記３次元情報とを表示させる
　前記（１３）に記載の医療用観察システム。
（１７）
　医療用観察システムが、
　医療用観察装置により取得された術野データを取得し、
　前記医療用観察装置の光学系の変化を検知し、
　前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定し、
　推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する
　医療用観察方法。
（１８）
　術野を撮像し、術野データを生成する撮像部と、
　前記術野データを出力する出力部と
　を備え、
　前記撮像部の光学系の変化を検知し、前記光学系の変化を検知した場合、変化後の前記光学系により定まるパラメータを推定し、推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する医療用観察システムにおいて用いられる
　医療用観察装置。
　１　手術支援システム，　１１　内視鏡，　１３　CCU，　１５　表示装置，　１００　手術支援システム，　１０１　カメラ，　１０２　情報処理部，　１０３　表示部，　１１１　光学系変化検知部，１１２　パラメータ推定部，　１１３　３次元情報生成部，　１１４　表示情報生成部，　２００　手術支援システム，　２１１　ロボットアーム，　２１２　ロボットアーム装置，　３００　手術支援システム，　３０１　CPU，　３０７　出力部，　３０８　記憶部，　３５０　手術支援システム，　３５１　画像記憶部，　３５２　情報処理部，　３５３　表示部，　３６１　光学系変化検知部，　３６２　３次元マップ生成部，　３６３　３次元マップ記憶部，　３６４　３次元情報生成部，　３６５　表示情報生成部

Claims (18)

  1. 　医療用観察装置により取得された術野データを取得する取得部と、
    　前記医療用観察装置の光学系の変化を検知する検知部と、
    　前記検知部により前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定する推定部と、
    　前記推定部の推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する設定部と
    　を備える医療用観察システム。
  2. 　前記検知部は、前記術野データにより表される術野画像の変化を検知することで、前記光学系の変化を検知する
    　請求項１に記載の医療用観察システム。
  3. 　前記検知部は、前記術野データにより表される術野画像の焦点距離の変化を検知することで、前記光学系の変化を検知する
    　請求項１に記載の医療用観察システム。
  4. 　前記検知部は、ロボットアームが保持する前記医療用観察装置の位置の軌跡を用いて、前記光学系の変化を検知する
    　請求項１に記載の医療用観察システム。
  5. 　前記検知部は、前記術野データにより表される術野画像の画角の変化が生じた場合であって、ロボットアームが保持する前記医療用観察装置の移動がないときに、前記光学系の変化があったものとして検知する
    　請求項１に記載の医療用観察システム。
  6. 　前記検知部は、前記光学系の変化に基づいて、前記術野データを、複数の術野画像のフレームからなる区間であるセクション毎に区切り、
    　前記推定部は、前記セクション毎に、前記パラメータを推定する
    　請求項１に記載の医療用観察システム。
  7. 　前記推定部は、予め求められた、前記光学系の情報と前記パラメータとの関係を表すテーブルに基づいて、前記医療用観察装置から取得される前記光学系の情報に対応する前記パラメータを推定する
    　請求項１に記載の医療用観察システム。
  8. 　前記推定部は、前記術野データに基づいて前記パラメータを推定する
    　請求項１に記載の医療用観察システム。
  9. 　前記推定部は、前記術野データにより表される術野画像から前記パラメータを推定し、前記パラメータの行列の信頼性指標を生成する
    　請求項８に記載の医療用観察システム。
  10. 　前記推定部により推定された前記パラメータを用いて、前記３次元情報を生成する３次元情報生成部をさらに備える
    　請求項１に記載の医療用観察システム。
  11. 　前記３次元情報生成部は、前記検知部により前記光学系の変化が検知された場合、前記３次元情報の生成を停止し、前記推定部により前記パラメータが推定された場合、推定された前記パラメータを用いて、前記３次元情報の生成を再開する
    　請求項１０に記載の医療用観察システム。
  12. 　前記術野データにより表される術野画像または前記３次元情報の表示を制御する表示制御部をさらに備える
    　請求項１に記載の医療用観察システム。
  13. 　前記表示制御部は、前記検知部による前記光学系の変化の検知結果を表示させる
    　請求項１２に記載の医療用観察システム。
  14. 　前記表示制御部は、前記検知結果として、前記医療用観察装置のスコープが交換されたことを表す情報を表示させる
    　請求項１３に記載の医療用観察システム。
  15. 　前記表示制御部は、前記検知結果として、前記医療用観察装置のスコープに関連する情報を表示させる
    　請求項１３に記載の医療用観察システム。
  16. 　前記表示制御部は、変化前の前記３次元情報と変化後の前記３次元情報とを表示させる
    　請求項１３に記載の医療用観察システム。
  17. 　医療用観察システムが、
    　医療用観察装置により取得された術野データを取得し、
    　前記医療用観察装置の光学系の変化を検知し、
    　前記光学系の変化が検知された場合、変化後の前記光学系により定まるパラメータを推定し、
    　推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する
    　医療用観察方法。
  18. 　術野を撮像し、術野データを生成する撮像部と、
    　前記術野データを出力する出力部と
    　を備え、
    　前記撮像部の光学系の変化を検知し、前記光学系の変化を検知した場合、変化後の前記光学系により定まるパラメータを推定し、推定結果を用いて、前記術野データに基づく３次元情報の生成条件を設定する医療用観察システムにおいて用いられる
    　医療用観察装置。
PCT/JP2020/012676 2019-03-29 2020-03-23 医療用観察システムおよび方法、並びに医療用観察装置 Ceased WO2020203405A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20785287.2A EP3933481A4 (en) 2019-03-29 2020-03-23 SYSTEM AND METHOD AND DEVICE OF MEDICAL OBSERVATION
CN202080023381.9A CN113614607B (zh) 2019-03-29 2020-03-23 医学观察系统、方法和医学观察装置
US17/441,698 US12207794B2 (en) 2019-03-29 2020-03-23 Medical observation system, method, and medical observation device
JP2021511472A JP7571722B2 (ja) 2019-03-29 2020-03-23 医療用観察システムおよび方法、並びに医療用観察装置
US18/988,944 US20250127382A1 (en) 2019-03-29 2024-12-20 Medical observation system, method, and medical observation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-065756 2019-03-29
JP2019065756 2019-03-29

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/441,698 A-371-Of-International US12207794B2 (en) 2019-03-29 2020-03-23 Medical observation system, method, and medical observation device
US18/988,944 Continuation US20250127382A1 (en) 2019-03-29 2024-12-20 Medical observation system, method, and medical observation device

Publications (1)

Publication Number Publication Date
WO2020203405A1 true WO2020203405A1 (ja) 2020-10-08

Family

ID=72667721

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/012676 Ceased WO2020203405A1 (ja) 2019-03-29 2020-03-23 医療用観察システムおよび方法、並びに医療用観察装置

Country Status (5)

Country Link
US (2) US12207794B2 (ja)
EP (1) EP3933481A4 (ja)
JP (1) JP7571722B2 (ja)
CN (1) CN113614607B (ja)
WO (1) WO2020203405A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230156174A1 (en) * 2021-11-17 2023-05-18 3Dintegrated Aps Surgical visualization image enhancement

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11337845A (ja) * 1998-05-25 1999-12-10 Mitsubishi Electric Corp 内視鏡装置
JP2009258273A (ja) * 2008-04-15 2009-11-05 Olympus Corp 計測用内視鏡装置およびプログラム
JP2010263949A (ja) * 2009-05-12 2010-11-25 Hoya Corp 医療用ビデオプロセッサ
JP2015195844A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP2017225700A (ja) 2016-06-23 2017-12-28 オリンパス株式会社 観察支援装置及び内視鏡システム
JP2018161377A (ja) * 2017-03-27 2018-10-18 ソニー株式会社 医療用システムの制御装置、医療用システムの制御方法及び医療用システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015029318A1 (ja) * 2013-08-26 2015-03-05 パナソニックＩｐマネジメント株式会社 ３次元表示装置および３次元表示方法
WO2016154589A1 (en) * 2015-03-25 2016-09-29 Camplex, Inc. Surgical visualization systems and displays

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11337845A (ja) * 1998-05-25 1999-12-10 Mitsubishi Electric Corp 内視鏡装置
JP2009258273A (ja) * 2008-04-15 2009-11-05 Olympus Corp 計測用内視鏡装置およびプログラム
JP2010263949A (ja) * 2009-05-12 2010-11-25 Hoya Corp 医療用ビデオプロセッサ
JP2015195844A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、プロセッサ装置、光源装置、内視鏡システムの作動方法、プロセッサ装置の作動方法、光源装置の作動方法
JP2017225700A (ja) 2016-06-23 2017-12-28 オリンパス株式会社 観察支援装置及び内視鏡システム
JP2018161377A (ja) * 2017-03-27 2018-10-18 ソニー株式会社 医療用システムの制御装置、医療用システムの制御方法及び医療用システム

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Evaluation of multi-view 3D reconstruction software", CAIP 2015: COMPUTER ANALYSIS OF IMAGES AND PATTERNS, pages 450 - 461
KAZUKI NOZAWA: "Stabilization of three-dimensional restoration for input image group with unknown focal length", CVIM-182, vol. 2012, no. 19
MULTI-VIEW STEREO: A TUTORIAL. FOUNDATIONS AND. TRENDSR IN COMPUTER GRAPHICS AND VISION, vol. 9, no. 1-2, 2013, pages 1 - 148
O.D.FAUGERAS, EUROPE CONFERENCE ON COMPUTER VISION, 1992, pages 321 - 334
RADU HORAUD: "The Advantage of Mounting a Camera onto a Robot Arm", EUROPE-CHINA WORKSHOP ON GEOMETRICAL MODELLING AND INVARIANTS FOR COMPUTER VISION, 1995, pages 206 - 213
See also references of EP3933481A4

Also Published As

Publication number Publication date
JP7571722B2 (ja) 2024-10-23
EP3933481A1 (en) 2022-01-05
EP3933481A4 (en) 2022-05-11
CN113614607A (zh) 2021-11-05
JPWO2020203405A1 (ja) 2020-10-08
US12207794B2 (en) 2025-01-28
US20220160217A1 (en) 2022-05-26
CN113614607B (zh) 2025-10-03
US20250127382A1 (en) 2025-04-24

Similar Documents

Publication Publication Date Title
US20240033014A1 (en) Guidance for placement of surgical ports
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
CN102821671B (zh) 内窥镜观察支持系统和设备
US6511418B2 (en) Apparatus and method for calibrating and endoscope
JP4630564B2 (ja) 手術支援装置、方法及びプログラム
JPWO2019044328A1 (ja) 医療用画像処理装置、医療用画像処理システム、及び医療用画像処理装置の駆動方法
US11344180B2 (en) System, apparatus, and method for calibrating oblique-viewing rigid endoscope
WO2013138079A2 (en) Otoscanner with camera for video and scanning
WO2013141155A1 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
US12183038B2 (en) Camera calibration using fiducial markers on surgical tools
JP2022020592A (ja) 医療用アーム制御システム、医療用アーム制御方法、及びプログラム
CN118510463A (zh) 使用搜索图像自动配准术前体积图像数据
CN114126531B (zh) 医疗成像系统、医疗成像处理方法及医疗信息处理设备
US20250127382A1 (en) Medical observation system, method, and medical observation device
JP7517325B2 (ja) 医療システム、信号処理装置、及び、信号処理方法
US10049480B2 (en) Image alignment device, method, and program
CN115105202B (zh) 一种用于腔镜手术中的病灶确认方法及系统
CN114727860A (zh) 物理医疗元件放置系统
JP2020534050A (ja) ロボット外科手技中に立体視知覚通知および／または推奨事項を提供するためのシステム、方法、およびコンピュータ可読媒体
US12220226B2 (en) Surgical site measurement, and camera calibration using fiducial markers on surgical tools
Boudreault et al. 6-degree vision based tracking of a mandible phantom with deep learning

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20785287

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021511472

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020785287

Country of ref document: EP

Effective date: 20210929

WWG Wipo information: grant in national office

Ref document number: 202080023381.9

Country of ref document: CN