[go: up one dir, main page]

WO2020195877A1 - 医療システム、信号処理装置、及び、信号処理方法 - Google Patents

医療システム、信号処理装置、及び、信号処理方法 Download PDF

Info

Publication number
WO2020195877A1
WO2020195877A1 PCT/JP2020/010741 JP2020010741W WO2020195877A1 WO 2020195877 A1 WO2020195877 A1 WO 2020195877A1 JP 2020010741 W JP2020010741 W JP 2020010741W WO 2020195877 A1 WO2020195877 A1 WO 2020195877A1
Authority
WO
WIPO (PCT)
Prior art keywords
algorithm
surgical field
information
medical system
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/010741
Other languages
English (en)
French (fr)
Inventor
小林　洋平
芳男 相馬
慧佑 宇山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2021509023A priority Critical patent/JP7517325B2/ja
Priority to US17/437,533 priority patent/US12266127B2/en
Publication of WO2020195877A1 publication Critical patent/WO2020195877A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • This technology is related to medical systems, signal processing devices, and signal processing methods, and in particular, it is possible to obtain highly accurate 3D (Dimensional) information in real time by using, for example, a surgical field image obtained by capturing a surgical field.
  • 3D Three Dimensional
  • Patent Document 1 For medical systems that perform surgery using an endoscope or microscope, a technique for improving the efficiency of surgery using 3D information has been proposed (see, for example, Patent Document 1).
  • This technology was made in view of such a situation, and makes it possible to obtain high-precision 3D information in real time using surgical field images.
  • the medical system of the present technology uses the imaging unit that captures the surgical field and outputs the surgical field image, and the first algorithm that generates 3D information of the surgical field using the surgical field image.
  • a medical system including a generation unit and a second generation unit that generates 3D information of the region of interest by a second algorithm different from the first algorithm when a region of interest is set in the surgical field image. is there.
  • the first generation unit that generates 3D information of the surgical field by the first algorithm using the surgical field image obtained by capturing the surgical field, and the surgical field image have a region of interest.
  • it is a signal processing device including a second generation unit that generates 3D information of the region of interest by a second algorithm different from the first algorithm.
  • the signal processing method of the present technology is to generate 3D information of the surgical field by the first algorithm using the surgical field image obtained by capturing the surgical field, and when a region of interest is set in the surgical field image.
  • a signal processing method including generating 3D information of the region of interest by a second algorithm different from the first algorithm.
  • 3D information of the surgical field is generated by the first algorithm using the surgical field image obtained by capturing the surgical field.
  • 3D information of the region of interest is generated by a second algorithm different from the first algorithm.
  • the signal processing device may be an independent device or an internal block constituting one device.
  • the signal processing device can be realized by causing a computer to execute a program.
  • the program can be distributed by recording on a recording medium or by transmitting via a transmission medium.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a medical system to which the present technology is applied.
  • the medical system of FIG. 1 shows, for example, a configuration example of an endoscopic surgery system used in abdominal endoscopic surgery. This technique can be applied not only to endoscopic surgery systems but also to medical systems using microscopes.
  • troca 25a and 25b as laparotomy instruments are attached to the abdominal wall at several places.
  • a laparoscope (hereinafter, also referred to as an endoscope) 11 as an observation medical device for observing the inside of the patient U, an energy treatment tool 22, a forceps 23, and the like are provided through the holes provided in the troccers 25a and 25b. It is inserted into the body.
  • the surgeon removes the affected area with an energy treatment tool 22 or the like while viewing the image (video) of the affected area (tumor, etc.) in the patient U's body (video) taken by the endoscope 11 in real time. I do.
  • the endoscope 11, the energy treatment tool 22, and the forceps 23 are held by an operator, a robot, or the like.
  • the surgeon refers to a medical worker involved in the surgery performed in the operating room, and the surgeon includes, for example, a surgeon, an assistant, a scopist, a nurse, or a place other than the operating room. Includes doctors and others who are monitoring the surgery.
  • a cart 31 equipped with devices for endoscopic surgery, a patient bed 33 on which patient U lies, a foot switch 35, and the like are arranged.
  • the cart 31 contains, for example, devices such as a camera control unit (CCU) 13, a display device 15, a light source device 17, a treatment tool device 21, a pneumoperitoneum device 24, a recorder 26, and a printer 27 as medical devices. Placed.
  • CCU camera control unit
  • the endoscope 11 has a scope and a camera head.
  • the scope is an optical system that guides the light from the surgical field illuminated by the light source device 17 to the camera head.
  • the camera head is an imaging unit having an optical system, an image sensor, and the like.
  • the endoscope 11 is inserted into the body of the patient U and takes an image (signal) inside the body of the patient U.
  • the image of the affected area taken by the endoscope 11 is transmitted to the CCU 13 via the camera cable connected to the camera head.
  • the CCU 13 may be connected to the endoscope 11 via a camera cable, or may be connected to the endoscope 11 via a wireless communication path.
  • the CCU 13 performs signal processing on the image output (transmitted) from the endoscope 11, and outputs the image after the signal processing to the display device 15. With such a configuration, a surgical field image showing the affected area is displayed on the display device 15.
  • the scope may be a hard type or a soft type.
  • the CCU 13 may have the recorder 26 record the surgical field image by outputting the image after signal processing to the recorder 26. Further, the CCU 13 may have the printer 27 print the surgical field image by outputting the image after the signal processing to the printer 27.
  • the light source device 17 generates light of various wavelengths.
  • the light source device 17 is connected to the endoscope 11 via a light guide cable, and the light generated by the light source device 17 is emitted from the endoscope 11 to the affected portion.
  • the light generated by the light source device 17 may be used as auxiliary light, for example.
  • the treatment tool device 21 is, for example, a high-frequency output device that outputs a high-frequency current to the energy treatment tool 22 that cuts the affected area by using electric heat.
  • the pneumoperitoneum device 24 includes air supply and intake means, and supplies air to the body of the patient U, for example, the abdominal region.
  • the foot switch 35 outputs a predetermined trigger signal to the CCU 13, the treatment tool device 21, or the like in response to the operator's foot operation.
  • FIG. 2 is a diagram for explaining the outline of SLAM.
  • SLAM generates a 3D map of the surrounding environment from only the image from the image pickup unit or from the image and sensor information other than the image, and estimates the self-position (and posture) based on the image pickup unit in the 3D map. It is a technology that is performed in real time.
  • SLAM is used to capture a 3D map of the surgical field including the surgical site (affected area) and the relative position of the endoscope 11 with respect to the surgical site (for example, imaging of the endoscope 11).
  • Surgical support can be provided by acquiring the position of the portion or the position of the tip of the scope of the endoscope 11.
  • the instructor instructs the surgeon during the operation on the surgical field image with a GUI (Graphical User Interface) to indicate the excision site, etc., or the surgical field image is taken before the operation by CT ( Computed Tomography)
  • CT Computed Tomography
  • the scope information (for example, the length information from the imaging unit to the tip of the scope and the shape information of the scope). It is preferable that the self-position is the tip of the scope based on the above.
  • the scope information may be acquired by the CCU 13 as electrical information from the scope, or the CCU 13 estimates the type of the scope from the characteristics of the surgical field image, and the information associated with the scope estimated from the information stored in advance. May be read. Further, a point at a predetermined distance from the imaging unit or a point on the optical axis of the endoscope 11 may be set as the self-position.
  • this medical system is applied to a microscope having an imaging unit, the relative position of the microscope (for example, the tip of the imaging unit of the microscope or the support portion that supports the imaging unit) is acquired.
  • SLAM for example, feature points such as edges are detected from images taken by a moving imaging unit, and the corresponding feature points appearing in the images taken at different times t1 and t2 correspond to each other as corresponding points. Can be attached. Furthermore, in SLAM, the coordinates of the corresponding points in the 3D space are obtained, and the 3D shape of the subject, and eventually the imaging unit, takes a picture as a set (point cloud) of points represented by the coordinates of the 3D space of many corresponding points. A 3D map of 3D space is generated. Further, in SLAM, the self-position of the imaging unit is estimated by, for example, solving simultaneous equations based on the coordinates of the feature points.
  • SLAM that uses the image taken by the imaging unit is called Visual SLAM.
  • SLAM is described in, for example, Andrew J. Davison, “Real-Time Simultaneous Localization and Mapping with a Single Camera”, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410. ..
  • FIG. 3 is a diagram illustrating an example of surgical support using SLAM.
  • the instructor gives an annotation on the surgical field image to instruct the excision site, etc. for instructing the surgeon according to the operation of the instructor. It can be drawn at the desired position.
  • the annotation is displayed on the surgical field image. It can be displayed following the position instructed by the instructor.
  • FIG. 4 is a block diagram showing a first configuration example of the endoscope 11 and the CCU 13 of FIG.
  • a 3D map used in an application such as drawing an annotation as described in FIG. 3 is desirable to have high accuracy from the viewpoint of safety.
  • Multi-view stereo As an algorithm (calculation model) that generates a dense (point cloud) and high-precision 3D map using multi-viewpoint images.
  • SfM Structure from Motion
  • Multi-view stereo for example, Multi-View Stereo: A tutorial. Foundations and. TrendsR in Computer Graphics and Vision, vol. 9, no. 1-2, 2013, pp.1-148, Evaluation of multi- It is described in view 3D reconstruction software, CAIP 2015: Computer Analysis of Images and Patterns, pp.450-461.
  • Multi-view stereo it is possible to generate dense and highly accurate 3D maps.
  • Multi-view stereo is not suitable for applications that require real-time self-position estimation and 3D map generation (update) because of its high computational load and long processing time.
  • a 3D map (3D information) of the surgical field is used as the first algorithm, for example, by Visual SLAM, using the surgical field image obtained by capturing the surgical field (the range to be) with the endoscope 11.
  • Generation and self-position estimation are performed in real time.
  • a 3D map of the region of interest is generated by a second algorithm different from the first algorithm, for example, Multi-view stereo.
  • the endoscope 11 has an imaging unit 101, and the CCU 13 includes a scene detection unit 102, a frame storage unit 103, an attention area setting unit 104, a normal map generation unit 105, a high-precision map generation unit 106, and an operation. It has a front information storage unit 107 and a display image generation unit 108.
  • the imaging unit 101 photographs the surgical field by receiving visible light from the surgical field, and outputs an RGB (Red, Green, Blue) image obtained by the photographing as a surgical field image.
  • the surgical field image output by the imaging unit 101 is supplied to the scene detection unit 102 and the normal map generation unit 105. Further, the surgical field image output by the imaging unit 101 is normally supplied to the display image generation unit 108 via the map generation unit 105.
  • the scene detection unit 102 detects an obstacle scene as a specific scene, for example, an obstacle to the generation of a 3D map, for each frame of the surgical field image from the imaging unit 101.
  • an obstacle scene for example, there is a scene where there is bleeding, smoking, whiteout, or the like.
  • the scene detection unit 102 limits the output of the frame of the surgical field image in which the obstacle scene is reflected to the frame storage unit 103. Therefore, the scene detection unit 102 does not output the frame of the surgical field image in which the obstacle scene is displayed to the frame storage unit 103.
  • the scene detection unit 102 outputs the frame of the surgical field image to the frame storage unit 103.
  • a method of detecting a bleeding scene as a disorder scene for example, there is a method of identifying a bleeding area only from an image by an image recognition technique or the like.
  • a method of detecting a smoke scene as an obstacle scene for example, there is a method of detecting a cautery scene by an image recognition technology or the like.
  • an overexposed scene as an obstacle scene for example, there is a method of detecting a scene where overexposure occurs or where overexposure is likely to occur by image recognition technology or the like.
  • the frame storage unit 103 selects and stores a frame used for generating a high-precision map as a key frame from the frames of the surgical field image output by the scene detection unit 102.
  • the frame of the surgical field image in which the obstacle scene is reflected is not output to the frame storage unit 103. Therefore, in the frame storage unit 103, among the frames of the surgical field image output by the imaging unit 101, the frames excluding the frame (specific frame) in which the obstacle scene is reflected, that is, the frame of the surgical field image in which the obstacle scene is not displayed.
  • the selected frame is stored as a keyframe.
  • the high-precision map generation unit 106 the keyframe of the surgical field image stored in the frame storage unit 103 is used, and as a second algorithm, for example, Multi-view.
  • a high-precision map which is a high-precision (and dense) 3D map, is generated by SfM such as stereo.
  • the high-precision map generation unit 106 in order to efficiently generate a high-precision map by Multi-view stereo, it is desirable that more images (frames) from different viewpoints exist as keyframes.
  • the frame storage unit 103 determines the viewpoint (position) of the imaging unit 101 based on the trajectory of the imaging unit 101 of the endoscope 11 whose self-position is estimated by the map generation unit 105 and the change in the number of feature points in the surgical field. ) Is detected. Then, the frame storage unit 103 selects and stores keyframes such as an interval for selecting keyframes from the frames of the surgical field image output by the scene detection unit 102 according to the change in the viewpoint of the imaging unit 101. To switch.
  • the frame storage unit 103 performs threshold processing on the amount of change in the viewpoint of the imaging unit 101 so that the viewpoint of the imaging unit 101 is in a steady (almost stopped) state or moves. Judge whether it is in the state of being.
  • the frame storage unit 103 selects the latest frame output by the scene detection unit 102 as a key frame, and selects the key frame as a frame stored as a key frame in the past, for example, a frame stored as a key frame immediately before. Memorize by overwriting.
  • the frame storage unit 103 selects and stores the frame output by the scene detection unit 102 as a key frame.
  • the frame storage unit 103 can switch the frequency of keyframe selection according to the change in the viewpoint of the imaging unit 101.
  • the maximum number of frames to be stored as key frames can be determined in advance.
  • the new keyframe is stored by overwriting the oldest keyframe.
  • the attention area setting unit 104 sets the attention area in (the frame) of the surgical field image.
  • a part of the frame of the surgical field image can be set as the region of interest, or the entire area of the frame of the surgical field image can be set as the region of interest.
  • the high-precision map generation unit 106 generates a high-precision map by Multi-view stereo.
  • Multi-view stereo it is possible to generate a high-precision map, which is a high-precision (and dense) 3D map.
  • Multi-view stereo has a high calculation load and takes a long processing time, if the entire frame is targeted by Multi-view stereo, real-time performance is hindered.
  • an extremely high-speed device is required as the CCU 13, which increases the cost of the medical system.
  • the attention area setting unit 104 even if the Multi-view stereo is executed for a long time, a part of the operative field image within the size that does not hinder the real-time property can be set as the attention area. Further, in the attention area setting unit 104, the entire area of the frame of the surgical field image can be set as a target of the multi-view stereo within a short time (for example, several seconds) that does not impair the real-time property. The entire area of the frame can be set as the area of interest.
  • the attention area setting unit 104 only the operation part (the area in which the operation target is reflected) to be operated on can be set as the attention area in the surgical field image. Further, for example, in the attention area setting unit 104, the entire area of the frame of the surgical field image is set as the attention area in a short-time scene such as a few seconds when the organ is cut out by the electric knife as the energy treatment tool 22. Can be done.
  • the attention area setting unit 104 can set the area required to be high-definition or the area estimated to be high-definition in the surgical field image as the area of interest.
  • the area of interest can be set, for example, according to the designation of the surgeon.
  • the operator can set the enclosed area as the area of interest by operating the UI (User Interface).
  • the surgical field image displayed on the display device 15 is divided into a plurality of divided areas in advance, and the user specifies the divided area according to a voice (for example, "upper right" or "lower left”).
  • the divided area designated by voice can be set as the area of interest.
  • the line of sight of the operator who sees the surgical field image displayed on the display device 15 is detected, and the area including the position of interest of the operator estimated from the line of sight is set as the area of interest. Can be done.
  • the area of interest can be set according to, for example, information obtained before surgery or information obtained during surgery.
  • an object specified in advance can be recognized by object recognition using information obtained before surgery or information obtained during surgery, and a region of interest can be set using the recognition result of the object. ..
  • a lesion site or a site to be operated on is specified in advance, and a normal map obtained by the normal map generation unit 105 or a high-precision display image generation unit 108 can be obtained.
  • a normal map in which maps are integrated an area in which a predetermined portion and a shape are matched (an area in which a predetermined portion is reflected) can be set as a region of interest.
  • the area of interest can be set according to the designation from a predetermined robot.
  • the area designated by the scope holder robot can be set as the area of interest. ..
  • the normal map generation unit 105 uses the surgical field image output by the imaging unit 101 to target the entire range reflected in the surgical field image, and uses SLAM such as Visual SLAM as the first algorithm to create a 3D map. Is generated and self-position estimation is performed.
  • SLAM such as Visual SLAM
  • the first algorithm is Visual-SLAM, which uses only images for 3D map generation and self-position estimation, and real-time performance, regardless of the degree of accuracy (and sparseness) of the points that make up the 3D map. It is possible to adopt a 3D map generation algorithm that can be secured.
  • the first algorithm it is possible to adopt an algorithm that only generates a 3D map without performing self-position estimation.
  • an algorithm that only generates a 3D map is adopted as the first algorithm, it is necessary to separately estimate the self-position.
  • a 3D map is generated using an image and depth information output by a ToF sensor, Lidar, or the like.
  • the algorithm to be used can be adopted.
  • the 3D map generated by the normal map generation unit 105 in real time by the first algorithm is also referred to as a normal map.
  • the normal map is a 3D map for recognizing the relative positional relationship between the 3D space captured by the imaging unit 101 and the self-position based on the imaging unit 101.
  • the high-precision map generation unit 106 uses the key frame of the surgical field image stored in the frame storage unit 103 to target the attention area, and secondly As an algorithm of, for example, SfM such as Multi-view stereo is used to generate a 3D map, that is, to recognize the 3D shape of an object reflected in the region of interest.
  • SfM such as Multi-view stereo
  • a 3D map generation algorithm that can generate a 3D map with higher accuracy than a normal map can be adopted. Since the 3D map generated by the second algorithm is more accurate than the normal map generated by the first algorithm, the second algorithm has a high calculation load and requires a processing time. Conversely, as the first algorithm, an algorithm with a smaller amount of calculation than the second algorithm is adopted so as to ensure real-time performance.
  • a normal map is generated for the entire range (surgical field) reflected in the surgical field image
  • a 3D map is generated for only the region of interest.
  • the second algorithm an algorithm that does not perform self-position estimation can be adopted.
  • the second algorithm may be an algorithm that estimates the self-position.
  • the 3D map with higher accuracy than the normal map generated by the high-precision map generation unit 106 by the second algorithm is also referred to as a high-precision map.
  • the high-precision map expresses the 3D shape of the area of interest with higher definition than the normal map.
  • Visual SLAM as the first algorithm can generate a 3D map (normal map) at a high frame rate, although the accuracy is lower than that of the second algorithm.
  • Multi-view stereo as the second algorithm, it is difficult to generate a 3D map (high-precision map) at a high frame rate, but it is possible to generate a high-precision 3D map.
  • the preoperative information storage unit 107 stores preoperative information obtained before surgery.
  • the preoperative information is, for example, a 3D model constructed from CT images taken before surgery.
  • the display image generation unit 108 functions as an integration unit that integrates the (sparse) normal map generated by the normal map generation unit 105 with the (dense) high-precision map generated by the high-precision map generation unit 106.
  • the display image generation unit 108 that functions as an integration unit aligns the high-precision map (area of interest) with respect to the normal map, and integrates the high-precision map after the alignment into the normal map.
  • a registration method such as Iterative closest point (ICP) can be adopted.
  • the display image generation unit 108 deletes the high-precision map of the past attention area integrated with the normal map.
  • the high-precision map of the new area of interest newly generated by the high-precision map generation unit 106 is integrated with the deleted normal map.
  • the display image generation unit 108 includes a normal map after integration that integrates a high-precision map, and preoperative information stored in the preoperative information storage unit 107, if necessary. Is used to generate a display image to be displayed on the display device 15 and supply the display image to the display device 15.
  • the display image generation unit 108 identifies a position in the 3D space in which the operator has instructed to display the annotation by using a normal map, and displays the surgical field image on which the annotation is drawn at that position. It can be generated as an image.
  • FIG. 5 is a flowchart illustrating a first example of generating a normal map and a high-precision map by the CCU 13.
  • step S11 the CCU 13 acquires a frame of the surgical field image sequentially output by the imaging unit 101.
  • the frame of the surgical field image output by the imaging unit 101 is stored in the frame storage unit 103 as a key frame, if necessary, and the process proceeds from step S11 to step S12.
  • step S12 in the CCU 13, the high-precision map generation unit 106 determines whether or not the attention area has been set by the attention area setting unit 104.
  • step S12 If it is determined in step S12 that the region of interest is not set, the process proceeds to step S13.
  • step S13 the normal map generation unit 105 uses the frame of the surgical field image output by the imaging unit 101 to generate (and update) the normal map by Visual SLAM as the first algorithm, and the imaging unit 101 self. Position estimation is performed, and the process proceeds to step S14.
  • step S14 the display image generation unit 108 generates a display image using the latest normal map as needed, and the process proceeds to step S15.
  • step S15 the display image generation unit 108 causes the display device 15 to display the display image.
  • step S12 determines that the region of interest has been set. If it is determined in step S12 that the region of interest has been set, the process proceeds to step S16.
  • step S16 the high-precision map generation unit 106 generates a high-precision map by Multi-view stereo as a second calculation algorithm only for the region of interest, and the process proceeds to step S17.
  • step S17 the display image generation unit 108 integrates the latest high-precision map with the latest normal map. Then, the process proceeds from step S17 to step S14, and the above-mentioned process is performed below.
  • the normal map is generated when the attention area is not set, and the normal map is not generated when the attention area is set.
  • a high-precision map of only the area of interest is generated.
  • FIG. 6 is a flowchart illustrating a second example of generating a normal map and a high-precision map by the CCU 13.
  • step S21 the CCU 13 acquires a frame of the surgical field image output by the imaging unit 101 as in step S11 of FIG. 5, and stores it in the frame storage unit 103 as a key frame as needed. Then, the process proceeds in parallel from step S21 to step S22 and step S31.
  • step S22 as in step S13 of FIG. 5, the normal map generation unit 105 uses the frame of the surgical field image output by the imaging unit 101 to generate a normal map by Visual SLAM as the first algorithm.
  • the self-position estimation of the imaging unit 101 is performed, and the process proceeds to step S23.
  • step S23 the display image generation unit 108 generates a display image using the latest normal map as needed, as in step S14 of FIG. 5, and the process proceeds to step S24.
  • step S24 the display image generation unit 108 causes the display device 15 to display the display image in the same manner as in step S15 of FIG.
  • step S31 in CCU 13, the high-precision map generation unit 106 determines whether or not the attention area has been set by the attention area setting unit 104, as in step S12 of FIG.
  • step S31 If it is determined in step S31 that the region of interest is not set, the process skips steps S32 and S33 and proceeds to step S23.
  • step S31 If it is determined in step S31 that the region of interest has been set, the process proceeds to step S32.
  • step S32 the high-precision map generation unit 106 generates a high-precision map by Multi-view stereo as the second calculation algorithm only for the region of interest, as in step S16 of FIG. 5, and the process is a step. Proceed to S33.
  • step S33 the display image generation unit 108 integrates the latest high-precision map into the latest normal map, as in step S17 of FIG. Then, the process proceeds from step S33 to step S23, and the above-mentioned process is performed below.
  • the normal map is always generated regardless of whether or not the region of interest is set.
  • the high-precision map is generated only when the region of interest is set, and only for that region of interest.
  • FIG. 7 is a flowchart illustrating an example of signal processing performed by the CCU 13 of FIG.
  • step S51 the normal map generation unit 105 uses the surgical field image output by the imaging unit 101 to generate a normal map and estimate its own position in real time by the first algorithm, which requires less calculation by the second algorithm. Is performed, and the process proceeds to step S52.
  • step S52 the normal map generation unit 105 updates the normal map with the normal map generated in the immediately preceding step S51, and the process proceeds to step S53.
  • step S53 the scene detection unit 102 determines whether or not the (latest) frame of the surgical field image output by the imaging unit 101 is an obstacle frame in which the obstacle scene is reflected.
  • step S53 If it is determined in step S53 that the frame of the surgical field image output by the imaging unit 101 is not an obstacle frame, the process proceeds to step S54.
  • step S54 the frame storage unit 103 stores a frame of the surgical field image that is not an obstacle frame as a key frame, if necessary, and the process proceeds to step S55.
  • step S53 if it is determined in step S53 that the frame of the surgical field image output by the imaging unit 101 is an obstacle frame, the process skips step S54 and proceeds to step S55. Therefore, here, the fault frame is not stored in the frame storage unit 103.
  • step S55 the high-precision map generation unit 106 determines whether or not the attention area has been set in the attention area setting unit 104.
  • step S55 If it is determined in step S55 that the region of interest is not set, the process skips steps S56 to S59 and proceeds to step S60.
  • step S55 If it is determined in step S55 that the region of interest has been set, the process proceeds to step S56.
  • step S56 the display image generation unit 108 determines whether (a part or all) of the new attention area determined to be set in the immediately preceding step S55 overlaps with the past attention area.
  • step S56 If it is determined in step S56 that the new attention area does not overlap with the past attention area, the process skips step S57 and proceeds to step S58.
  • step S56 If it is determined in step S56 that the new area of interest overlaps with the area of interest in the past, the process proceeds to step S57.
  • step S57 the display image generation unit 108 deletes the high-precision map of the past area of interest integrated into the normal map, and the process proceeds to step S58.
  • step S58 the high-precision map generation unit 106 uses the keyframes stored in the frame storage unit 103 to obtain a high-precision map only for a new region of interest by the second algorithm with high precision by the first algorithm. The generation is performed, and the process proceeds to step S59.
  • step S59 the high-precision map is integrated into the normal map, and the process proceeds to step S60.
  • step S60 the CCU 13 determines whether or not to end the signal processing, and if it determines that the signal processing is not completed, the processing returns to step S51, and the same processing is repeated thereafter.
  • step S60 when it is determined to end the signal processing, that is, when the medical system is operated so that the operator ends the signal processing, the CCU 13 ends the signal processing.
  • FIG. 8 is a block diagram showing a second configuration example of the endoscope 11 and the CCU 13 of FIG.
  • the endoscope 11 has an imaging unit 101 and a sub-sensor 121. Therefore, the endoscope 11 of FIG. 8 is common to the case of FIG. 4 in that it has an imaging unit 101. However, the endoscope 11 of FIG. 8 is different from the case of FIG. 4 in that the sub sensor 121 is newly provided.
  • the CCU 13 includes a frame storage unit 103, a region of interest setting unit 104, a normal map generation unit 105, a high-precision map generation unit 106, a preoperative information storage unit 107, a display image generation unit 108, and a scene detection. It has a part 131. Therefore, the CCU 13 of FIG. 8 is common to the case of FIG. 4 in that it has a frame storage unit 103 to a display image generation unit 108. However, the CCU 13 of FIG. 8 is different from the case of FIG. 4 in that a scene detection unit 131 is provided instead of the scene detection unit 102.
  • Visual SLAM as the first algorithm cannot detect sufficient feature points for the subject, and it is usually difficult to generate a map and estimate the self-position. become. In addition, it becomes difficult to generate the original 3D map for the part where blood adheres or the part hidden by smoke.
  • the endoscope 11 is suitable for sensing an obstacle scene, apart from the imaging unit 101 as a sensor that senses (receives light) visible light and outputs an RGB surgical field image as the sensing result.
  • a sub-sensor 121 that performs sensing under the same sensing conditions is provided.
  • the scene detection unit 131 selects the surgical field image output by the imaging unit 101 or the sensing result output by the sub sensor 121 depending on whether or not it is an obstacle scene, and outputs it to the frame storage unit 103. ..
  • the sub-sensor 121 is, for example, a sensor that senses light having a wavelength other than visible light, and outputs a sub-sensor image obtained by the sensing as a sensing result.
  • the shooting method and lighting method when shooting the sub-sensor image with the sub-sensor 121 can be appropriately selected.
  • a camera imaging unit
  • a sensor capable of performing transmission observation by IR (Infrared), NBI (Narrow Band Imaging), etc.
  • IR Infrared
  • NBI Near Band Imaging
  • a sub-sensor image can be taken by transmission observation using a special light observation technique that illuminates a subject with special light.
  • a camera equipped with a polarizing filter such as a PL (Polarized Light) filter or ND (Neutral Density) filter is used as the subsensor 121 to capture a subsensor image in which overexposure is suppressed. Can be done.
  • a polarizing filter such as a PL (Polarized Light) filter or ND (Neutral Density) filter
  • the scene detection unit 131 detects an obstacle scene for each frame of the surgical field image from the imaging unit 101.
  • the scene detection unit 131 When the obstacle scene is not detected, the scene detection unit 131 outputs a frame of the surgical field image (the obstacle scene is not shown) to the frame storage unit 103 in the same manner as the scene detection unit 102.
  • the scene detection unit 131 outputs the frame of the sub-sensor image output by the sub-sensor 121 to the frame storage unit 103 for the frame in which the failure scene is displayed.
  • the frame storage unit 103 the frame of the sub-sensor image output by the sub-sensor 121 can be stored as a key frame for the frame in which the failure scene is displayed.
  • the high-precision map generation unit 106 can stably generate a high-precision map of the region of interest even for an obstacle scene.
  • the normal map generation unit 105 can generate a normal map and estimate its own position by always using the RGB surgical field image output by the imaging unit 101 regardless of whether or not it is an obstacle scene. Further, the normal map generation unit 105 generates a normal map and estimates the self-position using the RGB surgical field image output by the imaging unit 101 when it is not an obstacle scene, and when it is an obstacle scene, it generates a normal map and estimates the self-position. Using the sub-sensor image output by the sub-sensor 121, it is possible to generate a normal map and estimate the self-position.
  • FIG. 9 is a flowchart illustrating an example of signal processing performed by the CCU 13 of FIG.
  • steps S71 to S74 the same processing as in steps S51 to S54 of FIG. 7 is performed, respectively.
  • step S73 corresponding to step S53 of FIG. 7, if the frame of the surgical field image output by the imaging unit 101 is determined to be an obstacle frame, the process proceeds to step S91.
  • step S91 the frame storage unit 103 stores, if necessary, the frame of the sub-sensor image output by the sub-sensor 121 as a key frame for the obstacle frame in which the obstacle scene is reflected in the surgical field image output by the imaging unit 101.
  • the process proceeds to step S75.
  • steps S75 to S80 the same processing as in steps S55 to S60 of FIG. 7 is performed.
  • the entire frame in which the obstacle scene is displayed can be set as the area of interest.
  • the obstacle scene is short, it is possible to generate a high-precision map that accurately expresses the part that is difficult to see in the RGB surgical field image due to the obstacle while maintaining the real-time property.
  • the first A second algorithm which is different from the algorithm of, generates a high-precision map as a 3D map of the region of interest. Therefore, for example, as the first algorithm, a 3D map with a small amount of calculation and real-time performance can be generated. Attention is paid to the real-time property of 3D map generation (and self-position estimation) by adopting an algorithm and a generation algorithm that can generate a highly accurate 3D map as the second algorithm. For regions, it is possible to generate a highly accurate 3D map. As a result, it is possible to provide the operator with accurate and stable information as the information obtained by using the 3D map.
  • the area of interest can be a scene such as a bleeding scene or a smoke scene that has an obstacle in generating a 3D map using an RGB surgical field image. Even if it is included, a highly accurate 3D map can be generated for the area of interest.
  • the series of processes of the CCU 13 described above can be performed by hardware or software.
  • the programs constituting the software are installed on a general-purpose computer or the like.
  • FIG. 10 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 905 or ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 905. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 902, and the input / output interface 910 is connected to the CPU 902 via the bus 901.
  • CPU Central Processing Unit
  • the CPU 902 executes a program stored in the ROM (Read Only Memory) 903 accordingly. .. Alternatively, the CPU 902 loads the program stored in the hard disk 905 into the RAM (Random Access Memory) 904 and executes it.
  • ROM Read Only Memory
  • the CPU 902 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 902 outputs the processing result from the output unit 906 or transmits it from the communication unit 908, and further records it on the hard disk 905, if necessary, via the input / output interface 910.
  • the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 906 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • ⁇ 1> An imaging unit that captures the surgical field and outputs the surgical field image, Using the surgical field image, a first generation unit that generates 3D information of the surgical field by the first algorithm, and A medical system including a second generation unit that generates 3D information of the region of interest by a second algorithm different from the first algorithm when a region of interest is set in the surgical field image.
  • the second algorithm is an algorithm that generates 3D information with higher accuracy than the first algorithm.
  • ⁇ 3> The medical system according to ⁇ 1> or ⁇ 2>, further comprising an integration unit that integrates the 3D information generated by the second algorithm into the 3D information generated by the first algorithm.
  • the integration unit aligns the 3D information generated by the second algorithm with respect to the 3D information generated by the first algorithm, and obtains the 3D information generated by the second algorithm.
  • the medical system according to ⁇ 3> which integrates into the 3D information generated by the first algorithm.
  • the integration unit deletes the past 3D information of the attention area integrated with the 3D information generated by the first algorithm, and newly generates the integration unit.
  • the medical system according to ⁇ 3> or ⁇ 4> which integrates the 3D information of the region of interest.
  • ⁇ 6> The medical system according to any one of ⁇ 1> to ⁇ 5>, wherein the first algorithm is an algorithm that generates 3D information and estimates a self-position based on the imaging unit.
  • the first algorithm is Visual-SLAM.
  • the second algorithm is an algorithm that does not perform self-position estimation.
  • the second algorithm is a multi-view stereo.
  • ⁇ 10> The medical system according to any one of ⁇ 1> to ⁇ 9>, wherein the first algorithm is an algorithm having a smaller amount of calculation than the second algorithm.
  • the second generation unit generates 3D information by the second algorithm using keyframes selected from the frames of the surgical field image output by the imaging unit ⁇ 1> to ⁇ 10>.
  • ⁇ 12> A scene detection unit that detects a specific frame in which a specific scene appears from the frame of the surgical field image is further provided.
  • the second generation unit generates 3D information by the second algorithm using the key frame selected from the frames other than the specific frame among the frames of the surgical field image ⁇ 11>.
  • ⁇ 13> The medical system according to ⁇ 11> or ⁇ 12>, wherein the frequency of selection of the key frame is switched according to a change in the position of the imaging unit.
  • ⁇ 14> The medical system according to any one of ⁇ 1> to ⁇ 13>, further comprising a region of interest setting unit for setting the region of interest.
  • ⁇ 15> The medical system according to ⁇ 14>, wherein the attention area setting unit sets the attention area according to a designation from a user.
  • ⁇ 16> The medical system according to ⁇ 14> or ⁇ 15>, wherein the attention area setting unit sets the attention area according to the output of a predetermined robot.
  • ⁇ 17> The medical system according to any one of ⁇ 14> to ⁇ 16>, wherein the attention area setting unit sets a region in which a predetermined portion is reflected, and sets the attention area.
  • a first generation unit that generates 3D information of the surgical field by the first algorithm using the surgical field image obtained by capturing the surgical field
  • a signal processing device including a second generation unit that generates 3D information of the region of interest by a second algorithm different from the first algorithm when a region of interest is set in the surgical field image.
  • the 3D information of the surgical field is generated by the first algorithm, and A signal processing method including generating 3D information of the region of interest by a second algorithm different from the first algorithm when a region of interest is set in the surgical field image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本技術は、リアルタイムで高精度の3D情報を得ることができるようにする医療システム、信号処理装置、及び、信号処理方法に関する。 術野を撮影した術野画像を用いて、第１のアルゴリズムにより、術野の3D情報が生成される。術野画像に注目領域が設定された場合、第１のアルゴリズムと異なる第２のアルゴリズムにより、注目領域の3D情報が生成される。

Description

医療システム、信号処理装置、及び、信号処理方法
　本技術は、医療システム、信号処理装置、及び、信号処理方法に関し、特に、例えば、術野を撮影した術野画像を用いて、リアルタイムで高精度の3D(Dimensional)情報を得ることができるようにする医療システム、信号処理装置、及び、信号処理方法に関する。
　内視鏡や顕微鏡を用いて手術等を行う医療システムについて、3D情報を利用して、手術の効率を向上させる技術が提案されている（例えば、特許文献１を参照）。
国際公開第2016/098665号
　内視鏡や顕微鏡を用いた医療システムにおいて、術野を撮影した術野画像に映る臓器には、血管等の細かい凹凸が存在する。手術では、そのような細かい凹凸が重要な場合がある。
　しかしながら、細かい凹凸を高精度及び高密度に表現する3D情報を生成するアルゴリズムについては、計算量が大であり、常時、リアルタイムで、3D情報を生成することは難しい。
　本技術は、このような状況に鑑みてなされたものであり、術野画像を用いて、リアルタイムで高精度の3D情報を得ることができるようにするものである。
　本技術の医療システムは、術野を撮影して、術野画像を出力する撮像部と、前記術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部とを備える医療システムである。
　本技術の信号処理装置は、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部とを備える信号処理装置である。
　本技術の信号処理方法は、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成することと、前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成することとを含む信号処理方法である。
　本技術においては、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報が生成される。前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報が生成される。
　なお、信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、信号処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより頒布することができる。
本技術を適用した医療システムの一実施の形態の構成例を示すブロック図である。 SLAMの概要を説明する図である。 SLAMを用いた手術支援の例を説明する図である。 内視鏡１１及びCCU１３の第１の構成例を示すブロック図である。 CCU１３による通常マップ及び高精度マップの生成の第１の例を説明するフローチャートである。 CCU１３による通常マップ及び高精度マップの生成の第２の例を説明するフローチャートである。 CCU１３が行う信号処理の例を説明するフローチャートである。 内視鏡１１及びCCU１３の第２の構成例を示すブロック図である。 CCU１３が行う信号処理の例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜本技術を適用した医療システムの一実施の形態＞
　図１は、本技術を適用した医療システムの一実施の形態の構成例を示すブロック図である。
　図１の医療システムは、例えば、腹部の内視鏡外科手術において用いられる内視鏡手術システムの構成例を示している。なお、本技術は、内視鏡手術システムの他、顕微鏡を用いる医療システムにも適用することができる。
　図１の医療システムでは、腹部等の内視鏡外科手術において、腹壁を切って開腹する代わりに、開孔器具としてのトロッカ２５ａ，２５ｂが、腹壁に数か所取り付けられる。そして、トロッカ２５ａ，２５ｂに設けられている孔から、患者Ｕの体内を観察する観察用医療機器としての腹腔鏡（以下、内視鏡ともいう）１１や、エネルギ処置具２２、鉗子２３等が体内に挿入される。
　術者は、内視鏡１１によって（ビデオ）撮影された患者Ｕの体内にある患部（腫瘍など）の画像（動画）をリアルタイムに見ながら、エネルギ処置具２２等によって患部を切除する等の処置を行う。内視鏡１１や、エネルギ処置具２２、鉗子２３は、術者又はロボット等により保持される。なお、術者とは、手術室で行われる手術に関わっている医療従事者をいい、術者には、例えば手術の執刀医、助手、スコピスト、看護師の他、手術室とは別の場所からその手術をモニタしている医者等が含まれる。
　このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート３１、患者Ｕが横たわる患者ベッド３３、フットスイッチ３５等が配置される。カート３１には、医療機器として、例えば、カメラコントロールユニット(CCU)１３、表示装置１５、光源装置１７、処置具用装置２１、気腹装置２４、レコーダ２６、及びプリンタ２７等の装置類が載置される。
　内視鏡１１は、スコープとカメラヘッドを有する。スコープは、光源装置１７が照らした術野からの光をカメラヘッドに導光する光学系である。カメラヘッドは、光学系及びイメージセンサ等を有する撮像部である。内視鏡１１は、患者Ｕの体内に挿入され、患者Ｕの体内の画像（信号）を撮影する。内視鏡１１で撮影された患部の画像は、カメラヘッドに接続されたカメラケーブルを介してCCU１３に伝送される。CCU１３は、カメラケーブルを介して内視鏡１１に接続される他、無線の通信経路を介して内視鏡１１に接続されてもよい。CCU１３は、内視鏡１１から出力（伝送）される画像に対して信号処理を施し、信号処理後の画像を表示装置１５に出力する。このような構成により、患部が映る術野画像が表示装置１５に表示される。なお、スコープは硬性タイプでもよいし、軟性タイプでもよい。
　なお、CCU１３は、信号処理後の画像をレコーダ２６に出力することで、レコーダ２６に、術野画像を記録させてもよい。また、CCU１３は、信号処理後の画像をプリンタ２７に出力することで、プリンタ２７に、術野画像を印刷させてもよい。
　光源装置１７は、様々な波長の光を発生する。光源装置１７は、ライトガイドケーブルを介して内視鏡１１に接続され、光源装置１７が発生した光は、内視鏡１１から患部に対して照射される。光源装置１７が発生する光は、例えば、補助光として用いられる場合もある。
　処置具用装置２１は、例えば、電気熱を用いて患部を切断するエネルギ処置具２２に対して高周波電流を出力する高周波出力装置である。
　気腹装置２４は、送気、吸気手段を備え、患者Ｕの体内の、例えば腹部領域に空気を送気する。
　フットスイッチ３５は、術者のフット操作に応じて、所定のトリガ信号を、CCU１３や処置具用装置２１等に出力する。
　＜SLAMの概要＞
　図２は、SLAMの概要を説明する図である。
　SLAMは、撮像部からの画像のみ、又は、画像と画像以外のセンサ情報とから、周囲環境の3Dマップの生成と、その3Dマップ中での撮像部に基づく自己位置（及び姿勢）の推定をリアルタイムに行う技術である。
　図１の医療システムは、SLAMによって、術部（患部）を含む術野（となる範囲）の3Dマップと、術部に対する内視鏡１１の相対的な位置（例えば、内視鏡１１の撮像部の位置または内視鏡１１のスコープの先端の位置）を取得することで、手術支援を行うことができる。手術支援としては、例えば、術中に指導医が執刀医に、術野画像上に、GUI(Graphical User Interface)で切除部位等を指示することや、術野画像を、術前に撮影したCT(Computed Tomography)画像と照合して、GUIで、手術のナビゲーションを行うこと等がある。なお、内視鏡１１のスコープの先端を自己位置とする場合は、撮像部の自己位置を推定した後に、スコープの情報（例えば、撮像部からスコープ先端までの長さ情報やスコープの形情報）に基づき、自己位置をスコープ先端とすることが好ましい。このとき、スコープの情報はスコープから電気的情報としてCCU１３が取得してもよいし、CCU１３が術野画像の特徴からスコープの種類を推定して、予め記憶した情報から推定したスコープに紐づく情報を読み出してもよい。また、撮像部から予め定めた距離にある点や内視鏡１１の光軸上の点を自己位置としてもよい。本医療システムを撮像部を有する顕微鏡に適用する場合は、顕微鏡の相対的な位置（例えば、顕微鏡の撮像部または撮像部を支える支持部の先端）を取得する構成とする。
　SLAMでは、例えば、移動する撮像部で撮影された画像から、エッジ等の特徴点が検出され、異なる時刻t1とt2とで撮影された画像それぞれに映る対応する特徴点どうしが、対応点として対応付けられる。さらに、SLAMでは、対応点の3D空間の座標が求められ、多数の対応点の3D空間の座標が表す点の集合（点群）として、被写体の3D形状、ひいては、撮像部が撮影している3D空間の3Dマップが生成される。また、SLAMでは、撮像部の自己位置が、例えば、特徴点の座標に基づく連立方程式を解くことで推定される。
　撮像部で撮影された画像を用いるSLAMは、Visual SLAMと呼ばれる。SLAMについては、例えば、Andrew J. Davison, “Real-Time Simultaneous Localization and Mapping with a Single Camera”, Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410に記載されている。
　＜手術支援の概要＞
　図３は、SLAMを用いた手術支援の例を説明する図である。
　図１の医療システムでは、手術支援として、例えば、指導医の操作に応じて、執刀医への指導をするための、切除部位等を指示するアノテーションを、術野画像上の、指導医が指示した位置に描画することができる。
　そして、図１の医療システムでは、SLAMにおいて得られる3Dマップ及び撮像部に基づく自己位置に応じて、内視鏡１１の位置や姿勢が変化した場合であっても、アノテーションを、術野画像上の、指導医が指示した位置に追従して表示することができる。
　＜内視鏡１１及びCCU１３の第１の構成例＞
　図４は、図１の内視鏡１１及びCCU１３の第１の構成例を示すブロック図である。
　ここで、医療システムにおいて、例えば、図３で説明したようなアノテーションを描画する等のアプリケーションで用いられる3Dマップは、安全性の観点から、高精度であることが望ましい。
　しかしながら、上述したVisual SLAM等のSLAMは、リアルタイム性に優れている反面、3Dマップの点群が疎で、多くの外れ値を含む。
　一方、多視点の画像を用いて、（点群が）密で、高精度の3Dマップを生成するアルゴリズム（計算モデル）として、例えば、Multi-view stereo等のSfM(Structure from Motion)がある。Multi-view stereoについては、例えば、Multi-View Stereo: A Tutorial. Foundations and. TrendsR in Computer Graphics and Vision, vol. 9, no. 1-2, 2013, pp.1-148 や、Evaluation of multi-view 3D reconstruction software, CAIP 2015: Computer Analysis of Images and Patterns, pp.450-461に記載されている。
　Multi-view stereoによれば、密で、高精度の3Dマップを生成することができる。しかしながら、Multi-view stereoは、計算負荷が高く、処理時間がかかるため、リアルタイムでの自己位置推定や3Dマップの生成（更新）が要求される用途には適さない。 
　そこで、CCU１３では、内視鏡１１で術野（となる範囲）を撮影した術野画像を用いて、第１のアルゴリズムとしての、例えば、Visual SLAMにより、術野の3Dマップ（3D情報）の生成及び自己位置推定を、リアルタイムで行う。さらに、CCU１３では、術野画像に注目領域が設定された場合、第１のアルゴリズムと異なる第２のアルゴリズムとしての、例えば、Multi-view stereoにより、注目領域の3Dマップを生成する。これにより、3Dマップの生成及び自己位置推定のリアルタイム性を確保しつつ、注目領域、例えば、術者が必要とする領域については、密で、高精度の3Dマップを提供すること、すなわち、リアルタイム性と3Dマップの高精度との両立を可能とする。
　図４において、内視鏡１１は、撮像部１０１を有し、CCU１３は、シーン検出部１０２、フレーム記憶部１０３、注目領域設定部１０４、通常マップ生成部１０５、高精度マップ生成部１０６、術前情報記憶部１０７、及び、表示画像生成部１０８を有する。
　撮像部１０１は、例えば、術野の可視光線を受光することにより術野を撮影し、その撮影により得られるRGB(Red, Green, Blue)の画像を術野画像として出力する。撮像部１０１が出力する術野画像は、シーン検出部１０２、及び、通常マップ生成部１０５に供給される。さらに、撮像部１０１が出力する術野画像は、通常マップ生成部１０５を介して、表示画像生成部１０８に供給される。
　シーン検出部１０２は、撮像部１０１からの術野画像の各フレームについて、特定のシーンとしての、例えば、3Dマップの生成の障害となる障害シーンを検出する。障害シーンとしては、例えば、出血、発煙、白飛び等があるシーンがある。
　シーン検出部１０２は、障害シーンが検出された場合、その障害シーンが映る術野画像のフレームの、フレーム記憶部１０３への出力を制限する。したがって、シーン検出部１０２からフレーム記憶部１０３に対しては、障害シーンが映る術野画像のフレームは出力されない。
　また、シーン検出部１０２は、障害シーンが検出されなかった場合、術野画像のフレームを、フレーム記憶部１０３に出力する。
　ここで、障害シーンとしての、例えば、出血シーンを検出する方法としては、画像認識技術等によって、画像のみから出血エリアを同定する方法がある。
　障害シーンとしての、例えば、発煙シーンを検出する方法としては、画像認識技術等によって、焼灼シーンを検出する方法がある。
　障害シーンとしての、例えば、白飛びのシーンを検出する方法としては、画像認識技術等によって、白飛びが生じている、又は、白飛びが発生しやすいシーンを検出する方法がある。
　フレーム記憶部１０３は、シーン検出部１０２が出力する術野画像のフレームから、高精度マップの生成に用いるフレームをキーフレームとして選択して記憶する。
　図４では、シーン検出部１０２において、障害シーンが映る術野画像のフレームは、フレーム記憶部１０３に出力されない。したがって、フレーム記憶部１０３では、撮像部１０１が出力する術野画像のフレームのうちの、障害シーンが映るフレーム（特定フレーム）を除くフレーム、すなわち、障害シーンが映っていない術野画像のフレームから選択されたフレームが、キーフレームとして記憶される。
　ここで、図４では、後述するように、高精度マップ生成部１０６において、フレーム記憶部１０３に記憶された術野画像のキーフレームを用いて、第２のアルゴリズムとしての、例えば、Multi-view stereo等のSfMにより、高精度（及び密）の3Dマップである高精度マップが生成される。
　高精度マップ生成部１０６において、Multi-view stereoにより、効率的に、高精度マップを生成するには、より多くの異なる視点の画像（フレーム）が、キーフレームとして存在することが望ましい。
　そこで、フレーム記憶部１０３は、通常マップ生成部１０５によって自己位置が推定される内視鏡１１の撮像部１０１の軌跡や、術野内の特徴点の数の変化によって、撮像部１０１の視点（位置）の変化を検出する。そして、フレーム記憶部１０３は、撮像部１０１の視点の変化に応じて、例えば、シーン検出部１０２が出力する術野画像のフレームからキーフレームを選択する間隔等のキーフレームの選択や記憶の仕方を切り替える。
　例えば、フレーム記憶部１０３は、撮像部１０１の視点の変化の変化量を閾値処理することにより、撮像部１０１の視点が、定常的（ほぼ停止している）な状態であるか、又は、移動している状態であるかを判定する。
　撮像部１０１の視点が定常的な状態である場合、シーン検出部１０２が出力する術野画像のフレームに映るシーンはほとんど変化しない。そこで、フレーム記憶部１０３は、シーン検出部１０２が出力する最新のフレームをキーフレームとして選択し、そのキーフレームを、過去にキーフレームとして記憶したフレーム、例えば、直前にキーフレームとして記憶したフレームに上書きする形で記憶する。
　また、撮像部１０１の視点が移動している状態である場合、術野（となる範囲）が変わることにより、通常マップ生成部１０５で行われるVisual SLAMにおいて新しい特徴点が検出される。そこで、フレーム記憶部１０３は、新しい特徴点が所定数だけ検出されるごとに、シーン検出部１０２が出力するフレームをキーフレームとして選択して記憶する。
　以上のように、フレーム記憶部１０３では、撮像部１０１の視点の変化に応じて、キーフレームの選択の頻度を切り替えることができる。
　なお、フレーム記憶部１０３において、キーフレームとして記憶するフレームの最大枚数は、あらかじめ決めておくことができる。フレーム記憶部１０３において、最大枚数のキーフレームが記憶された場合、新たなキーフレームは、最も古いキーフレームに上書きする形で記憶される。
　注目領域設定部１０４は、術野画像（のフレーム）に、注目領域を設定する。術野画像については、その術野画像のフレームの一部の領域を、注目領域に設定することもできるし、術野画像のフレームの全体の領域を、注目領域に設定することもできる。
　ここで、注目領域については、高精度マップ生成部１０６において、Multi-view stereoにより、高精度マップが生成される。Multi-view stereoによれば、高精度（及び密）の3Dマップである高精度マップを生成することができる。但し、Multi-view stereoは、計算負荷が高く、処理時間がかかるため、フレーム全体をMulti-view stereoの対象とすると、リアルタイム性を阻害する。又は、Multi-view stereoによりフレーム全体についての高精度マップを生成しながら、リアルタイム性を確保するためには、CCU１３として、極めて高速な装置が必要となり、医療システムが高コスト化する。
　そこで、注目領域設定部１０４では、Multi-view stereoを長時間実行しても、リアルタイム性を阻害しないサイズ内の術野画像の一部の領域を、注目領域に設定することができる。また、注目領域設定部１０４では、術野画像のフレームの全体の領域を、Multi-view stereoの対象としてもリアルタイム性を阻害しない短時間（例えば、数秒等）の範囲内で、術野画像のフレームの全体の領域を、注目領域に設定することができる。
　例えば、注目領域設定部１０４では、術野画像において、手術の対象の術部（が映る領域）だけを、注目領域に設定することができる。また、例えば、注目領域設定部１０４では、エネルギ処置具２２としての電気メスで、臓器を切り取る数秒等の短時間のシーンにおいて、術野画像のフレームの全体の領域を、注目領域に設定することができる。
　注目領域設定部１０４では、術野画像において、高精細であることが必要とする領域、又は、高精細であることが必要と推定される領域を、注目領域に設定することができる。
　注目領域の設定は、例えば、術者の指定に応じて行うことができる。例えば、表示装置１５に表示された術野画像において、術者が、UI(User Interface)を操作することにより囲った領域を、注目領域に設定することができる。また、例えば、表示装置１５に表示された術野画像を、複数の区分け領域にあらかじめ区分けしておき、ユーザによる区分け領域を指定する音声（例えば、「右上」や「左下」等）に応じて、音声により指定された区分け領域を、注目領域に設定することができる。さらに、例えば、表示装置１５に表示された術野画像を見る術者の視線を検出し、その視線から推定される、術者が注目している位置を含む領域を、注目領域に設定することができる。
　注目領域の設定は、例えば、手術前に得られる情報や、手術中に得られる情報に応じて行うことができる。例えば、手術前に得られる情報や、手術中に得られる情報を用いた物体認識等によって、あらかじめ指定された物体を認識し、その物体の認識結果を用いて、注目領域を設定することができる。
　例えば、CT画像等の医用画像で、病変部位や手術の対象となる部位をあらかじめ指定しておき、通常マップ生成部１０５で得られる通常マップ、又は、表示画像生成部１０８で得られる、高精度マップを統合した通常マップにおいて、あらかじめ指定された部位と形状のマッチングがとれた領域（あらかじめ指定された部位が映る領域）を、注目領域に設定することができる。
　また、例えば、人工知能技術等によって、過去の履歴から、高精度にすべき領域を予測し、その領域を、注目領域に設定することができる。さらに、例えば、術具の画像を用いて、術具を認識するための学習をあらかじめ行っておき、術具を認識して、その術具が処置を行っている部位が映る領域を、注目領域に設定することができる。
　その他、例えば、所定のロボットからの指定に応じて、注目領域を設定することができる。例えば、内視鏡１１が、スコープホルダロボットで支持され、そのスコープホルダロボットが、領域を指定する機能を有する場合には、スコープホルダロボットから指定された領域を、注目領域に設定することができる。
　通常マップ生成部１０５は、撮像部１０１が出力する術野画像を用いて、その術野画像に映る範囲全体を対象として、第１のアルゴリズムとしての、例えば、Visual SLAM等のSLAMにより、3Dマップの生成と自己位置推定とを行う。
　第１のアルゴリズムとしては、3Dマップの生成と自己位置推定とに、画像のみを用いるVisual-SLAMの他、3Dマップを構成する点群の精度（及び疎密）の程度はともかくとして、リアルタイム性を確保することができる3Dマップの生成アルゴリズムを採用することができる。
　なお、第１のアルゴリズムとしては、自己位置推定を行わず、3Dマップの生成だけを行うアルゴリズムを採用することができる。但し、第１のアルゴリズムとして、3Dマップの生成だけを行うアルゴリズムを採用する場合には、別途、自己位置推定を行う必要がある。
　また、第１のアルゴリズムとしては、画像のみを用いて、3Dマップ（3D情報）を生成するアルゴリズムの他、画像と、ToFセンサやLidar等が出力する奥行情報とを用いて、3Dマップを生成するアルゴリズムを採用することができる。
　ここで、通常マップ生成部１０５が第１のアルゴリズムによりリアルタイムで生成する3Dマップを、通常マップともいう。通常マップは、撮像部１０１が撮影する3D空間の、撮像部１０１に基づく自己位置との相対的な位置関係を認識するための3Dマップである。
　高精度マップ生成部１０６は、注目領域設定部１０４で注目領域が設定された場合に、その注目領域を対象として、フレーム記憶部１０３に記憶された術野画像のキーフレームを用いて、第２のアルゴリズムとしての、例えば、Multi-view stereo等のSfMにより、3Dマップの生成、すなわち、注目領域に映る物体の3D形状の認識を行う。
　第２のアルゴリズムとしては、通常マップよりも高精度の3Dマップを生成することができる3Dマップの生成アルゴリズムを採用することができる。第２のアルゴリズムにより生成される3Dマップは、第１のアルゴリズムにより生成される通常マップよりも高精度であるため、第２のアルゴリズムは、計算負荷が高く、処理時間を要する。逆に言えば、第１のアルゴリズムとしては、リアルタイム性を確保することができるように、第２のアルゴリズムよりも計算量が少ないアルゴリズムが採用される。
　また、第１のアルゴリズムでは、術野画像に映る範囲（術野）全体を対象として、通常マップを生成するのに対して、第２のアルゴリズムでは、注目領域のみを対象として、3Dマップを生成する。
　なお、第２のアルゴリズムとしては、自己位置推定を行わないアルゴリズムを採用することができる。但し、第２のアルゴリズムは、自己位置推定を行うアルゴリズムであってもよい。
　ここで、高精度マップ生成部１０６が、第２のアルゴリズムにより生成する、通常マップよりも高精度の3Dマップを、高精度マップともいう。高精度マップは、注目領域の3D形状を、通常マップよりも高精細に表現する。第１のアルゴリズムとしてのVisual SLAMでは、第２のアルゴリズムと比較して、精度は落ちるが、高フレームレートで3Dマップ（通常マップ）を生成することができる。一方、第２のアルゴリズムとしてのMulti-view stereoでは、高フレームレートでの3Dマップ（高精度マップ）の生成は難しいが、高精度の3Dマップを生成することができる。
　術前情報記憶部１０７は、手術前に得られる術前情報を記憶する。術前情報とは、例えば、手術前に撮影したCT画像から構築される3Dモデル等である。
　表示画像生成部１０８は、通常マップ生成部１０５で生成された（疎らな）通常マップに、高精度マップ生成部１０６で生成された（密な）高精度マップを統合する統合部として機能する。
　すなわち、統合部として機能する表示画像生成部１０８は、通常マップに対して、高精度マップ（注目領域）の位置合わせを行って、その位置合わせ後の高精度マップを、通常マップに統合する。
　通常マップに高精度マップを統合する方法としては、Iterative closest point(ICP)といったレジストレーション手法を採用することができる。
　ここで、表示画像生成部１０８は、注目領域設定部１０４で設定された新たな注目領域が過去の注目領域と重複する場合、通常マップに統合された過去の注目領域の高精度マップを削除し、その削除後の通常マップに、高精度マップ生成部１０６で新たに生成された新たな注目領域の高精度マップを統合する。新たな注目領域が過去の注目領域と重複する場合、例えば、注目領域に映る臓器が切り取られること等によって、新たな注目領域と過去の注目領域とで、注目領域に映る部位の形状が異なっていることがあり、最新の注目領域に映る部位を、通常マップに反映するためである。
　表示画像生成部１０８は、撮像部１０１が出力する術野画像の他、必要に応じて、高精度マップを統合した統合後の通常マップや、術前情報記憶部１０７に記憶された術前情報を用いて、表示装置１５で表示する表示画像を生成し、表示装置１５に供給する。
　例えば、表示画像生成部１０８は、通常マップを用いて、術者がアノテーションを表示することを指示した3D空間内の位置を特定し、その位置に、アノテーションが描画された術野画像を、表示画像として生成することができる。
　＜CCU１３が行う信号処理＞
　図５は、CCU１３による通常マップ及び高精度マップの生成の第１の例を説明するフローチャートである。
　ステップＳ１１において、CCU１３は、撮像部１０１が順次出力する術野画像のフレームを取得する。撮像部１０１が出力する術野画像のフレームは、必要に応じて、キーフレームとして、フレーム記憶部１０３に記憶され、処理は、ステップＳ１１からステップＳ１２に進む。
　ステップＳ１２では、CCU１３において、高精度マップ生成部１０６が、注目領域設定部１０４による注目領域の設定が行われたかどうかを判定する。
　ステップＳ１２において、注目領域が設定されていないと判定された場合、処理は、ステップＳ１３に進む。
　ステップＳ１３では、通常マップ生成部１０５は、撮像部１０１が出力する術野画像のフレームを用いて、第１のアルゴリズムとしてのVisual SLAMによる通常マップの生成（及び更新）と、撮像部１０１の自己位置推定とを行い、処理は、ステップＳ１４に進む。
　ステップＳ１４では、表示画像生成部１０８は、必要に応じて、最新の通常マップを用いて、表示画像を生成し、処理は、ステップＳ１５に進む。
　ステップＳ１５では、表示画像生成部１０８は、表示画像を、表示装置１５に表示させる。
　一方、ステップＳ１２において、注目領域が設定されたと判定された場合、処理は、ステップＳ１６に進む。
　ステップＳ１６では、高精度マップ生成部１０６は、注目領域のみについて、第２の計算アルゴリズムとしてのMulti-view stereoによる高精度マップの生成を行い、処理は、ステップＳ１７に進む。
　ステップＳ１７では、表示画像生成部１０８は、最新の通常マップに、最新の高精度マップを統合する。そして、処理は、ステップＳ１７からステップＳ１４に進み、以下、上述した処理が行われる。
　図５の通常マップ及び高精度マップの生成の第１の例では、注目領域が設定されない場合には、通常マップが生成され、注目領域が設定された場合には、通常マップは生成されず、注目領域のみの高精度マップが生成される。
　図６は、CCU１３による通常マップ及び高精度マップの生成の第２の例を説明するフローチャートである。
　ステップＳ２１において、CCU１３では、図５のステップＳ１１と同様に、撮像部１０１が出力する術野画像のフレームが取得され、必要に応じて、キーフレームとして、フレーム記憶部１０３に記憶される。そして、処理は、ステップＳ２１からステップＳ２２とステップＳ３１とに並列に進む。
　ステップＳ２２では、通常マップ生成部１０５は、図５のステップＳ１３と同様に、撮像部１０１が出力する術野画像のフレームを用いて、第１のアルゴリズムとしてのVisual SLAMによる通常マップの生成と、撮像部１０１の自己位置推定とを行い、処理は、ステップＳ２３に進む。
　ステップＳ２３では、表示画像生成部１０８は、図５のステップＳ１４と同様に、必要に応じて、最新の通常マップを用いて、表示画像を生成し、処理は、ステップＳ２４に進む。
　ステップＳ２４では、表示画像生成部１０８は、図５のステップＳ１５と同様に、表示画像を、表示装置１５に表示させる。
　一方、ステップＳ３１では、CCU１３において、高精度マップ生成部１０６が、図５のステップＳ１２と同様に、注目領域設定部１０４による注目領域の設定が行われたかどうかを判定する。
　ステップＳ３１において、注目領域が設定されていないと判定された場合、処理は、ステップＳ３２及びＳ３３をスキップして、ステップＳ２３に進む。
　また、ステップＳ３１において、注目領域が設定されたと判定された場合、処理は、ステップＳ３２に進む。
　ステップＳ３２では、高精度マップ生成部１０６は、図５のステップＳ１６と同様に、注目領域のみについて、第２の計算アルゴリズムとしてのMulti-view stereoによる高精度マップの生成を行い、処理は、ステップＳ３３に進む。
　ステップＳ３３では、表示画像生成部１０８は、図５のステップＳ１７と同様に、最新の通常マップに、最新の高精度マップを統合する。そして、処理は、ステップＳ３３からステップＳ２３に進み、以下、上述した処理が行われる。
　図６の通常マップ及び高精度マップの生成の第２の例では、通常マップは、注目領域の設定の有無にかかわらず、常時生成される。高精度マップは、図５と同様に、注目領域が設定された場合にのみ、その注目領域についてのみ生成される。
　図７は、図４のCCU１３が行う信号処理の例を説明するフローチャートである。
　ステップＳ５１において、通常マップ生成部１０５は、撮像部１０１が出力する術野画像を用いて、第２のアルゴリズムにより計算量が少ない第１のアルゴリズムにより、リアルタイムでの通常マップの生成及び自己位置推定を行い、処理は、ステップＳ５２に進む。
　ステップＳ５２では、通常マップ生成部１０５は、通常マップを、直前のステップＳ５１で生成された通常マップによって更新し、処理は、ステップＳ５３に進む。
　ステップＳ５３では、シーン検出部１０２が、撮像部１０１が出力する術野画像の（最新の）フレームが、障害シーンが映る障害フレームであるかどうかを判定する。
　ステップＳ５３において、撮像部１０１が出力する術野画像のフレームが、障害フレームでないと判定された場合、処理は、ステップＳ５４に進む。
　ステップＳ５４では、フレーム記憶部１０３は、障害フレームでない術野画像のフレームを、必要に応じて、キーフレームとして記憶し、処理は、ステップＳ５５に進む。
　一方、ステップＳ５３において、撮像部１０１が出力する術野画像のフレームが、障害フレームであると判定された場合、処理は、ステップＳ５４をスキップして、ステップＳ５５に進む。したがって、ここでは、障害フレームは、フレーム記憶部１０３には記憶されない。
　ステップＳ５５では、高精度マップ生成部１０６が、注目領域設定部１０４において注目領域が設定されたかどうかを判定する。
　ステップＳ５５において、注目領域が設定されていないと判定された場合、処理は、ステップＳ５６ないしＳ５９をスキップして、ステップＳ６０に進む。
　また、ステップＳ５５において、注目領域が設定されたと判定された場合、処理は、ステップＳ５６に進む。
　ステップＳ５６では、表示画像生成部１０８は、直前のステップＳ５５で設定されたと判定された新たな注目領域（の一部又は全部）が過去の注目領域と重複するかどうかを判定する。
　ステップＳ５６において、新たな注目領域が過去の注目領域と重複しないと判定された場合、処理は、ステップＳ５７をスキップして、ステップＳ５８に進む。
　また、ステップＳ５６において、新たな注目領域が過去の注目領域と重複すると判定された場合、処理は、ステップＳ５７に進む。
　ステップＳ５７では、表示画像生成部１０８は、通常マップに統合された過去の注目領域の高精度マップを削除し、処理は、ステップＳ５８に進む。
　ステップＳ５８では、高精度マップ生成部１０６は、フレーム記憶部１０３に記憶されたキーフレームを用いて、第１のアルゴリズムにより高精度の第２のアルゴリズムにより、新たな注目領域についてのみ高精度マップの生成を行い、処理は、ステップＳ５９に進む。
　ステップＳ５９では、通常マップに、高精度マップを統合し、処理は、ステップＳ６０に進む。
　ステップＳ６０では、CCU１３は、信号処理を終了するかどうかを判定し、終了しないと判定した場合、処理は、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
　また、ステップＳ６０において、信号処理を終了すると判定された場合、すなわち、例えば、術者が信号処理を終了するように、医療システムを操作した場合、CCU１３は、信号処理を終了する。
　＜内視鏡１１及びCCU１３の第２の構成例＞
　図８は、図１の内視鏡１１及びCCU１３の第２の構成例を示すブロック図である。
　なお、図中、図４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　図８において、内視鏡１１は、撮像部１０１及びサブセンサ１２１を有する。したがって、図８の内視鏡１１は、撮像部１０１を有する点で、図４の場合と共通する。但し、図８の内視鏡１１は、サブセンサ１２１が新たに設けられている点で、図４の場合と相違する。
　また、図８において、CCU１３は、フレーム記憶部１０３、注目領域設定部１０４、通常マップ生成部１０５、高精度マップ生成部１０６、術前情報記憶部１０７、表示画像生成部１０８、及び、シーン検出部１３１を有する。したがって、図８のCCU１３は、フレーム記憶部１０３ないし表示画像生成部１０８を有する点で、図４の場合と共通する。但し、図８のCCU１３は、シーン検出部１０２に代えて、シーン検出部１３１が設けられている点で、図４の場合と相違する。
　ここで、3Dマップの生成に、RGBの画像である術野画像を用いる場合には、そのようなRGBの術野画像を用いた3Dマップの生成に障害が生じたときに、通常マップ生成部１０５での通常マップの生成及び自己位置推定を行うことが困難になる。
　例えば、手術中に術野内で出血や発煙等が生じた場合、第１のアルゴリズムとしてのVisual SLAMでは、被写体について十分な特徴点を検出することができず、通常マップ生成及び自己位置推定が困難になる。また、血液が付着した部位や煙で隠れた部分については、本来の3Dマップを生成することが困難になる。
　そこで、図８では、内視鏡１１において、可視光線をセンシング（受光）し、そのセンシング結果として、RGBの術野画像を出力するセンサとしての撮像部１０１とは別に、障害シーンのセンシングに適したセンシング条件でセンシングを行うサブセンサ１２１が設けられている。さらに、図８では、シーン検出部１３１が、障害シーンであるかどうかによって、撮像部１０１が出力する術野画像、又は、サブセンサ１２１が出力するセンシング結果を選択し、フレーム記憶部１０３に出力する。
　すなわち、サブセンサ１２１は、例えば、可視光線以外の波長の光をセンシングするセンサであり、そのセンシングにより得られるサブセンサ画像を、センシング結果として出力する。
　したがって、サブセンサ１２１が出力するサブセンサ画像によれば、障害シーンであっても、十分な数の特徴点を検出することができる。
　サブセンサ１２１でサブセンサ画像を撮影するときの撮影方法や照明方法は、適宜選択することができる。
　例えば、出血シーンや発煙シーンについては、IR(Infrared)やNBI(Narrow Band Imaging)等による透過観察を行うことができるセンサを兼ね備えたカメラ（撮像部）を、サブセンサ１２１として採用し、IR等の特殊光により被写体を照明する特殊光観察技術を用いて、透過観察により、サブセンサ画像を撮影することができる。
　例えば、白飛びシーンについては、PL(Polarized Light)フィルタやND(Neutral Density)フィルタ等の偏光フィルタが搭載されたカメラを、サブセンサ１２１として採用し、白飛びが抑制されたサブセンサ画像を撮影することができる。
　シーン検出部１３１は、図４のシーン検出部１０２と同様に、撮像部１０１からの術野画像の各フレームについて、障害シーンを検出する。
　シーン検出部１３１は、障害シーンが検出されなかった場合、シーン検出部１０２と同様に、（障害シーンが映っていない）術野画像のフレームを、フレーム記憶部１０３に出力する。
　また、シーン検出部１３１は、障害シーンが検出された場合、その障害シーンが映るフレームについては、サブセンサ１２１が出力するサブセンサ画像のフレームを、フレーム記憶部１０３に出力する。
　したがって、フレーム記憶部１０３において、障害シーンが映るフレームについては、サブセンサ１２１が出力するサブセンサ画像のフレームが、キーフレームとして記憶され得る。その結果、高精度マップ生成部１０６では、障害シーンについても、注目領域の高精度マップを、安定して生成することができる。
　なお、通常マップ生成部１０５では、障害シーンであるかどうかにかかわらず、撮像部１０１が出力するRGBの術野画像を常時用いて、通常マップの生成及び自己位置推定を行うことができる。また、通常マップ生成部１０５では、障害シーンでない場合には、撮像部１０１が出力するRGBの術野画像を用いて、通常マップの生成及び自己位置推定を行い、障害シーンである場合には、サブセンサ１２１が出力するサブセンサ画像を用いて、通常マップの生成及び自己位置推定を行うことができる。
　図９は、図８のCCU１３が行う信号処理の例を説明するフローチャートである。
　CCU１３では、ステップＳ７１ないしＳ７４において、図７のステップＳ５１ないしＳ５４とそれぞれ同様の処理が行われる。
　そして、図７のステップＳ５３に対応するステップＳ７３において、撮像部１０１が出力する術野画像のフレームが、障害フレームであると判定された場合、処理は、ステップＳ９１に進む。
　ステップＳ９１では、フレーム記憶部１０３は、撮像部１０１が出力する術野画像において障害シーンが映る障害フレームについて、サブセンサ１２１が出力するサブセンサ画像のフレームを、必要に応じて、キーフレームとして記憶し、処理は、ステップＳ７５に進む。
　ステップＳ７５ないしＳ８０では、図７のステップＳ５５ないしＳ６０とそれぞれ同様の処理が行われる。
　なお、図９において、障害シーンについては、その障害シーンが映るフレーム全体を、注目領域に設定することができる。この場合、障害シーンが短時間であれば、リアルタイム性を維持しつつ、障害によって、RGBの術野画像では見にくくなっている部分をも正確に表現する高精度マップを生成することができる。
　以上のように、術野を撮影した術野画像を用いて、第１のアルゴリズムにより、術野の3Dマップとしての通常マップを生成し、術野画像に注目領域が設定された場合、第１のアルゴリズムと異なる第２のアルゴリズムにより、注目領域の3Dマップとしての高精度マップを生成するので、例えば、第１のアルゴリズムとして、計算量が少なく、リアルタイム性を確保することができる3Dマップの生成アルゴリズムを採用するとともに、第２のアルゴリズムとして、高精度の3Dマップを生成することができる生成アルゴリズムを採用することで、3Dマップの生成（及び自己位置推定）のリアルタイム性を確保しつつ、注目領域については、高精度の3Dマップを生成することができる。その結果、術者に、3Dマップを用いて得られる情報として、正確かつ安定した情報を提供することができる。
　また、障害シーンを適切にセンシングすることができるサブセンサ１２１を採用することにより、注目領域が、出血シーンや発煙シーン等の、RGBの術野画像を用いた3Dマップの生成に障害があるシーンを含む場合でも、注目領域について、高精度の3Dマップを生成することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述したCCU１３の一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は、以下の構成をとることができる。
　＜１＞
　術野を撮影して、術野画像を出力する撮像部と、
　前記術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、
　前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部と
　を備える医療システム。
　＜２＞
　前記第２のアルゴリズムは、前記第１のアルゴリズムよりも高精度の3D情報が生成されるアルゴリズムである
　＜１＞に記載の医療システム。
　＜３＞
　前記第２のアルゴリズムにより生成された3D情報を、前記第１のアルゴリズムにより生成された3D情報に統合する統合部をさらに備える
　＜１＞又は＜２＞に記載の医療システム。
　＜４＞
　前記統合部は、前記第１のアルゴリズムにより生成された3D情報に対して、前記第２のアルゴリズムにより生成された3D情報の位置合わせを行って、前記第２のアルゴリズムにより生成された3D情報を、前記第１のアルゴリズムにより生成された3D情報に統合する
　＜３＞に記載の医療システム。
　＜５＞
　前記統合部は、前記注目領域が過去の前記注目領域と重複する場合、前記第１のアルゴリズムにより生成された3D情報に統合された過去の前記注目領域の3D情報を削除し、新たに生成された前記注目領域の3D情報を統合する
　＜３＞又は＜４＞に記載の医療システム。
　＜６＞
　前記第１のアルゴリズムは、3D情報の生成とともに、前記撮像部に基づく自己位置推定を行うアルゴリズムである
　＜１＞ないし＜５＞のいずれかに記載の医療システム。
　＜７＞
　前記第１のアルゴリズムは、Visual-SLAMである
　＜１＞ないし＜６＞のいずれかに記載の医療システム。
　＜８＞
　前記第２のアルゴリズムは、自己位置推定を行わないアルゴリズムである
　＜１＞ないし＜７＞のいずれかに記載の医療システム。
　＜９＞
　前記第２のアルゴリズムは、Multi-view stereoである
　＜１＞ないし＜８＞のいずれかに記載の医療システム。
　＜１０＞
　前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである
　＜１＞ないし＜９＞のいずれかに記載の医療システム。
　＜１１＞
　前記第２の生成部は、前記撮像部が出力する前記術野画像のフレームから選択されたキーフレームを用いて、前記第２のアルゴリズムにより、3D情報を生成する
　＜１＞ないし＜１０＞のいずれかに記載の医療システム。
　＜１２＞
　前記術野画像のフレームから、特定のシーンが映る特定フレームを検出するシーン検出部をさらに備え、
　前記第２の生成部は、前記術野画像のフレームのうちの、前記特定フレームを除くフレームから選択された前記キーフレームを用いて、前記第２のアルゴリズムにより、3D情報を生成する
　＜１１＞に記載の医療システム。
　＜１３＞
　前記撮像部の位置の変化に応じて、前記キーフレームの選択の頻度が切り替えられる
　＜１１＞又は＜１２＞に記載の医療システム。
　＜１４＞
　前記注目領域を設定する注目領域設定部をさらに備える
　＜１＞ないし＜１３＞のいずれかに記載の医療システム。
　＜１５＞
　前記注目領域設定部は、ユーザからの指定に応じて、前記注目領域を設定する
　＜１４＞に記載の医療システム。
　＜１６＞
　前記注目領域設定部は、所定のロボットの出力に応じて、前記注目領域を設定する
　＜１４＞又は＜１５＞に記載の医療システム。
　＜１７＞
　前記注目領域設定部は、あらかじめ指定された部位が映る領域を、前記注目領域を設定する
　＜１４＞ないし＜１６＞のいずれかに記載の医療システム。
　＜１８＞
　術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、
　前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部と
　を備える信号処理装置。
　＜１９＞
　術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成することと、
　前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成することと
　を含む信号処理方法。
　１１　内視鏡，　１３　CCU，　１５　表示装置，　１７　光源装置，　２１　処置具用装置，　２２　エネルギ処置具，　２３　鉗子，　２４　気腹装置，　２５ａ，２５ｂ　トロッカ，　２６　レコーダ，　２７　プリンタ，　３１　カート，　３３　患者ベッド，　３５　フットスイッチ，　１０１　撮像部，　１０２　シーン検出部，　１０３　フレーム記憶部，　１０４　注目領域設定部，　１０５　通常マップ生成部，　１０６　高精度マップ生成部，　１０７　術前情報記憶部，　１０８　表示画像生成部，　１２１　サブセンサ，　１３１　シーン検出部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (19)

  1. 　術野を撮影して、術野画像を出力する撮像部と、
    　前記術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、
    　前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部と
    　を備える医療システム。
  2. 　前記第２のアルゴリズムは、前記第１のアルゴリズムよりも高精度の3D情報が生成されるアルゴリズムである
    　請求項１に記載の医療システム。
  3. 　前記第２のアルゴリズムにより生成された3D情報を、前記第１のアルゴリズムにより生成された3D情報に統合する統合部をさらに備える
    　請求項１に記載の医療システム。
  4. 　前記統合部は、前記第１のアルゴリズムにより生成された3D情報に対して、前記第２のアルゴリズムにより生成された3D情報の位置合わせを行って、前記第２のアルゴリズムにより生成された3D情報を、前記第１のアルゴリズムにより生成された3D情報に統合する
    　請求項３に記載の医療システム。
  5. 　前記統合部は、前記注目領域が過去の前記注目領域と重複する場合、前記第１のアルゴリズムにより生成された3D情報に統合された過去の前記注目領域の3D情報を削除し、新たに生成された前記注目領域の3D情報を統合する
    　請求項３に記載の医療システム。
  6. 　前記第１のアルゴリズムは、3D情報の生成とともに、前記撮像部に基づく自己位置推定を行うアルゴリズムである
    　請求項１に記載の医療システム。
  7. 　前記第１のアルゴリズムは、Visual-SLAMである
    　請求項１に記載の医療システム。
  8. 　前記第２のアルゴリズムは、自己位置推定を行わないアルゴリズムである
    　請求項１に記載の医療システム。
  9. 　前記第２のアルゴリズムは、Multi-view stereoである
    　請求項１に記載の医療システム。
  10. 　前記第１のアルゴリズムは、前記第２のアルゴリズムよりも計算量が少ないアルゴリズムである
    　請求項１に記載の医療システム。
  11. 　前記第２の生成部は、前記撮像部が出力する前記術野画像のフレームから選択されたキーフレームを用いて、前記第２のアルゴリズムにより、3D情報を生成する
    　請求項１に記載の医療システム。
  12. 　前記術野画像のフレームから、特定のシーンが映る特定フレームを検出するシーン検出部をさらに備え、
    　前記第２の生成部は、前記術野画像のフレームのうちの、前記特定フレームを除くフレームから選択された前記キーフレームを用いて、前記第２のアルゴリズムにより、3D情報を生成する
    　請求項１１に記載の医療システム。
  13. 　前記撮像部の位置の変化に応じて、前記キーフレームの選択の頻度が切り替えられる
    　請求項１１に記載の医療システム。
  14. 　前記注目領域を設定する注目領域設定部をさらに備える
    　請求項１に記載の医療システム。
  15. 　前記注目領域設定部は、ユーザからの指定に応じて、前記注目領域を設定する
    　請求項１４に記載の医療システム。
  16. 　前記注目領域設定部は、所定のロボットの出力に応じて、前記注目領域を設定する
    　請求項１４に記載の医療システム。
  17. 　前記注目領域設定部は、あらかじめ指定された部位が映る領域を、前記注目領域を設定する
    　請求項１４に記載の医療システム。
  18. 　術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成する第１の生成部と、
    　前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成する第２の生成部と
    　を備える信号処理装置。
  19. 　術野を撮影した術野画像を用いて、第１のアルゴリズムにより、前記術野の3D情報を生成することと、
    　前記術野画像に注目領域が設定された場合、前記第１のアルゴリズムと異なる第２のアルゴリズムにより、前記注目領域の3D情報を生成することと
    　を含む信号処理方法。
PCT/JP2020/010741 2019-03-25 2020-03-12 医療システム、信号処理装置、及び、信号処理方法 Ceased WO2020195877A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021509023A JP7517325B2 (ja) 2019-03-25 2020-03-12 医療システム、信号処理装置、及び、信号処理方法
US17/437,533 US12266127B2 (en) 2019-03-25 2020-03-12 Medical system, signal processing device, and signal processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019056683 2019-03-25
JP2019-056683 2019-03-25

Publications (1)

Publication Number Publication Date
WO2020195877A1 true WO2020195877A1 (ja) 2020-10-01

Family

ID=72609809

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/010741 Ceased WO2020195877A1 (ja) 2019-03-25 2020-03-12 医療システム、信号処理装置、及び、信号処理方法

Country Status (3)

Country Link
US (1) US12266127B2 (ja)
JP (1) JP7517325B2 (ja)
WO (1) WO2020195877A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024028512A (ja) * 2020-10-02 2024-03-04 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム
WO2025009009A1 (ja) * 2023-07-03 2025-01-09 オリンパスメディカルシステムズ株式会社 画像処理装置、画像処理方法および画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213753A (ja) * 2014-05-08 2015-12-03 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 手術ロボット及びその制御方法
WO2017057330A1 (ja) * 2015-09-28 2017-04-06 オリンパス株式会社 内視鏡システム及び画像処理方法
JP2018124984A (ja) * 2016-12-01 2018-08-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ モバイル装置の環境の３ｄ再構成のための方法および対応するコンピュータ・プログラム・プロダクトおよび装置
WO2018216342A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961404B2 (en) 2002-09-26 2005-11-01 Eastman Kodak Company Method and system for reconstructing an image from projection data acquired by a cone beam computed tomography system
EP1844351A4 (en) * 2005-01-13 2017-07-05 Biosensors International Group, Ltd. Multi-dimensional image reconstruction and analysis for expert-system diagnosis
US20140193336A1 (en) * 2005-07-19 2014-07-10 Biosensors International Group, Ltd. Imaging protocols
US7324904B2 (en) * 2005-12-21 2008-01-29 Weyerhauser Company Methods for determining dimensional stability of wood products utilizing single and multiple sensor groups
US8295565B2 (en) 2007-03-16 2012-10-23 Sti Medical Systems, Llc Method of image quality assessment to produce standardized imaging data
US8254656B2 (en) * 2009-10-13 2012-08-28 Morpho Detection, Inc. Methods and system for selective resolution improvement in computed tomography
US20130208964A1 (en) * 2010-10-25 2013-08-15 Koninklijke Philips Electronics N.V. System for the segmentation of a medical image
US20130009980A1 (en) * 2011-07-07 2013-01-10 Ati Technologies Ulc Viewing-focus oriented image processing
US20150078642A1 (en) * 2012-04-24 2015-03-19 The General Hospital Corporation Method and system for non-invasive quantification of biologial sample physiology using a series of images
JP6017743B1 (ja) 2014-12-15 2016-11-02 オリンパス株式会社 医療機器システム、医療機器システムの作動方法
US20180038807A1 (en) * 2016-08-08 2018-02-08 Adaptix Ltd. Method and system for reconstructing 3-dimensional images from spatially and temporally overlapping x-rays
EP3343506A1 (en) * 2016-12-28 2018-07-04 Thomson Licensing Method and device for joint segmentation and 3d reconstruction of a scene
WO2018129715A1 (zh) * 2017-01-13 2018-07-19 浙江大学 一种同时定位与稠密三维重建方法
JP2019162339A (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システムおよび表示方法
US11869192B2 (en) * 2019-11-08 2024-01-09 General Electric Company System and method for vegetation modeling using satellite imagery and/or aerial imagery

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015213753A (ja) * 2014-05-08 2015-12-03 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 手術ロボット及びその制御方法
WO2017057330A1 (ja) * 2015-09-28 2017-04-06 オリンパス株式会社 内視鏡システム及び画像処理方法
JP2018124984A (ja) * 2016-12-01 2018-08-09 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ モバイル装置の環境の３ｄ再構成のための方法および対応するコンピュータ・プログラム・プロダクトおよび装置
WO2018216342A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024028512A (ja) * 2020-10-02 2024-03-04 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム
JP7562886B2 (ja) 2020-10-02 2024-10-07 Hoya株式会社 プログラム、情報処理方法及び内視鏡システム
WO2025009009A1 (ja) * 2023-07-03 2025-01-09 オリンパスメディカルシステムズ株式会社 画像処理装置、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
US20220148209A1 (en) 2022-05-12
US12266127B2 (en) 2025-04-01
JPWO2020195877A1 (ja) 2020-10-01
JP7517325B2 (ja) 2024-07-17

Similar Documents

Publication Publication Date Title
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
US11269173B2 (en) Systems and methods for displaying medical video images and/or medical 3D models
JP7127785B2 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
US10835344B2 (en) Display of preoperative and intraoperative images
US9289267B2 (en) Method and apparatus for minimally invasive surgery using endoscopes
EP3668439B1 (en) Synthesizing spatially-aware transitions between multiple camera viewpoints during minimally invasive surgery
EP3298949B1 (en) Image processing apparatus, image processing method, and surgical system
JP2012525190A (ja) 単眼の内視鏡画像からのリアルタイム深度推定
CN113993478B (zh) 医疗工具控制系统、控制器和非暂时性计算机可读存储器
CN110099599A (zh) 医学图像处理设备、医学图像处理方法和程序
JP7770392B2 (ja) 医療処置中に未検査領域を識別するためのデバイス、システム、及び方法
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
US20250268666A1 (en) Systems and methods for providing surgical assistance based on operational context
WO2016072288A1 (ja) 内視鏡装置、および、内視鏡装置の動作方法、並びにプログラム
JP7517325B2 (ja) 医療システム、信号処理装置、及び、信号処理方法
WO2018221068A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN114126531B (zh) 医疗成像系统、医疗成像处理方法及医疗信息处理设备
US20230215059A1 (en) Three-dimensional model reconstruction
US20250127382A1 (en) Medical observation system, method, and medical observation device
US20210052146A1 (en) Systems and methods for selectively varying resolutions
JP2020534050A (ja) ロボット外科手技中に立体視知覚通知および／または推奨事項を提供するためのシステム、方法、およびコンピュータ可読媒体
WO2023203908A1 (ja) 手術支援システムおよび手術支援装置
WO2022219878A1 (ja) 医療用観察システム、医療用画像処理方法及び情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20779151

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021509023

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20779151

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17437533

Country of ref document: US