[go: up one dir, main page]

WO2023038127A1 - 推論装置、情報処理方法、及びコンピュータプログラム - Google Patents

推論装置、情報処理方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2023038127A1
WO2023038127A1 PCT/JP2022/033958 JP2022033958W WO2023038127A1 WO 2023038127 A1 WO2023038127 A1 WO 2023038127A1 JP 2022033958 W JP2022033958 W JP 2022033958W WO 2023038127 A1 WO2023038127 A1 WO 2023038127A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
inference
surgical
field image
console
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/033958
Other languages
English (en)
French (fr)
Inventor
直 小林
勇太 熊頭
成昊 銭谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anaut Inc
Original Assignee
Anaut Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anaut Inc filed Critical Anaut Inc
Priority to CN202280060465.9A priority Critical patent/CN117915853A/zh
Priority to JP2023547013A priority patent/JP7461689B2/ja
Priority to US18/689,636 priority patent/US20240390089A1/en
Priority to EP22867448.7A priority patent/EP4413941A1/en
Publication of WO2023038127A1 publication Critical patent/WO2023038127A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/306—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously

Definitions

  • the present invention relates to an inference device, an information processing method, and a computer program.
  • Patent Document 1 there is no description of a technique for presenting the inference result of the operative field image to the operator.
  • An object of the present invention is to provide an inference device, an information processing method, and a computer program capable of inferring an operative field image obtained from a surgical robot and transmitting information based on the inference result to a console.
  • An inference device is an inference device connected between a surgical robot and a console that controls the surgical robot, and acquires an operative field image captured by an imaging unit of the surgical robot.
  • An information processing method acquires an operative field image captured by an imaging unit of the surgical robot by a computer connected between a surgical robot and a console that controls the surgical robot, and acquires Inference is performed on the surgical field image obtained, and processing is executed to transmit at least one of the surgical field image and information based on the inference result to the console according to the transmission setting received through the console.
  • a computer program acquires a surgical field image captured by an imaging unit of the surgical robot to a computer connected between a surgical robot and a console that controls the surgical robot, and acquires the image.
  • FIG. 1 is a block diagram illustrating a configuration example of a surgical robot system according to Embodiment 1;
  • FIG. FIG. 4 is a schematic diagram showing an example of an operating field image;
  • FIG. 4 is a schematic diagram showing a configuration example of a learning model;
  • FIG. 4 is a schematic diagram showing an example of an inference image;
  • FIG. 4 is a schematic diagram showing a display example on the console;
  • 4 is a flowchart for explaining the procedure of processing executed in the surgical robot system according to Embodiment 1;
  • FIG. 10 is a flowchart for explaining the procedure of processing executed in the surgical robot system according to Embodiment 2;
  • FIG. FIG. 4 is an explanatory diagram for explaining a first specific example of a control method;
  • FIG. 11 is an explanatory diagram for explaining a second specific example of the control method;
  • FIG. 11 is an explanatory diagram for explaining a third specific example of a control method;
  • FIG. 11 is an explanatory diagram for explaining a fourth specific example of the control method;
  • FIG. 11 is an explanatory diagram for explaining a fifth specific example of a control method;
  • FIG. 11 is an explanatory diagram for explaining a sixth specific example of a control method;
  • FIG. 13 is a flow chart for explaining a procedure of processing executed by an inference unit according to Embodiment 3;
  • FIG. 13 is a flowchart for explaining the procedure of processing executed by an inference unit according to Embodiment 4;
  • FIG. 21 is a flowchart for explaining the procedure of processing executed by an inference unit according to Embodiment 5;
  • FIG. 1 is a block diagram showing a configuration example of a surgical robot system 1 according to Embodiment 1.
  • a surgical robot system 1 according to Embodiment 1 includes a surgical robot 10 , an inference unit 20 , a server device 30 and a console 40 .
  • the surgical field is imaged by the laparoscope 15 mounted on the surgical robot 10, and the surgical field images obtained by the laparoscope 15 are displayed on the monitors 44A and 44B of the console 40.
  • FIG. The operator (doctor) operates the surgical device mounted on the surgical robot 10 by moving the arm operating device 43 while confirming the surgical field images displayed on the monitors 44A and 44B, thereby performing laparoscopic surgery. .
  • the present invention is not limited to laparoscopic surgery, but is applicable to robot-assisted endoscopic surgery using a thoracoscope, a gastrointestinal endoscope, a cystoscope, an arthroscope, a spinal endoscope, a neuroendoscope, an operating microscope, or the like. Generally applicable.
  • the surgical robot 10 includes a control unit 11, drive units 12A-12D, arm units 13A-13D, a light source device 14, a laparoscope 15, a signal processing unit 16, and the like.
  • the control unit 11 is composed of, for example, a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
  • the control unit 11 controls the operation of each hardware unit included in the surgical robot 10 based on control information and the like input from the console 40 .
  • One of the arms 13A to 13D provided in the surgical robot 10 (referred to as arm 13A) is used to move the laparoscope 15 three-dimensionally. Therefore, a laparoscope 15 is attached to the distal end of the arm portion 13A.
  • the drive unit 12A includes an actuator, a motor, and the like that drive the arm unit 13A. move. Note that movement control of the laparoscope 15 may be automatic control or manual control via the console 40 .
  • the remaining three (arms 13B to 13D) are used to three-dimensionally move the surgical device.
  • surgical devices are attached to the distal ends of the arms 13B to 13D.
  • Surgical devices include forceps, energy treatment tools, vascular clips, automated anastomosis instruments, and the like.
  • the drive unit 12B includes an actuator, a motor, and the like for driving the arm unit 13B. By driving the arm unit 13B under the control of the control unit 11, the surgical device attached to the distal end portion can be moved three-dimensionally.
  • movement control of the surgical device is mainly manual control via the console 40, automatic control may be used as an auxiliary.
  • the three arm portions 13B to 13D do not need to be controlled simultaneously, and two of the three arm portions 13B to 13D are appropriately selected and manually controlled.
  • the light source device 14 includes a light source, a light guide, an illumination lens, and the like.
  • the light source device 14 guides the illumination light emitted from the light source to the distal end of the light guide, and irradiates the surgical field with the illumination light through the illumination lens provided at the distal end of the light guide.
  • the light emitted by the light source device 14 may be normal light or special light.
  • Ordinary light is, for example, light having a wavelength band of white light (380 nm to 650 nm).
  • special light is illumination light different from normal light, and corresponds to narrow band light, infrared light, excitation light, and the like.
  • the laparoscope 15 includes an imaging device such as CMOS (Complementary Metal Oxide Semiconductor), a driver circuit equipped with a timing generator (TG), an analog signal processing circuit (AFE), and the like.
  • the driver circuit of the laparoscope 15 takes in the RGB color signals output from the imaging device in synchronization with the clock signal output from the TG, and performs necessary processing such as noise removal, amplification, and AD conversion in the AFE. Generate digital format image data (operative field image).
  • the signal processing unit 16 includes a DSP (Digital Signal Processor), an image memory, etc., and performs color separation, color interpolation, gain correction, white balance adjustment, gamma correction, etc. on the image data input from the laparoscope 15 as appropriate. process.
  • the signal processing unit 16 generates moving image frame images from the processed image data, and sequentially outputs the generated frame images to the inference unit 20 .
  • the frame rate of frame images is, for example, 30 FPS (Frames Per Second).
  • the signal processing unit 16 may output video data conforming to a predetermined standard such as NTSC (National Television System Committee), PAL (Phase Alternating Line), DICOM (Digital Imaging and COmmunication in Medicine).
  • the inference unit 20 includes a calculation unit 21, a storage unit 22, a first connection unit 23, a second connection unit 24, a third connection unit 25, and the like.
  • the computing unit 21 is composed of a CPU, a ROM, a RAM, and the like.
  • the ROM in the arithmetic unit 21 stores a control program and the like for controlling the operation of each hardware unit included in the inference unit 20 .
  • the CPU in the arithmetic unit 21 executes a control program stored in the ROM and a computer program stored in the storage unit 22, which will be described later, and controls the operation of each hardware unit, so that the entire device functions as an inference device of the present application. make it work.
  • the RAM in the calculation unit 21 temporarily stores data and the like that are used during execution of the calculation.
  • the calculation unit 21 is configured to include a CPU, a ROM, and a RAM, but the configuration of the calculation unit 21 is arbitrary. Programmable Gate Array), quantum processor, volatile or non-volatile memory, etc. Further, the calculation unit 21 may have functions such as a clock that outputs date and time information, a timer that measures the elapsed time from when a measurement start instruction is given until a measurement end instruction is given, and a counter that counts the number of good.
  • the storage unit 22 includes a storage device such as flash memory.
  • the storage unit 22 stores a computer program executed by the calculation unit 21, various data acquired from the outside, various data generated inside the apparatus, and the like.
  • the computer programs stored in the storage unit 22 include an inference processing program PG for causing the calculation unit 21 to perform inference processing on the operative field image.
  • These computer programs may be a single computer program or a program group constructed by a plurality of computer programs.
  • the computer program including the inference processing program PG may be distributed to a plurality of computers and executed cooperatively by the plurality of computers.
  • a computer program including the inference processing program PG is provided by a non-temporary recording medium RM on which the computer program is readable.
  • the recording medium RM is a portable memory such as a CD-ROM, USB memory, SD (Secure Digital) card, or the like.
  • the calculation unit 21 uses a reading device (not shown) to read a desired computer program from the recording medium RM, and stores the read computer program in the storage unit 22 .
  • the computer program containing the reasoning processing program PG may be provided by communication. In this case, the calculation unit 21 downloads a desired computer program through communication, and stores the downloaded computer program in the storage unit 22 .
  • the storage unit 22 stores a learning model MD used for inference processing.
  • a learning model MD is a learning model used to infer the position of an object to be recognized within the operative field image.
  • the learning model MD is configured to output information indicating the position of the object when the surgical field image is input.
  • the object to be recognized in the operative field image may be organs such as the esophagus, stomach, large intestine, pancreas, spleen, ureter, lung, prostate, uterus, gallbladder, liver, and vas deferens. , connective tissue, fat, nerves, blood vessels, muscles, and membranous structures.
  • the object may be a surgical device such as forceps, energy treatment instrument, vascular clip, automatic anastomotic device, and the like.
  • the learning model MD may output, as information indicating the position of the object, probability information indicating whether or not each pixel or specific region corresponds to the object.
  • the storage unit 22 stores definition information of the learning model MD including learned parameters.
  • a learning model MD is a learning model used to reason about a scene.
  • the learning model MD is configured to output information about the scene indicated by the surgical image when the surgical image is input.
  • Information about scenes output by the learning model MD includes, for example, the probability of a scene including a specific organ, the probability of a scene in which a characteristic surgical operation is performed in surgery, and a specific surgical device (blood vessel clip, automatic anastomotic device, etc.). It is information such as the probability of performing characteristic operations (ligation of blood vessels, resection of the intestinal tract, anastomosis, etc.) using .
  • the first connection section 23 has a connection interface that connects the surgical robot 10 .
  • the inference unit 20 receives image data of an operating field image captured by the laparoscope 15 and processed by the signal processing section 16 through the first connection section 23 . Image data input from the first connection portion 23 is output to the calculation portion 21 and the storage portion 22 .
  • the second connection unit 24 has a connection interface that connects the server device 30 .
  • the inference unit 20 outputs the image data of the surgical field image acquired from the surgical robot 10 and the inference result by the calculation unit 21 to the server device 30 through the second connection unit 24 .
  • the third connection unit 25 has a connection interface that connects the console 40 .
  • the inference unit 20 outputs the image data of the surgical field image acquired from the surgical robot 10 and the inference result by the calculation unit 21 to the console 40 through the third connection unit 25 .
  • control information regarding the surgical robot 10 may be input to the inference unit 20 through the third connector.
  • the control information regarding the surgical robot 10 includes information such as the positions, angles, velocities, and accelerations of the arms 13A-13D.
  • the inference unit 20 may include an operation section configured with various switches and levers operated by an operator or the like. A predetermined specific function may be assigned to a switch or lever provided in the operation unit, or a function set by the operator may be assigned.
  • the inference unit 20 may include a display unit that displays information to be notified to the operator or the like using characters or images, and may include an output unit that outputs information to be notified to the operator or the like by voice or sound. .
  • the server device 30 includes a codec section 31, a database 32, and the like.
  • the codec unit 31 has a function of encoding the image data of the surgical field input from the inference unit 20 and storing it in the database 32, a function of reading out and decoding the image data stored in the database 32, and the like.
  • the database 32 stores image data encoded by the codec section 31 .
  • the console 40 includes a master controller 41, an input device 42, an arm operation device 43, monitors 44A and 44B, and the like.
  • the master controller 41 is composed of a CPU, ROM, RAM, etc., and controls the operation of each hardware unit provided in the console 40 .
  • the input device 42 is an input device such as a keyboard, touch panel, switch, lever, etc., and receives instructions and information input from the operator.
  • the input device 42 is mainly a device for operating the inference unit 20 , but may be configured so that an operation target can be selected in order to accept switching of the display function on the console 40 .
  • the arm operation device 43 includes an operation tool for remotely operating the arm parts 13A-13B of the surgical robot 10.
  • the operation tool includes a left-hand operation rod operated by the operator's left hand and a right-hand operation lever operated by the operator's right hand.
  • the arm operating device 43 measures the movement of the operating tool using a measuring instrument such as a rotary encoder, and outputs the measured value to the master controller 41 .
  • the master controller 41 generates control commands for controlling the arm units 13A to 13D of the surgical robot 10 based on the measured values input from the arm operating device 43, and transmits the generated control commands to the surgical robot 10.
  • the surgical robot 10 controls the operations of the arm sections 13A to 13D based on control commands input from the console 40.
  • FIG. Thereby, the arm portions 13A to 13D of the surgical robot 10 are configured to operate following the movements of the operation tools (the left-hand operation rod and the right-hand operation rod) on the console 40.
  • the monitors 44A and 44B are display devices such as liquid crystal displays for displaying necessary information to the operator.
  • One of the monitors 44A and 44B is used, for example, as a main monitor for displaying an operative field image, and the other is used as a sub-monitor for displaying supplementary information such as patient information.
  • the laparoscope 15 is configured to output a left-eye operative field image and a right-eye operative field image
  • the left-eye operative field image is displayed on the monitor 44A
  • the right-eye operative field image is displayed. may be displayed on the monitor 44B to perform three-dimensional display of the operative field image.
  • the inference unit 20 and the server device 30 are provided separately, but the inference unit 20 and the server device 30 may be configured as an integrated device. Additionally, the reasoning unit 20 and the server device 30 may be incorporated into the console 40 .
  • FIG. 2 is a schematic diagram showing an example of an operating field image.
  • the operative field image in the present embodiment is an image obtained by imaging the inside of the patient's abdominal cavity with the laparoscope 15 .
  • the operative field image does not need to be a raw image output by the laparoscope 15, and may be an image (frame image) processed by the signal processing unit 16 or the like.
  • the operative field imaged by the laparoscope 15 includes various tissues such as organs, blood vessels, nerves, connective tissue, lesions, membranes and layers. While grasping the relationship between these anatomical structures, the operator uses a surgical instrument such as an energy treatment tool or forceps to dissect the tissue including the lesion.
  • the surgical field shown in FIG. 2 includes tissue NG including lesions such as malignant tumors, tissue ORG constituting organs, and connective tissue CT connecting these tissues.
  • the tissue NG is a site to be removed from the body, and the tissue ORG is a site to remain in the body.
  • the connective tissue CT is exposed by grasping the tissue NG with forceps 130B and expanding it upward in the figure.
  • an operation is performed to remove a lesion such as a malignant tumor formed in the patient's body.
  • the operator grasps the tissue NG including the lesion with the forceps 130B and expands it in an appropriate direction, thereby removing the connective tissue CT existing between the tissue NG including the lesion and the tissue ORG to be left.
  • expose The operator cuts off the exposed connective tissue CT using the energy treatment tool 130C, thereby separating the tissue NG including the lesion from the tissue ORG to be left.
  • the inference unit 20 acquires a surgical field image as shown in FIG. 2 and performs inference processing on the acquired surgical field image. Specifically, the inference unit 20 infers the position of the object to be recognized within the surgical field image. A learning model MD is used for the inference processing.
  • Fig. 3 is a sample diagram showing a configuration example of the learning model MD.
  • the learning model MD is a learning model for performing image segmentation, and is constructed by a neural network with convolutional layers such as SegNet.
  • the learning model MD is not limited to SegNet, but is constructed using any neural network that can perform image segmentation, such as FCN (Fully Convolutional Network), U-Net (U-Shaped Network), and PSPNet (Pyramid Scene Parsing Network). good too.
  • the learning model MD may be constructed using a neural network for object detection such as YOLO (You Only Look Once) or SSD (Single Shot Multi-Box Detector) instead of the neural network for image segmentation.
  • YOLO You Only Look Once
  • SSD Single Shot Multi-Box Detector
  • a learning model MD includes, for example, an encoder EN, a decoder DE, and a softmax layer SM.
  • the encoder EN consists of alternating convolutional layers and pooling layers.
  • the convolution layers are multi-layered into 2 to 3 layers. In the example of FIG. 3, the convolutional layers are shown without hatching, and the pooling layers are shown with hatching.
  • the convolution layer performs a convolution operation between the input data and a filter of a predetermined size (for example, 3 ⁇ 3, 5 ⁇ 5, etc.). That is, the input value input to the position corresponding to each element of the filter is multiplied by the weighting factor preset in the filter for each element, and the linear sum of the multiplied values for each element is calculated.
  • the output in the convolutional layer is obtained by adding the set bias to the calculated linear sum.
  • the result of the convolution operation may be transformed by an activation function.
  • ReLU Rectified Linear Unit
  • the output of the convolutional layer represents a feature map that extracts the features of the input data.
  • the pooling layer calculates the local statistics of the feature map output from the convolution layer, which is the upper layer connected to the input side. Specifically, a window of a predetermined size (for example, 2 ⁇ 2, 3 ⁇ 3) corresponding to the position of the upper layer is set, and local statistics are calculated from the input values within the window. For example, the maximum value can be used as the statistic.
  • the size of the feature map output from the pooling layer is reduced (downsampled) according to the size of the window. In the example of FIG. 3, an input image of 224 pixels ⁇ 224 pixels is converted to 112 ⁇ 112, 56 ⁇ 56, 28 ⁇ 28, . It shows that the feature map is sequentially down-sampled to a ⁇ 1 feature map.
  • the output of the encoder EN (1 ⁇ 1 feature map in the example of FIG. 3) is input to the decoder DE.
  • the decoder DE is constructed by alternating deconvolution layers and depooling layers.
  • the deconvolution layers are multi-layered in 2 to 3 layers. In the example of FIG. 3, the deconvolution layers are shown without hatching, and the depooling layers are shown with hatching.
  • the input feature map is deconvolved.
  • the deconvolution operation is an operation to restore the feature map before the convolution operation under the presumption that the input feature map is the result of the convolution operation using a specific filter.
  • a specific filter is represented by a matrix
  • the product of the transposed matrix for this matrix and the input feature map is calculated to generate a feature map for output.
  • the operation result of the deconvolution layer may be transformed by an activation function such as ReLU described above.
  • the inverse pooling layers of the decoder DE are individually associated one-to-one with the pooling layers of the encoder EN, and the associated pairs have substantially the same size.
  • the inverse pooling layer again enlarges (upsamples) the size of the downsampled feature map in the pooling layer of the encoder EN.
  • FIG. 3 sequentially upsamples to 1 ⁇ 1, 7 ⁇ 7, 14 ⁇ 14, . indicates that
  • the output of the decoder DE (224 ⁇ 224 feature map in the example of FIG. 3) is input to the softmax layer SM.
  • the softmax layer SM applies the softmax function to the input values from the deconvolution layer connected to the input side, and outputs the probability of the label identifying the part at each position (pixel).
  • the learning model MD may output a probability indicating whether or not each pixel corresponds to an object to be recognized from the softmax layer SM with respect to the input of the operative field image.
  • the calculation unit 21 of the inference unit 20 refers to the calculation result of the learning model MD, and extracts pixels whose label probability output from the softmax layer SM is a threshold value or more (for example, 90% or more). An image (inference image) indicating the position of the object can be generated.
  • FIG. 4 is a schematic diagram showing an example of an inference image.
  • the example of FIG. 4 is an inference image showing the location of connective tissue.
  • the connective tissue portion inferred using the learning model MD is indicated by a thick solid line, and other organ and tissue portions are indicated by broken lines for reference.
  • the calculation unit 21 of the inference unit 20 generates an inference image of the connective tissue to distinguishably display the inferred connective tissue portion.
  • the inference image is an image of the same size as the operative field image, and is an image in which pixels inferred as connective tissue are assigned specific colors.
  • the color assigned to the pixels of the connective tissue is preferably a color that does not exist inside the human body so that it can be distinguished from organs, blood vessels, and the like.
  • the color that does not exist inside the human body is, for example, a cold (blue) color such as blue or light blue.
  • a cold (blue) color such as blue or light blue.
  • the degree of transparency is set for each pixel constituting the inference image, and pixels recognized as connective tissue are set to be opaque, and other pixels are set to be transparent.
  • the object to be recognized is not limited to connective tissue, and may be any structure such as an organ, blood (bleeding), or a surgical device.
  • an object to be recognized is set in advance, and the learning model MD for the object is learned in advance and stored in the storage unit 22 .
  • the inference unit 20 transmits to the console 40 at least one of the surgical field image (also referred to as the original image) acquired from the surgical robot 10 and the inference image generated from the surgical field image. Images to be transmitted are set through the input device 42 of the console 40 . That is, if transmission is set to transmit both the original image and the inference image, the inference unit 20 transmits both the original image and the inference image to the console 40, and transmits only the original image (or only the inference image). transmission setting, the inference unit 20 transmits only the original image (or only the inference image) to the console 40 .
  • an inference image indicating the position of the target object in the operative field image is generated, and the generated inference image is transmitted to the console 40.
  • a configuration may be employed in which position information indicating the position of the object within the field image is generated and the generated position information is transmitted to the console 40 .
  • the position information indicating the position of the target object may be information specifying pixels corresponding to the target object, or may be information specifying the outline, barycenter, or the like of the area.
  • FIG. 5 is a schematic diagram showing a display example on the console 40. As shown in FIG. The console 40 can superimpose the inference image on the surgical field image and display it on the monitor 44A (or monitor 44B).
  • the display example of FIG. 5 shows an example in which an inference image of a connective tissue is superimposed on an original image and displayed. For the convenience of drawing, the connective tissue portion is indicated by a thick solid line. By checking the display screen, the connective tissue can be clearly identified, and the site to be excised can be grasped.
  • the inference image is superimposed on the operative field image and displayed on the monitor 44A (or monitor 44B). You may display the inference image in .
  • the operative field image may be displayed on one monitor 44A, and the inference image may be displayed on the other monitor 44B.
  • FIG. 6 is a flow chart for explaining the procedure of processing executed in the surgical robot system 1 according to the first embodiment.
  • the console 40 accepts transmission settings for the surgical field image and the inference image through the input device 42 (step S101).
  • the transmitter setting accepts a setting as to whether to transmit only the operative field image, only the inference image, or to transmit both the operative field image and the inference image.
  • the console 40 notifies the inference unit 20 of the received transmission setting (step S102).
  • FIG. 7 is a flowchart for explaining the procedure of processing executed in the surgical robot system 1 according to Embodiment 2.
  • the surgical robot system 1 performs inference processing for the surgical field image, transmission processing of the image from the inference unit 20 to the console 40, display processing on the monitors 44A and 44B, and the like, in the same procedure as in the first embodiment.
  • the calculation unit 21 of the inference unit 20 After performing the inference process, the calculation unit 21 of the inference unit 20 generates control information for controlling the operation of the surgical robot 10 according to the inference result (step S121), and transmits the generated control information to the console 40. It transmits (step S122).
  • the calculation unit 21 calculates the area of the object in time series based on the inference result of the learning model MD, and performs the following operations so that the laparoscope 15 moves following the portion where the calculated area increases or decreases.
  • a control amount of the arm portion 13A that holds the laparoscope 15 may be calculated.
  • the object may be a lesion or connective tissue to be excised, blood (bleeding), or the like.
  • the calculation unit 21 calculates the distance (mainly the distance in the depth direction) between the laparoscope 15 and the object based on the inference result of the learning model MD, and the arm holding the laparoscope 15 is calculated according to the calculated distance. You may calculate the control amount of the part 13A. Specifically, the calculation section 21 may calculate the distance of the arm section 13A so that the calculated distance becomes a preset distance.
  • control unit 21 may calculate the control amount of the arm unit 13A holding the laparoscope 15 so as to follow the region where the confidence of the inference result is relatively high.
  • FIG. 8 is an explanatory diagram for explaining a first specific example of the control method.
  • the area that the operator wants to see in the operative field image is the intersection of the extension line of the surgical device operated with the dominant hand (e.g. right hand) and the extension line of the surgical device operated with the non-dominant hand (e.g. left hand). are often nearby. Therefore, based on the inference result of the learning model MD, the calculation unit 21 recognizes the surgical device operated by the dominant hand and the surgical device operated by the non-dominant hand, and derives the extension line of each surgical device. and find their intersection point. In the example of FIG. 8, the extension of each surgical device is indicated by dashed lines and the intersection point is indicated by P1.
  • FIG. 10 is an explanatory diagram for explaining a third specific example of the control method.
  • the target of treatment with a surgical device is a blood vessel
  • an appropriate surgical device is selected according to the area (thickness) of the blood vessel, the shape of the blood vessel, and the like. Therefore, the calculation unit 21 recognizes the blood vessel appearing in the surgical field image based on the inference result of the learning model MD, and obtains the area of the blood vessel from the recognition result. At this time, the calculation unit 21 may standardize the area of the blood vessel using the size (area) of the surgical device (the forceps 130B and the energy treatment instrument 130C) shown in the surgical field image as a reference.
  • an icon may be displayed, or the operator may be notified by voice.
  • a target surgical device such as an ultrasonic coagulation and incision device
  • FIG. 11 is an explanatory diagram for explaining a fourth specific example of the control method.
  • the surgical device being operated by the operator's dominant hand and non-dominant hand is both a grasping forceps and a tissue is to be expanded, it is preferable to zoom out to a range where the grasping forceps can be fully captured. Therefore, based on the inference result of the learning model MD, the calculation unit 21 recognizes the surgical devices operated by the superior hand and the non-dominant hand of the operator, and determines whether or not both surgical devices are grasping forceps. do.
  • the calculating unit 21 calculates the control amount of the arm unit 13A holding the laparoscope 15 so as to zoom out to a range in which the grasping forceps are sufficiently captured. Control information based on the result is sent to the console 40 . Alternatively, the calculation unit 21 may calculate depth information and calculate the control amount of the arm unit 13A holding the laparoscope 15 based on the calculated depth information.
  • FIG. 11 shows a scene in which adipose tissue is grasped using two grasping forceps 130B and 130D, and shows a zoomed out state according to recognition by these two grasping forceps 130B and 130D.
  • FIG. 12 is an explanatory diagram for explaining a fifth specific example of the control method.
  • the calculation unit 21 recognizes the surgical device operated by the superior hand of the operator based on the inference result of the learning model MD, and determines whether or not the recognized surgical device is the cutting device.
  • the computing unit 21 holds the laparoscope 15 so that the tip of the cutting device is zoomed in sufficiently.
  • the amount of control of the arm portion 13A is calculated, and control information based on the calculation result is transmitted to the console 40.
  • the calculation unit 21 may calculate the area of the distal end portion of the detachment device, and calculate the control amount of the arm unit 13A so as to zoom in so that the calculated area is greater than or equal to the set value.
  • FIG. 12 shows a state in which the distal end portion of the energy treatment instrument 130C is zoomed in as a result of recognizing that the surgical device operated by the operator's dominant hand is the energy treatment instrument 130C (cutting device). .
  • the console 40 may automatically control the operation of the arm section 13A so as to follow the tip of the detachment device after zooming in.
  • the console 40 may control the movement of the arm 13A to follow the tip of the cutting device and zoom in when the tip of the cutting device comes to rest.
  • the arm 13A holding the laparoscope 15 is moved to zoom in.
  • the zoom mechanism of the laparoscope 15 can be controlled. It is good also as a structure which zooms in by.
  • FIG. 13 is an explanatory diagram for explaining a sixth specific example of the control method.
  • control to move the laparoscope 15 or control to put gauze may be performed.
  • the calculation unit 21 recognizes the bleeding region and calculates the area of the recognized bleeding region based on the inference result of the learning model MD.
  • the bleeding area is indicated by P6.
  • the area of the bleeding region P6 corresponds to the amount of bleeding.
  • the calculation unit 21 determines whether or not the calculated area of the bleeding region P6 is equal to or greater than a preset threshold.
  • a control amount of the arm portion 13A holding the laparoscope 15 is calculated so as to become a point (for example, the center of gravity of the bleeding region P6), and control information based on the calculation result is transmitted to the console 40.
  • the computing unit 21 may transmit control information to the console 40 for executing the control of placing gauze on the bleeding region P6. good. Specifically, when gripping forceps gripping gauze are attached to the arm portion 13D, the computing portion 21 generates control information for controlling the operation of the arm portion 13D and transmits it to the console 40. good. Also, the console 40 may display text information indicating that gauze should be placed on the bleeding area P6 on the monitor 44A.
  • the computing unit 21 may perform control to move the laparoscope 15 when the amount of bleeding is relatively small, and may perform control to place gauze when the amount of bleeding is relatively large. For example, a first threshold value and a second threshold value (where the first threshold value is less than the second threshold value) are set for the area of the bleeding region, and the laparoscope 15 is moved when the area of the bleeding region P6 is equal to or greater than the first threshold value. Control: When the area of the bleeding region P6 becomes equal to or greater than the second threshold value, gauze may be placed.
  • the console 40 may be configured to start the above control when receiving a trigger operation by the operator.
  • the trigger operation is the same as in the first specific example. That is, a predetermined gesture operation by the surgical device, a predetermined input operation by the input device 42, a predetermined voice input, or the like can be used as the trigger operation.
  • Embodiment 3 will describe a configuration for changing the resolution of the surgical field image according to the degree of certainty of the inference result.
  • FIG. 14 is a flowchart for explaining the procedure of processing executed by the inference unit 20 according to the third embodiment.
  • the surgical robot system 1 performs inference processing on the surgical field image in the same procedure as in the first embodiment.
  • the calculation unit 21 of the inference unit 20 calculates the certainty factor of the inference result (step S301).
  • the certainty of the inference result is calculated based on the probability output from the softmax layer SM of the learning model MD.
  • the calculation unit 21 can calculate the certainty by averaging the probability values for each pixel estimated to be the object.
  • the calculation unit 21 changes the resolution of the operative field image according to the calculated certainty (step S302).
  • the resolution of the operative field image may be changed according to the set resolution Y.
  • the computing unit 21 may change to a preset resolution when the certainty is lower than the threshold.
  • the calculation unit 21 transmits the surgical field image and the inference image with the changed resolution to the server device 30, and registers them in the database 32 (step S303).
  • Embodiment 3 it is possible to change the resolution of an operating field image that has a low degree of certainty and that is difficult to determine whether it is an object or not, thereby saving storage capacity.
  • Embodiment 4 a configuration for calculating the score of surgery by the surgical robot based on the certainty of the inference result and the information of the surgical robot 10 will be described.
  • the calculation unit 21 of the inference unit 20 calculates the certainty factor of the inference result (step S401).
  • the certainty of the inference result is calculated based on the probability output from the softmax layer SM of the learning model MD.
  • the calculation unit 21 can calculate the certainty by averaging the probability values for each pixel estimated to be the object.
  • the calculation unit 21 acquires information on the surgical robot 10 from the console 40 (step S402).
  • the calculation unit 21 may acquire information such as the positions, angles, velocities, and angular velocities of the arms 13A to 13D.
  • the calculation unit 21 calculates the surgical score based on the confidence factor calculated in step S401 and the information of the surgical robot 10 acquired in step S402 (step S403).
  • a function or a learning model configured to output a surgical score in accordance with the input of the certainty and the information of the surgical robot 10 is prepared in advance, and the certainty and the information of the surgical robot 10 are stored in the function or the learning model. to calculate the score.
  • the calculation unit 21 uses a function prepared in advance based on information such as the degree of certainty of the anatomical structure (object), area, increase/decrease in area, operation information of the surgical device, recognition result of the surgical device (trajectory, etc.), and the like. or a learning model may be used to calculate the score.
  • the calculation unit 21 may determine the next operation of the surgical robot 10 or present the next operation to the operator based on the calculated score.
  • Embodiment 5 The surgical robot system 1 according to Embodiment 5 generates left-eye and right-eye surgical field images in the laparoscope 15, and generates the generated left-eye and right-eye surgical field images via the inference unit 20, It is assumed that the system performs three-dimensional display by outputting to monitors 44A and 44B.
  • the calculation unit 21 of the inference unit 20 performs inference processing on each of the left-eye surgical field image and the right-eye surgical field image.
  • the inference procedure is the same as in the first embodiment.
  • FIG. 16 is a flowchart for explaining the procedure of processing executed by the inference unit 20 according to the fifth embodiment.
  • the calculation unit 21 of the inference unit 20 performs inference processing on each of the left-eye surgical field image and the right-eye surgical field image (step S501).
  • the inference procedure is the same as in the first embodiment.
  • the calculation unit 21 calculates the certainty factor for each inference result (step S502).
  • a certainty factor calculation method is the same as in the third embodiment.
  • the calculation unit 21 compares the confidence obtained from the left-eye operating field image and the confidence obtained from the right-eye operating field image, and determines whether or not the confidence is different (step S503).
  • the calculation unit 21 determines that the certainty factors are different when the certainty factors differ by a predetermined ratio (for example, 10%) or more.
  • step S503 If it is determined that the degrees of certainty are different (step S503: YES), there is a possibility that the laparoscope 15 is tilted with respect to the object, so the computing unit 21 outputs an alarm (step S504). Specifically, the computing unit 21 transmits character information indicating that the laparoscope 15 is tilted to the console 40, and displays it on the monitors 44A and 44B.
  • an alarm is output.
  • Information may be sent to console 40 .
  • the calculation unit 21 may calculate depth information based on the left and right parallax of the operative field image and transmit the calculated depth information to the console 40 .
  • the depth information of the designated position may be calculated.
  • depth information of specified positions (center of gravity, four corners, arbitrary points on contour, set position group, etc.) on the object may be calculated.
  • the calculation unit 21 may generate control information for controlling the operation of the laparoscope 15 based on the calculated depth information, and transmit the generated control information to the console 40 .
  • the calculation unit 21 may generate control information for automatically zooming the laparoscope 15 and transmit the generated control information to the console 40 .
  • the computing unit 21 determines the arrival point and the arrival path of the surgical device based on the depth information, automatically moves the arm units 13A to 13D to the vicinity of the resection target, and the surgical device approaches the resection target. In this case, control may be performed to display the information "Please excise" on the monitors 44A and 44B.
  • an alert may be output when an attempt is made to excise a portion that should not be excised or when a sign of danger such as bleeding is detected.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)

Abstract

推論装置、情報処理方法、及びコンピュータプログラムの提供。 手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、取得した術野画像について推論処理を行う推論部と、前記コンソールによる送信設定に応じて、前記画像取得部より取得した術野画像、及び、前記推論部による推論結果に基づく情報の少なくとも一方を、前記コンソールへ送信する送信部とを備える。

Description

推論装置、情報処理方法、及びコンピュータプログラム
　本発明は、推論装置、情報処理方法、及びコンピュータプログラムに関する。
　現在、手術ロボットを用いた手術が患者に対して行われている。この種の手術ロボットでは、手術に用いる２つの鉗子がそれぞれ２つのロボットアームに取り付けられる。また、内視鏡によって患部が撮影され、患部の３次元画像（左右の目の視差を利用して立体的な視覚が得られる画像）がモニタに表示される。医師等の術者は、モニタを参照しながら、両手で操作ユニットを操作して、各アームに取り付けられた鉗子を操る。
特開２０１４－３８０７５号公報
　特許文献１には、術野画像についての推論結果を術者に提示する技術についての記載は存在しない。
　本発明は、手術ロボットから得られる術野画像について推論を行い、推論結果に基づく情報をコンソールへ送信することができる推論装置、情報処理方法、及びコンピュータプログラムを提供することを目的とする。
　本発明の一態様における推論装置は、手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、取得した術野画像について推論処理を行う推論部と、前記コンソールによる送信設定に応じて、前記画像取得部より取得した術野画像、及び、前記推論部による推論結果に基づく情報の少なくとも一方を、前記コンソールへ送信する送信部とを備える。
　本発明の一態様における情報処理方法は、手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、前記手術ロボットの撮像部により撮像された術野画像を取得し、取得した術野画像について推論を行い、前記コンソールを通じて受付けた送信設定に応じて、前記術野画像及び推論結果に基づく情報の少なくとも一方を前記コンソールへ送信する処理を実行する。
　本発明の一態様におけるコンピュータプログラムは、手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、前記手術ロボットの撮像部により撮像された術野画像を取得し、取得した術野画像について推論を行い、前記コンソールを通じて受付けた送信設定に応じて、前記術野画像及び推論結果に基づく情報の少なくとも一方を前記コンソールへ送信する処理を実行させるためのコンピュータプログラムである。
　本願によれば、手術ロボットから得られる術野画像について推論を行い、推論結果に基づく情報をコンソールへ送信することができる。
実施の形態１に係る手術ロボットシステムの構成例を説明するブロック図である。 術野画像の一例を示す模式図である。 学習モデルの構成例を示す模試図である。 推論画像の一例を示す模式図である。 コンソールにおける表示例を示す模式図である。 実施の形態１に係る手術ロボットシステムにおいて実行する処理の手順を説明するフローチャートである。 実施の形態２に係る手術ロボットシステムにおいて実行する処理の手順を説明するフローチャートである。 制御手法の第１の具体例を説明する説明図である。 制御手法の第２の具体例を説明する説明図である。 制御手法の第３の具体例を説明する説明図である。 制御手法の第４の具体例を説明する説明図である。 制御手法の第５の具体例を説明する説明図である。 制御手法の第６の具体例を説明する説明図である。 実施の形態３における推論ユニットが実行する処理の手順を説明するフローチャートである。 実施の形態４における推論ユニットが実行する処理の手順を説明するフローチャートである。 実施の形態５における推論ユニットが実行する処理の手順を説明するフローチャートである。
　以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
　（実施の形態１）
　図１は実施の形態１に係る手術ロボットシステム１の構成例を示すブロック図である。実施の形態１に係る手術ロボットシステム１は、手術ロボット１０、推論ユニット２０、サーバ装置３０、及びコンソール４０を備える。手術ロボットシステム１では、手術ロボット１０に搭載される腹腔鏡１５によって術野を撮像し、腹腔鏡１５より得られる術野画像をコンソール４０のモニタ４４Ａ，４４Ｂに表示させる。術者（医師）は、モニタ４４Ａ，４４Ｂに表示される術野画像を確認しながら、アーム操作デバイス４３を動かすことによって、手術ロボット１０に搭載される手術デバイスを操作し、腹腔鏡手術を行う。
　なお、本発明は、腹腔鏡手術に限らず、胸腔鏡、消化管内視鏡、膀胱鏡、関節鏡、脊椎内視鏡、神経内視鏡、手術顕微鏡などを用いたロボット支援下内視鏡手術全般に適用可能である。
　以下、手術ロボット１０、推論ユニット２０、サーバ装置３０、及びコンソール４０の各構成について説明する。
　手術ロボット１０は、制御部１１、駆動部１２Ａ～１２Ｄ、アーム部１３Ａ～１３Ｄ、光源装置１４、腹腔鏡１５、信号処理部１６などを備える。
　制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより構成される。制御部１１は、コンソール４０から入力される制御情報などに基づき、手術ロボット１０が備えるハードウェア各部の動作を制御する。
　手術ロボット１０が備えるアーム部１３Ａ～１３Ｄのうち、１つ（アーム部１３Ａとする）は、腹腔鏡１５を３次元的に移動させるために用いられる。このため、アーム部１３Ａの先端部には腹腔鏡１５が装着される。駆動部１２Ａは、アーム部１３Ａを駆動するアクチュエータやモータ等を備えており、制御部１１からの制御によってアーム部１３Ａを駆動することにより、先端部に装着された腹腔鏡１５を３次元的に移動させる。なお、腹腔鏡１５の移動制御は、自動制御であってもよく、コンソール４０を介した手動制御であってもよい。
　残りの３つ（アーム部１３Ｂ～１３Ｄとする）は、手術デバイスを３次元的に移動させるために用いられる。このため、アーム部１３Ｂ～１３Ｄの先端部には手術デバイスが装着される。手術デバイスは、鉗子、エネルギ処置具、血管クリップ、自動吻合器などを含む。駆動部１２Ｂは、アーム部１３Ｂを駆動するアクチュエータやモータ等を備えており、制御部１１からの制御によってアーム部１３Ｂを駆動することにより、先端部に装着された手術デバイスを３次元的に移動させる。駆動部１２Ｃ，１２Ｄについても同様である。なお、手術デバイスの移動制御は、主としてコンソール４０を介した手動制御であるが、補助的に自動制御が用いられてもよい。また、３つのアーム部１３Ｂ～１３Ｄは同時に制御される必要はなく、３つのアーム部１３Ｂ～１３Ｄのうちの２つが適宜選択されて手動制御される。
　光源装置１４は、光源、ライトガイド、照明レンズなどを備える。光源装置１４は、光源から出射される照明光をライトガイドの先端部へ導き、ライトガイドの先端部に設けられた照明レンズを介して術野に照明光を照射する。光源装置１４が照射する光は、通常光であってもよく、特殊光であってもよい。通常光とは、例えば白色光の波長帯域（３８０ｎｍ～６５０ｎｍ）を有する光である。一方、特殊光は、通常光とは異なる別の照明光であり、狭帯域光、赤外光、励起光などが該当する。
　腹腔鏡１５は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子、タイミングジェネレータ（ＴＧ）やアナログ信号処理回路（ＡＦＥ）などを搭載したドライバ回路を備える。腹腔鏡１５のドライバ回路は、ＴＧから出力されるクロック信号に同期して撮像素子から出力されるＲＧＢ各色の信号を取り込み、ＡＦＥにおいて、ノイズ除去、増幅、ＡＤ変換などの必要な処理を施し、デジタル形式の画像データ（術野画像）を生成する。
　信号処理部１６は、ＤＳＰ（Digital Signal Processor）や画像メモリなどを備え、腹腔鏡１５より入力される画像データに対して、色分離、色補間、ゲイン補正、ホワイトバランス調整、ガンマ補正等の適宜の処理を施す。信号処理部１６は、処理後の画像データから動画用のフレーム画像を生成し、生成した各フレーム画像を推論ユニット２０へ順次出力する。フレーム画像のフレームレートは、例えば３０ＦＰＳ（Frames Per Second）である。一例では、信号処理部１６は、ＮＴＳＣ（National Television System Committee）、ＰＡＬ（Phase Alternating Line）、ＤＩＣＯＭ（Digital Imaging and COmmunication in Medicine）などの所定の規格に準拠した映像データを出力してもよい。
　推論ユニット２０は、演算部２１、記憶部２２、第１接続部２３、第２接続部２４、第３接続部２５などを備える。
　演算部２１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどにより構成される。演算部２１内のＲＯＭには、推論ユニット２０が備えるハードウェア各部の動作を制御する制御プログラム等が記憶される。演算部２１内のＣＰＵは、ＲＯＭに記憶された制御プログラムや後述する記憶部２２に記憶されたコンピュータプログラムを実行し、ハードウェア各部の動作を制御することによって、装置全体を本願の推論装置として機能させる。演算部２１内のＲＡＭには、演算の実行中に利用されるデータ等が一時的に記憶される。
　本実施の形態では、演算部２１がＣＰＵ、ＲＯＭ、及びＲＡＭを備える構成としたが、演算部２１の構成は任意であり、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、量子プロセッサ、揮発性又は不揮発性のメモリ等を備える演算回路や制御回路であればよい。また、演算部２１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を有するものであってもよい。
　記憶部２２は、フラッシュメモリなどの記憶装置を備える。記憶部２２には、演算部２１によって実行されるコンピュータプログラム、外部から取得した各種のデータ、装置内部で生成した各種のデータ等が記憶される。
　記憶部２２に記憶されるコンピュータプログラムは、術野画像についての推論処理を演算部２１に実行させるための推論処理プログラムＰＧなどを含む。これらのコンピュータプログラムは、単一のコンピュータプログラムであってもよく、複数のコンピュータプログラムにより構築されるプログラム群であってもよい。また、推論処理プログラムＰＧを含むコンピュータプログラムは、複数のコンピュータに分散して配置され、複数のコンピュータにより協働して実行されるものであってもよい。
　推論処理プログラムＰＧを含むコンピュータプログラムは、コンピュータプログラムを読み取り可能に記録した非一時的な記録媒体ＲＭにより提供される。記録媒体ＲＭは、ＣＤ－ＲＯＭ、ＵＳＢメモリ、ＳＤ（Secure Digital）カードなどの可搬型メモリである。演算部２１は、図に示していない読取装置を用いて、記録媒体ＲＭから所望のコンピュータプログラムを読み取り、読み取ったコンピュータプログラムを記憶部２２に記憶させる。代替的に、推論処理プログラムＰＧを含むコンピュータプログラムは、通信により提供されてもよい。この場合、演算部２１は、通信により所望のコンピュータプログラムをダウンロードし、ダウンロードしたコンピュータプログラムを記憶部２２に記憶させる。
　また、記憶部２２には、推論処理に用いられる学習モデルＭＤが記憶される。学習モデルＭＤの一例は、術野画像内で認識すべき対象物の位置を推論するために用いられる学習モデルである。この場合、学習モデルＭＤは、術野画像を入力した場合、対象物の位置を示す情報を出力するよう構成される。ここで、術野画像内で認識すべき対象物は、食道、胃、大腸、膵臓、脾臓、尿管、肺、前立腺、子宮、胆嚢、肝臓、精管などの臓器であってもよく、血液、結合組織、脂肪、神経、血管、筋肉、膜状構造物などの組織であってもよい。また、対象物は、鉗子、エネルギ処置具、血管クリップ、自動吻合器などの手術デバイスであってもよい。学習モデルＭＤは、対象物の位置を示す情報として、画素単位若しくは特定の領域単位で対象物に該当するか否かを示す確率の情報を出力すればよい。記憶部２２には、学習済みのパラメータを含む学習モデルＭＤの定義情報が記憶される。
　学習モデルＭＤの他の例は、場面を推論するために用いられる学習モデルである。この場合、学習モデルＭＤは、術野画像を入力した場合、手術画像が示す場面に関する情報を出力するよう構成される。学習モデルＭＤが出力する場面に関する情報は、例えば、特定の臓器を含む場面である確率、手術において特徴的な手技操作を行う場面である確率、特定の手術デバイス（血管クリップや自動吻合器など）を用いて特徴的な操作（血管の結紮や腸管の切離、吻合など）を行う場面の確率などの情報である。
　簡略化のために、図１では１つの学習モデルＭＤのみを示しているが、複数の学習モデルが記憶部２２に記憶されてもよい。例えば、記憶部２２には、複数種の臓器を認識するために、各臓器に対応した複数の学習モデルが記憶されてもよく、臓器及びその他の構造物を認識するために、それぞれに対応した複数の学習モデルが記憶されてもよい。また、記憶部２２には、臓器などの構造物を認識するための学習モデルと、場面を認識するための学習モデルとが記憶されてもよい。
　第１接続部２３は、手術ロボット１０を接続する接続インタフェースを備える。推論ユニット２０には、腹腔鏡１５によって撮像され、信号処理部１６によって処理が施された術野画像の画像データが第１接続部２３を通じて入力される。第１接続部２３より入力された画像データは演算部２１や記憶部２２へ出力される。
　第２接続部２４は、サーバ装置３０を接続する接続インタフェースを備える。推論ユニット２０は、手術ロボット１０より取得した術野画像の画像データや演算部２１による推論結果を第２接続部２４よりサーバ装置３０へ出力する。
　第３接続部２５は、コンソール４０を接続する接続インタフェースを備える。推論ユニット２０は、手術ロボット１０より取得した術野画像の画像データや演算部２１による推論結果を第３接続部２５よりコンソール４０へ出力する。また、推論ユニット２０には、手術ロボット１０に関する制御情報が第３接続部を通じて入力されてもよい。手術ロボット１０に関する制御情報は、例えば、アーム部１３Ａ～１３Ｄの位置、角度、速度、加速度などの情報を含む。
　推論ユニット２０は、術者等によって操作される各種のスイッチやレバーにより構成される操作部を備えてもよい。操作部が備えるスイッチやレバーには、予め定められた特定の機能が割り当てられてもよく、術者によって設定された機能が割り当てられてもよい。推論ユニット２０は、術者等に報知すべき情報を文字や画像により表示する表示部を備えてもよく、術者等に報知すべき情報を音声や音により出力する出力部を備えてもよい。
　サーバ装置３０は、コーデック部３１、データベース３２などを備える。コーデック部３１は、推論ユニット２０より入力される術野の画像データを符号化し、データベース３２に記憶させる機能、データベース３２に記憶された画像データを読み出し、復号する機能等を備える。データベース３２は、コーデック部３１により符号化された画像データを記憶する。
　コンソール４０は、マスターコントローラ４１、入力デバイス４２、アーム操作デバイス４３、モニタ４４Ａ，４４Ｂなどを備える。
　マスターコントローラ４１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどにより構成され、コンソール４０が備えるハードウェア各部の動作を制御する。入力デバイス４２は、キーボード、タッチパネル、スイッチ、レバーなどの入力デバイスであり、術者等による指示や情報の入力を受付ける。入力デバイス４２は、主として、推論ユニット２０を操作するためのデバイスであるが、コンソール４０における表示機能の切り替えを受付けるために、操作対象を選べるように構成されてもよい。
　アーム操作デバイス４３は、手術ロボット１０のアーム部１３Ａ～１３Ｂを遠隔操作するための操作具を備える。操作具は、術者の左手により操作される左手用操作杆と、術者の右手により操作される右手用操作杆とを含む。アーム操作デバイス４３は、操作具の動きをロータリーエンコーダなどの計測器により計測し、計測値をマスターコントローラ４１へ出力する。マスターコントローラ４１は、アーム操作デバイス４３より入力される計測値に基づき、手術ロボット１０のアーム部１３Ａ～１３Ｄを制御するための制御指令を生成し、生成した制御指令を手術ロボット１０へ送信する。手術ロボット１０では、コンソール４０から入力される制御指令に基づき、アーム部１３Ａ～１３Ｄの動作を制御する。これにより、手術ロボット１０のアーム部１３Ａ～１３Ｄは、コンソール４０での操作具（左手用操作杆及び右手用操作杆）の動きに追従して動作するよう構成される。
　モニタ４４Ａ，４４Ｂは、術者に対して必要な情報を表示するための液晶ディスプレイ等の表示装置である。モニタ４４Ａ，４４Ｂは、例えば、一方が術野画像等を表示するためのメインモニタとして使用され、他方が患者情報等の補足情報を表示するためのサブモニタとして使用される。また、腹腔鏡１５が左眼用の術野画像及び右眼用の術野画像を出力する構成であれば、左眼用の術野画像をモニタ４４Ａに表示し、右眼用の術野画像をモニタ４４Ｂに表示することにより、術野画像の３次元表示を行ってもよい。
　図１に示す構成例では、推論ユニット２０とサーバ装置３０とを別体として備える構成としたが、推論ユニット２０及びサーバ装置３０は一体の装置として構成されてもよい。更に、推論ユニット２０及びサーバ装置３０は、コンソール４０に組み込まれてもよい。
　次に、推論ユニット２０に入力される術野画像について説明する。
　図２は術野画像の一例を示す模式図である。本実施の形態における術野画像は、患者の腹腔内を腹腔鏡１５により撮像して得られる画像である。術野画像は、腹腔鏡１５が出力する生の画像である必要はなく、信号処理部１６などによって処理が施された画像（フレーム画像）であればよい。
　腹腔鏡１５により撮像される術野には、臓器、血管、神経、結合組織、病変部、膜や層などの様々な組織が含まれる。術者は、これらの解剖学的構造の関係を把握しながら、エネルギ処置具や鉗子などの術具を用いて、病変部を含む組織の剥離を行う。図２に示す術野には、悪性腫瘍などの病変部を含む組織ＮＧ、臓器を構成する組織ＯＲＧ、及びこれらの組織を結合する結合組織ＣＴが含まれている。本実施の形態において、組織ＮＧは体内から除去されるべき部位であり、組織ＯＲＧは体内に残存させるべき部位である。図２の例では、結合組織ＣＴは、組織ＮＧが鉗子１３０Ｂによって把持され、図の上方に展開されることによって露出されている。
　腹腔鏡手術では、例えば患者の体内に形成された悪性腫瘍などの病変部を取り除く手術を行う。このとき、術者は、病変部を含む組織ＮＧを鉗子１３０Ｂにより把持し、適宜の方向に展開させることによって、病変部を含む組織ＮＧと残すべき組織ＯＲＧとの間に存在する結合組織ＣＴを露出させる。術者は、露出させた結合組織ＣＴをエネルギ処置具１３０Ｃを用いて切除することにより、病変部を含む組織ＮＧを残すべき組織ＯＲＧから剥離させる。
　推論ユニット２０は、図２に示すような術野画像を取得し、取得した術野画像について推論処理を行う。具体的には、推論ユニット２０は、術野画像内で認識すべき対象物の位置を推論する。推論処理には、学習モデルＭＤが用いられる。
　図３は学習モデルＭＤの構成例を示す模試図である。学習モデルＭＤは、画像セグメンテーションを行うための学習モデルであり、例えばＳｅｇＮｅｔなどの畳み込み層を備えたニューラルネットワークにより構築される。学習モデルＭＤは、ＳｅｇＮｅｔに限らず、ＦＣＮ（Fully Convolutional Network）、Ｕ－Ｎｅｔ（U-Shaped Network）、ＰＳＰＮｅｔ（Pyramid Scene Parsing Network）など、画像セグメンテーションが行える任意のニューラルネットワークを用いて構築されてもよい。また、学習モデルＭＤは、画像セグメンテーション用のニューラルネットワークに代えて、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multi-Box Detector）など物体検出用のニューラルネットワークを用いて構築されてもよい。
　学習モデルＭＤは、例えば、エンコーダＥＮ、デコーダＤＥ、及びソフトマックス層ＳＭを備える。エンコーダＥＮは、畳み込み層とプーリング層とを交互に配置して構成される。畳み込み層は２～３層に多層化されている。図３の例では、畳み込み層にはハッチングを付さずに示し、プーリング層にはハッチングを付して示している。
　畳み込み層では、入力されるデータと、それぞれにおいて定められたサイズ（例えば、３×３や５×５など）のフィルタとの畳み込み演算を行う。すなわち、フィルタの各要素に対応する位置に入力された入力値と、フィルタに予め設定された重み係数とを各要素毎に乗算し、これら要素毎の乗算値の線形和を算出する。算出した線形和に、設定されたバイアスを加算することによって、畳み込み層における出力が得られる。なお、畳み込み演算の結果は活性化関数によって変換されてもよい。活性化関数として、例えばＲｅＬＵ（Rectified Linear Unit）を用いることができる。畳み込み層の出力は、入力データの特徴を抽出した特徴マップを表している。
　プーリング層では、入力側に接続された上位層である畳み込み層から出力された特徴マップの局所的な統計量を算出する。具体的には、上位層の位置に対応する所定サイズ（例えば、２×２、３×３）のウインドウを設定し、ウインドウ内の入力値から局所の統計量を算出する。統計量としては、例えば最大値を採用できる。プーリング層から出力される特徴マップのサイズは、ウインドウのサイズに応じて縮小（ダウンサンプリング）される。図３の例は、エンコーダＥＮにおいて畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、２２４画素×２２４画素の入力画像を、１１２×１１２、５６×５６、２８×２８、…、１×１の特徴マップに順次ダウンサンプリングしていることを示している。
　エンコーダＥＮの出力（図３の例では１×１の特徴マップ）は、デコーダＤＥに入力される。デコーダＤＥは、逆畳み込み層と逆プーリング層とを交互に配置して構成される。逆畳み込み層は２～３層に多層化されている。図３の例では、逆畳み込み層にはハッチングを付さずに示し、逆プーリング層にはハッチングを付して示している。
　逆畳み込み層では、入力された特徴マップに対して、逆畳み込み演算を行う。逆畳み込み演算とは、入力された特徴マップが特定のフィルタを用いて畳み込み演算された結果であるという推定の下、畳み込み演算される前の特徴マップを復元する演算である。この演算では、特定のフィルタを行列で表したとき、この行列に対する転置行列と、入力された特徴マップとの積を算出することで、出力用の特徴マップを生成する。なお、逆畳み込み層の演算結果は、上述したＲｅＬＵなどの活性化関数によって変換されてもよい。
　デコーダＤＥが備える逆プーリング層は、エンコーダＥＮが備えるプーリング層に１対１で個別に対応付けられており、対応付けられている対は実質的に同一のサイズを有する。逆プーリング層は、エンコーダＥＮのプーリング層においてダウンサンプリングされた特徴マップのサイズを再び拡大（アップサンプリング）する。図３の例は、デコーダＤＥにおいて畳み込み層における演算とプーリング層における演算とを順次繰り返すことによって、１×１、７×７、１４×１４、…、２２４×２２４の特徴マップに順次アップサンプリングしていることを示している。
　デコーダＤＥの出力（図３の例では２２４×２２４の特徴マップ）は、ソフトマックス層ＳＭに入力される。ソフトマックス層ＳＭは、入力側に接続された逆畳み込み層からの入力値にソフトマックス関数を適用することにより、各位置（画素）における部位を識別するラベルの確率を出力する。本実施の形態に係る学習モデルＭＤは、術野画像の入力に対して、各画素が認識すべき対象物に該当するか否かを示す確率をソフトマックス層ＳＭより出力すればよい。
　推論ユニット２０の演算部２１は、学習モデルＭＤによる演算結果を参照し、ソフトマックス層ＳＭから出力されるラベルの確率が閾値以上（例えば９０％以上）の画素を抽出することによって、認識すべき対象物の位置を示す画像（推論画像）を生成することができる。
　図４は推論画像の一例を示す模式図である。図４の例は結合組織の位置を示す推論画像である。図４では、学習モデルＭＤを用いて推論した結合組織部分を太実線により示し、それ以外の臓器や組織の部分を参考として破線により示している。推論ユニット２０の演算部２１は、推論した結合組織部分を判別可能に表示するために結合組織の推論画像を生成する。推論画像は、術野画像と同一サイズの画像であり、結合組織として推論された画素に特定の色を割り当てた画像である。結合組織の画素に割り当てる色は、臓器や血管などと区別が付くように、人体内部に存在しない色であることが好ましい。人体内部に存在しない色とは、例えば青色や水色などの寒色系（青系）の色である。また、推論画像を構成する各画素には透過度が設定され、結合組織として認識された画素は不透過、それ以外の画素は透過に設定される。このように生成された推論画像を術野画像上に重ねて表示することにより、結合組織部分を特定の色を有する構造として術野画像上に表示することができる。
　図４の例では結合組織の推論画像を示しているが、認識すべき対象物は結合組織に限らず、臓器、血液（出血）、手術デバイス等の任意の構造物であってもよい。本実施の形態では、認識すべき対象物は事前に設定されており、当該対象物用の学習モデルＭＤは事前に学習されて記憶部２２に記憶されているものとする。
　推論ユニット２０は、手術ロボット１０から取得した術野画像（元画像ともいう）、及び、術野画像から生成した推論画像の少なくとも一方をコンソール４０へ送信する。送信対象の画像は、コンソール４０の入力デバイス４２を通じて設定される。すなわち、元画像及び推論画像の双方を送信するとの送信設定であれば、推論ユニット２０は、元画像及び推論画像の双方をコンソール４０へ送信し、元画像のみ（又は推論画像のみ）を送信するとの送信設定であれば、推論ユニット２０は、元画像のみ（又は推論画像のみ）をコンソール４０へ送信する。
　本実施の形態では、術野画像内での対象物の位置を示す推論画像を生成し、生成した推論画像をコンソール４０へ送信する構成としたが、推論画像を送信する構成に代えて、術野画像内での対象物の位置を示す位置情報を生成し、生成した位置情報をコンソール４０へ送信する構成としてもよい。ここで、対象物の位置を示す位置情報とは、対象物に該当する画素を指定する情報であってもよく、領域の輪郭や重心等を指定する情報であってもよい。なお、推論画像を送信する場合には、推論ユニット２０からコンソール４０への一方向通信を使用し、位置情報を送信する場合には、推論ユニット２０とコンソール４０との間の双方向通信を使用してもよい。また、元画像及び推論画像（若しくは位置情報）は、サーバ装置３０に送信されて、データベース３２に登録されてもよい。
　コンソール４０は、推論ユニット２０から送信される術野画像及び推論画像を受信し、モニタ４４Ａ，４４Ｂに表示する。図５はコンソール４０における表示例を示す模式図である。コンソール４０は、推論画像を術野画像上に重畳してモニタ４４Ａ（又はモニタ４４Ｂ）に表示することができる。図５の表示例は、結合組織の推論画像を元画像に重畳して表示した例を示している。作図の都合上、結合組織部分を太実線により示しているが、実際には、結合組織に該当する部分が画素単位で青色や水色などの人体内部に存在しない色で塗られるため、術者は、表示画面を確認することにより、結合組織を明確に判別することができ、切除すべき部位を把握できる。
　本実施の形態では、推論画像を術野画像上に重畳してモニタ４４Ａ（又はモニタ４４Ｂ）に表示する構成としたが、表示画面内の一の領域に術野画像を表示し、他の領域に推論画像を表示してもよい。また、術野画像を一方のモニタ４４Ａに表示し、推論画像を他方のモニタ４４Ｂに表示してもよい。
　コンソール４０は、術野画像内での対象物の位置を示す位置情報を推論ユニット２０から受信した場合、位置情報に基づき対象物の推論画像を生成し、生成した推論画像を、術野画像上に重畳して（若しくは術野画像と独立して）モニタ４４Ａ，４４Ｂに表示すればよい。
　以下、手術ロボットシステム１の動作について説明する。
　図６は実施の形態１に係る手術ロボットシステム１において実行する処理の手順を説明するフローチャートである。コンソール４０は、入力デバイス４２を通じて、術野画像及び推論画像の送信設定を受付ける（ステップＳ１０１）。送信手設定では、術野画像のみを送信するのか、推論画像のみを送信するのか、術野画像及び推論画像の双方を送信するのかについての設定を受付ける。コンソール４０は、受付けた送信設定を推論ユニット２０に通知する（ステップＳ１０２）。
　手術ロボット１０において腹腔鏡１５による術野の撮像が始まると、推論ユニット２０は、第１接続部２３を通じて術野画像を取得する（ステップＳ１０３）。推論ユニット２０の演算部２１は、取得した術野画像を学習モデルＭＤによる演算を実行し（ステップＳ１０４）、術野画像についての推論処理を行う（ステップＳ１０５）。演算部２１は、学習モデルＭＤから推論結果を取得し、推論結果に基づく情報として推論画像を生成する（ステップＳ１０６）。推論画像を生成する構成に代えて、対象物の位置を示す位置情報を生成してもよい。演算部２１は、ステップＳ１０３でフレーム単位の術野画像を取得する都度、ステップＳ１０４～Ｓ１０６の処理を実行すればよい。ただし、送信設定が術野画像のみの送信である場合、演算部２１は、ステップＳ１０４～ステップＳ１０６の処理を省略してもよい。
　推論ユニット２０は、ステップＳ１０２で受付けた送信設定に応じて、術野画像及び推論画像の少なくとも一方をコンソール４０へ送信する（ステップＳ１０７）。また、推論ユニット２０は、術野画像及び推論画像の少なくとも一方をサーバ装置３０へ送信し、データベース３２に登録させる処理を行ってもよい。
　コンソール４０は、推論ユニット２０から送信される術野画像及び推論画像の少なくとも一方を受信した場合、受信した画像をモニタ４４Ａ，４４Ｂに表示する（ステップＳ１０８）。コンソール４０は、術野画像及び推論画像の双方を受信した場合、術野画像上に推論画像を重畳してモニタ４４Ａ（若しくはモニタ４４Ｂ）に表示する。代替的に、コンソール４０は、術野画像及び推論画像を個別にモニタ４４Ａ，４４Ｂに表示してもよい。術野画像又は推論画像の一方を受信した場合、コンソール４０は、受信した画像をモニタ４４Ａ（若しくはモニタ４４Ｂ）に表示する。
　以上のように、実施の形態１では、コンソール４０を操作する術者の判断により、推論ユニット２０からコンソール４０への送信設定を行うことができ、送信設定に応じて、術野画像及び推論画像の少なくとも一方を推論ユニット２０からコンソール４０へ送信することができる。このため、推論画像が不要な場面では、推論画像の送信を停止することができ、推論ユニット２０及びコンソール４０間の通信負荷を軽減することができる。
（実施の形態２）
　実施の形態２では、推論ユニット２０において手術ロボット１０の制御情報を生成し、コンソール４０を通じて手術ロボットを制御する構成について説明する。
　図７は実施の形態２に係る手術ロボットシステム１において実行する処理の手順を説明するフローチャートである。手術ロボットシステム１は、実施の形態１と同様の手順にて、術野画像についての推論処理、推論ユニット２０からコンソール４０への画像の送信処理、モニタ４４Ａ，４４Ｂへの表示処理等を行う。
　推論ユニット２０の演算部２１は、推論処理を行った後、推論結果に応じて、手術ロボット１０の動作を制御するための制御情報を生成し（ステップＳ１２１）、生成した制御情報をコンソール４０へ送信する（ステップＳ１２２）。
　例えば、演算部２１は、学習モデルＭＤの推論結果に基づき、エネルギ処置具１３０Ｃの先端部分を時系列的に認識し、エネルギ処置具１３０Ｃの先端部分に追従して腹腔鏡１５が移動するように、腹腔鏡１５を保持するアーム部１３Ａの制御量（移動量、回転角度、速度及び角速度の変化量等）を計算すればよい。また、演算部２１は、術者によって事前に設定された種類の手術デバイスを学習モデルＭＤによって認識し、認識した手術デバイスを自動追従するように制御情報を生成してコンソール４０へ送信してもよい。
　また、演算部２１は、学習モデルＭＤの推論結果に基づき、対象物の面積を時系列的に算出し、算出した面積が増減している部分に追従して腹腔鏡１５が移動するように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。ここで、対象物は、切除対象の病変部や結合組織であってもよく、血液（出血）等であってもよい。
　更に、演算部２１は、学習モデルＭＤの推論結果に基づき、対象物若しくは対象物の形状を認識し、認識した対象物上の指定された位置へ腹腔鏡１５が移動するように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。対象物は、例えば特定の臓器である。また、対象物上の指定された位置は、対象物の重心であってもよく、対象物の周縁上の任意の一点であってもよい。
　更に、演算部２１は、学習モデルＭＤの推論結果に基づき、腹腔鏡１５と対象物との距離（主として奥行き方向の距離）を算出し、算出した距離に応じて、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。具体的には、演算部２１は、算出した距離が予め設定された距離となるように、アーム部１３Ａの距離を計算すればよい。
　更に、制御部２１は、推論結果の確信度が相対的に高い領域を追従するように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。
　なお、アーム部１３Ａの制御量は、現在のアーム部１３Ａの位置、角度、速度、角速度からの変化量として計算される。演算部２１は、現在のアーム部１３Ａの位置、角度、速度、角速度の情報は、コンソール４０から取得することが可能である。演算部２１は、学習モデルＭＤの推論結果から対象物を認識し、認識した対象物の位置や前回の認識位置からの変位に応じて、アーム部１３Ａの位置、角度、速度、角速度等の変化量を計算すればよい。
　コンソール４０のマスターコントローラ４１は、手術ロボット１０に対する制御情報を推論ユニット２０から受信した場合、受信した制御情報に基づいて、手術ロボット１０に対する制御指令を生成する（ステップＳ１２３）。制御指令は、手術ロボット１０とコンソール４０との間で予め定められた１又は複数のコマンド等により構成される。コンソール４０は、マスターコントローラ４１により生成された制御指令を手術ロボット１０へ送信する（ステップＳ１２４）。
　手術ロボット１０の制御部１１は、コンソール４０から送信される制御指令を受信した場合、受信した制御指令に従って、駆動部１２Ａ～１２Ｄを駆動することにより、アーム１３部Ａ～１３Ｄの動作を制御する（ステップＳ１２５）。
　以上のように、実施の形態２では、推論ユニット２０の推論結果に応じて、手術ロボット１０の動作を制御することができる。
　以下、実施の形態２における手術ロボット１０の制御手法について、具体例を開示する。
　（１）図８は制御手法の第１の具体例を説明する説明図である。術野画像において術者が見たい領域は、優位手（例えば右手）で操作している手術デバイスの延長線と、非優位手（例えば左手）で操作している手術デバイスの延長線との交点付近であることが多い。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、優位手で操作されている手術デバイスと、非優位手で操作されている手術デバイスとを認識し、各手術デバイスの延長線を導出して、それらの交点を求める。図８の例では、各手術デバイスの延長線を破線で示し、交点をＰ１により示している。演算部２１は、腹腔鏡１５の撮像中心が交点Ｐ１と一致するように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。コンソール４０は、推論ユニット２０からの制御情報に基づき、アーム部１３Ａの動作を自動制御することが可能である。
　コンソール４０は、アーム部１３Ａを自動制御する構成に代えて、術者によるトリガー操作を受付けた場合に制御を開始する構成としてもよい。トリガ操作として、手術デバイスによるジェスチャ動作を採用することができる。例えば、手術デバイスの先端を交点Ｐ１へ近づける動作や手術デバイスによって交点Ｐ１を指し示す動作などの予め定められたジェスチャ動作を受付けた場合、コンソール４０は、トリガー操作を受付けたと判断し、アーム部１３Ａの動作の制御を開始すればよい。手術デバイスによるジェスチャ動作に代えて、入力デバイス４２による所定の入力操作（タッチパネルへのタッチ操作やキーボードによるコマンド入力など）を受付けた場合、制御を開始する構成としてもよい。また、推論ユニット２０又はコンソール４０が音声入力部を備える場合、所定の音声の入力をトリガーとして、アーム部１３Ａの動作の制御を開始してもよい。
　（２）図９は制御手法の第２の具体例を説明する説明図である。術野画像において、術者が確認したい部位の一つに血管の先端部分がある。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、術野画像に現れる血管の形状を認識し、形状が先細りしている箇所を特定することによって、血管の先端部分を特定する。図９の例では、血管の先端部分をＰ２により示している。演算部２１は、腹腔鏡１５の撮像中心が血管の先端部分Ｐ２となるように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。
　なお、腹腔鏡１５の撮像中心が常に血管の先端部分に一致する必要はないので、コンソール４０は、術者によるトリガー操作を受付けた場合、アーム部１３Ａの動作の制御を開始すればよい。トリガー操作は、第１の具体例と同様である。すなわち、手術デバイスによる所定のジェスチャ動作、入力デバイス４２による所定の入力操作、所定の音声入力等をトリガー操作として用いることができる。
　（３）図１０は制御手法の第３の具体例を説明する説明図である。手術デバイスによる処置対象が血管である場合、血管の面積（太さ）、血管の形状等に応じて、適切な手術デバイスが選択される。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、術野画像に現れる血管を認識し、認識結果から血管の面積を求める。このとき、演算部２１は、術野画像に映っている手術デバイス（鉗子１３０Ｂやエネルギ処置具１３０Ｃ）の大きさ（面積）を基準に用いて、血管の面積を規格化してもよい。また、演算部２１は、学習モデルＭＤの推論結果に基づき、術者画像に現れる血管の形状を認識してもよい。演算部２１は、計算した血管の面積や認識した血管の形状に応じて、適切な手術デバイス（例えば、５ｍｍ用のクリップ、１０ｍｍ用のクリップ、超音波凝固切開装置など）を選択し、選択した手術デバイスの情報をコンソール４０に通知する。コンソール４０は、推論ユニット２０から通知される手術デバイスの情報を例えばモニタ４４Ａに表示させる。図１０は、術野画像に現れる血管の形状Ｐ３１を認識し、超音波凝固切開装置を用意して下さいとの文字情報Ｐ３２をモニタ４４Ａに表示させた例を示している。文字情報を表示する構成に代えて、アイコンを表示してもよく、音声により術者に報知してもよい。また、術者の優位手及び非優位手で操作していないアーム部（例えばアーム部１３Ｄ）が存在し、このアーム部に目的の手術デバイス（超音波凝固切開装置など）が装着されている場合、アーム部の切り替えを術者に促してもよい。
　（４）図１１は制御手法の第４の具体例を説明する説明図である。術者の優位手及び非優位手で操作している手術デバイスが双方とも把持鉗子であり、何らかの組織を展開しようとしている場面では、把持鉗子が十分に映る範囲までズームアウトすることが好ましい。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、術者の優位手及び非優位手で操作している手術デバイスを認識し、両方の手術デバイスが把持鉗子であるか否かを判断する。演算部２１は、両方の手術デバイスが把持鉗子であると判断した場合、把持鉗子が十分に映る範囲までズームアウトするように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。代替的に、演算部２１は、奥行き情報を算出し、算出した奥行き情報を基に、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算してもよい。図１１の例は、２つの把持鉗子１３０Ｂ，１３０Ｄを用いて脂肪組織を把持した場面を示し、これら２つの把持鉗子１３０Ｂ，１３０Ｄの認識に応じて、ズームアウトした状態を示している。
　第４の具体例では、学習モデルＭＤにより、両方の手術デバイスが把持鉗子であることを認識した場合、ズームアウトする構成としたが、把持鉗子が装着されているサードアーム（例えばアーム部１３Ｄ）を術者が動かそうした場合、ズームアウトする構成としてもよい。また、第４の具体例では、腹腔鏡１５を保持するアーム部１３Ａを動かすことによって、ズームアウトする構成としたが、腹腔鏡１５がズーム機能を有する場合、腹腔鏡１５のズーム機能を制御することによって、ズームアウトする構成としてもよい。
　（５）図１２は制御手法の第５の具体例を説明する説明図である。術者が切離デバイスを操作して、対象組織を切離しようとしている場面では、切離デバイスの先端が十分に映る範囲までズームインすることが好ましい。そこで、演算部２１は、学習モデルＭＤの推論結果に基づき、術者の優位手で操作している手術デバイスを認識し、認識した手術デバイスが切離デバイスであるか否かを判断する。演算部２１は、術者の優位手で操作している手術デバイスが切離デバイスであると判断した場合、切離デバイスの先端が十分に映る範囲までズームインするように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。例えば、演算部２１は、切離デバイスの先端部分の面積を計算し、計算した面積が設定値以上となるようにズームインすべく、アーム部１３Ａの制御量を計算すればよい。図１２の例は、術者の優位手で操作している手術デバイスがエネルギ処置具１３０Ｃ（切離デバイス）であると認識した結果、エネルギ処置具１３０Ｃの先端部分にズームインした状態を示している。
　なお、コンソール４０は、ズームインした後、切離デバイスの先端に追従するようにアーム部１３Ａの動作を自動制御してもよい。代替的に、コンソール４０は、切離デバイスの先端に追従するようにアーム部１３Ａの動作を制御し、切離デバイスの先端が静止した場合、ズームインする構成としてもよい。また、第５の具体例では、腹腔鏡１５を保持するアーム部１３Ａを動かすことによって、ズームインする構成としたが、腹腔鏡１５がズーム機能を有する場合、腹腔鏡１５のズーム機構を制御することによって、ズームインする構成としてもよい。
　（６）図１３は制御手法の第６の具体例を説明する説明図である。出血を検知した場合、腹腔鏡１５を移動させる制御やガーゼを置く制御を行ってもよい。演算部２１は、学習モデルＭＤの推論結果に基づき、出血領域を認識し、認識した出血領域の面積を計算する。図１３の例では、出血領域をＰ６により示している。出血領域Ｐ６の面積は出血量に相当する。演算部２１は、計算した出血領域Ｐ６の面積が予め設定された閾値以上であるか否かを判断し、閾値以上であると判断した場合、腹腔鏡１５の撮像中心が出血領域Ｐ６の内部の点（例えば出血領域Ｐ６の重心）となるように、腹腔鏡１５を保持するアーム部１３Ａの制御量を計算し、計算結果に基づく制御情報をコンソール４０へ送信する。
　演算部２１は、腹腔鏡１５を移動させる制御に代えて（若しくは腹腔鏡１５を移動させる制御と共に）、出血領域Ｐ６にガーゼを置く制御を実行させるための制御情報をコンソール４０へ送信してもよい。具体的には、ガーゼを把持した把持鉗子がアーム部１３Ｄに装着されている場合、演算部２１は、アーム部１３Ｄの動作を制御するための制御情報を生成して、コンソール４０へ送信すればよい。また、コンソール４０は、出血領域Ｐ６にガーゼを置くべき旨の文字情報をモニタ４４Ａに表示してもよい。
　演算部２１は、出血量が比較的少ない場合、腹腔鏡１５を移動させる制御を行い、出血量が比較的多い場合、ガーゼを置く制御を行ってもよい。例えば、出血領域の面積に関して第１閾値及び第２閾値（ただし、第１閾値＜第２閾値）を設定し、出血領域Ｐ６の面積が第１閾値以上となった場合、腹腔鏡１５を移動させる制御、出血領域Ｐ６の面積が第２閾値以上となった場合、ガーゼを置く制御を行ってもよい。
　また、コンソール４０は、術者によるトリガー操作を受付けた場合、上記の制御を開始する構成としてもよい。トリガー操作は、第１の具体例と同様である。すなわち、手術デバイスによる所定のジェスチャ動作、入力デバイス４２による所定の入力操作、所定の音声入力等をトリガー操作として用いることができる。
（実施の形態３）
　実施の形態３では、推論結果の確信度に応じて、術野画像の解像度を変更する構成について説明する。
　図１４は実施の形態３における推論ユニット２０が実行する処理の手順を説明するフローチャートである。手術ロボットシステム１は、実施の形態１と同様の手順にて、術野画像についての推論処理を行う。
　推論ユニット２０の演算部２１は、推論処理を行った後、推論結果の確信度を算出する（ステップＳ３０１）。推論結果の確信度は、学習モデルＭＤのソフトマックス層ＳＭから出力される確率に基づき計算される。例えば、演算部２１は、対象物と推定された各画素について確率値の平均を求めることにより、確信度を計算することができる。
　演算部２１は、算出した確信度に応じて、術野画像の解像度を変更する（ステップＳ３０２）。演算部２１は、確信度Ｘ（Ｘ＝０～１００％）に対し、術野画像の解像度Ｙ（dpi : dot per inch）をＹ＝（Ｘ－１００）／ｋ（ｋは定数）に設定し、設定した解像度Ｙに従って術野画像の解像度を変更すればよい。代替的に、演算部２１は、確信度が閾値よりも低い場合、予め設定した解像度に変更してもよい。
　演算部２１は、解像度を変更した術野画像や推論画像をサーバ装置３０に送信し、データベース３２に登録させる（ステップＳ３０３）。
　以上のように、実施の形態３では、確信度が低く、対象物であるか否かが判別が難しい術野画像については解像度を変更することができ、記憶容量を節約することができる。
（実施の形態４）
　実施の形態４では、推論結果の確信度と、手術ロボット１０の情報とに基づき、手術ロボットによる手術のスコアを算出する構成について説明する。
　図１５は実施の形態４における推論ユニット２０が実行する処理の手順を説明するフローチャートである。手術ロボットシステム１は、実施の形態１と同様の手順にて、術野画像についての推論処理を行う。
　推論ユニット２０の演算部２１は、推論処理を行った後、推論結果の確信度を算出する（ステップＳ４０１）。推論結果の確信度は、学習モデルＭＤのソフトマックス層ＳＭから出力される確率に基づき計算される。例えば、演算部２１は、対象物と推定された各画素について確率値の平均を求めることにより、確信度を計算することができる。
　演算部２１は、手術ロボット１０の情報をコンソール４０より取得する（ステップＳ４０２）。例えば、演算部２１は、アーム部１３Ａ～１３Ｄの位置、角度、速度、角速度等の情報を取得すればよい。
　演算部２１は、ステップＳ４０１で算出した確信度と、ステップＳ４０２で取得した手術ロボット１０の情報とに基づき、手術のスコアを算出する（ステップＳ４０３）。確信度及び手術ロボット１０の情報の入力に応じて、手術のスコアを出力するよう構成された関数や学習モデルを事前に用意しておき、当該関数又は学習モデルに確信度及び手術ロボット１０の情報を入力してスコアを算出することができる。また、演算部２１は、解剖構造（対象物）の確信度、面積、面積の増減、手術デバイスの操作情報、手術デバイスの認識結果（軌跡など）等の情報に基づき、事前に用意された関数や学習モデルを用いてスコアを算出する構成としてもよい。更に、演算部２１は、算出したスコアに基づき、手術ロボット１０の次の操作を決定したり、術者に次の操作を提示したりしてもよい。
（実施の形態５）
　実施の形態５における手術ロボットシステム１は、腹腔鏡１５において左眼用及び右眼用の術野画像を生成し、生成した左眼用及び右眼用の術野画像を推論ユニット２０経由で、モニタ４４Ａ，４４Ｂに出力することにより、３次元表示を行うシステムであるとする。
　実施の形態５における手術ロボットシステム１では、推論ユニット２０の演算部２１において、左眼用の術野画像及び右眼用の術野画像のそれぞれについて推論処理を行う。推論の手順は実施の形態１と同様である。
　また、演算部２１は、左眼用の術野画像及び右眼用の術野画像のそれぞれについて推論結果の確信度を算出することができる。確信度の算出方法は、実施の形態３と同様である。推論結果の確信度が左眼用と右眼用とで相違する場合、演算部２１は、警報を出力することができる。
　図１６は実施の形態５における推論ユニット２０が実行する処理の手順を説明するフローチャートである。推論ユニット２０の演算部２１は、左眼用の術野画像及び右眼用の術野画像のそれぞれについて推論処理を行う（ステップＳ５０１）。推論の手順は実施の形態１と同様である。
　演算部２１は、それぞれの推論結果について確信度を算出する（ステップＳ５０２）。確信度の算出手法は実施の形態３と同様である。
　演算部２１は、左眼用の術野画像から得られた確信度と、右眼用の術野画像から得られた確信度とを比較し、確信度が相違するか否かを判断する（ステップＳ５０３）。演算部２１は、確信度が所定割り合い（例えば１０％）以上異なる場合、確信度が相違すると判断する。
　確信度が相違すると判断した場合（ステップＳ５０３：ＹＥＳ）、対象物に対して腹腔鏡１５が斜めになっている可能性があるため、演算部２１は、警報を出力する（ステップＳ５０４）。具体的には、演算部２１は、腹腔鏡１５が斜めになっている旨の文字情報をコンソール４０へ送信し、モニタ４４Ａ，４４Ｂに表示させる。
　実施の形態５では、左右の確信度が相違する場合、警報を出力する構成としたが、演算部２１は、腹腔鏡１５を対象物に正対させるための制御情報を生成し、生成した制御情報をコンソール４０へ送信してもよい。
　また、演算部２１は、術野画像の左右の視差に基づき、奥行情報を算出し、算出した奥行情報をコンソール４０へ送信してもよい。ここでは、指定された位置の奥行き情報を算出すればよい。例えば、対象物上の指定された位置（重心、四隅、輪郭上の任意の点、設定された位置群等）の奥行情報を算出すればよい。
　更に、演算部２１は、算出した奥行情報に基づき、腹腔鏡１５の動作を制御するための制御情報を生成し、生成した制御情報をコンソール４０へ送信してもよい。例えば、対象物までの奥行きが設定値以上ある場合、演算部２１は、腹腔鏡１５を自動的にズームさせるための制御情報を生成し、生成した制御情報をコンソール４０へ送信してもよい。また、演算部２１は、奥行情報に基づき手術デバイスの到達点や到達経路を決定して、切除対象物の付近までアーム部１３Ａ～１３Ｄを自動で移動させ、手術デバイスが切除対象物に近づいた場合に「切除して下さい」との情報をモニタ４４Ａ，４４Ｂに表示させる制御を行ってもよい。更に、切除すべきでない部分を切除しようとした場合や出血などの危険な予兆を検知した場合、アラートを出力してもよい。
　今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
　各実施形態に記載した事項は相互に組み合わせることが可能である。また、請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。
　１０　手術ロボット
　１１　制御部
　１２Ａ～１２Ｄ　駆動部
　１３Ａ～１３Ｄ　アーム部
　１４　光源装置
　１５　腹腔鏡
　１６　信号処理部
　２０　推論ユニット
　２１　演算部
　２２　記憶部
　２３　第１接続部
　２４　第２接続部
　２５　第３接続部
　３０　サーバ装置
　３１　コーデック部
　３２　データベース
　４０　コンソール
　４１　マスターコントローラ
　４２　入力デバイス
　４３　アーム操作デバイス
　４４Ａ，４４Ｂ　モニタ

Claims (20)

  1. 　手術ロボットと、該手術ロボットを制御するコンソールとの間に接続される推論装置であって、
    　前記手術ロボットの撮像部により撮像された術野画像を取得する画像取得部と、
    　取得した術野画像について推論処理を行う推論部と、
    　前記コンソールによる送信設定に応じて、前記画像取得部より取得した術野画像、及び、前記推論部による推論結果に基づく情報の少なくとも一方を、前記コンソールへ送信する送信部と
    　を備える推論装置。
  2. 　前記推論部は、前記術野画像内で認識すべき対象物の位置、及び、前記術野画像内で発生している事象の少なくとも一方を推論する
    　請求項１に記載の推論装置。
  3. 　前記推論部は、前記対象物の位置を示す画像データを生成し、
    　前記送信部は、前記コンソールへの一方向通信により、前記画像データを送信する
    　請求項２に記載の推論装置。
  4. 　前記推論部は、前記対象物の位置を示す位置情報を生成し、
    　前記送信部は、前記コンソールとの双方向通信により、前記位置情報を送信する
    　請求項３に記載の推論装置。
  5. 　前記推論部による推論結果に応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部を備え、
    　前記送信部は、前記制御部により生成された制御情報を前記コンソールへ送信する
    　請求項２から請求項４の何れか１つに記載の推論装置。
  6. 　前記対象物は、手術デバイスであり、
    　前記制御部は、認識した手術デバイスの先端部分に追従して前記撮像部を移動させるべく、前記制御情報を生成する
    　請求項５に記載の推論装置。
  7. 　前記制御部は、認識した対象物の面積を算出し、算出した面積が増減している部分に追従して前記撮像部を移動させるべく、前記制御情報を生成する
    　請求項５に記載の推論装置。
  8. 　前記制御部は、前記対象物上の指定された位置へ前記撮像部を移動させるべく、前記制御情報を生成する
    　請求項５に記載の推論装置。
  9. 　前記制御部は、前記撮像部と前記対象物との間の距離に応じて前記撮像部を移動させるべく、前記制御情報を生成する
    　請求項５に記載の推論装置。
  10. 　前記推論部は、前記コンソールを操作する術者の動作又はジェスチャを推論し、
    　前記制御部は、前記推論部による推論結果に応じて、前記撮像部又は手術デバイスの動作を制御すべく、制御情報を生成する
    　請求項５に記載の推論装置。
  11. 　前記制御部は、認識した対象物の面積又は形状を求め、前記対象物の面積又は形状に応じて、使用すべき手術デバイスを選択又は制御するための制御情報を生成する
    　請求項５に記載の推論装置。
  12. 　前記推論部による推論結果の確信度を算出する算出部と、
    　前記算出部にて算出した確信度に応じて、前記術野画像の解像度を変更する解像度変更部と
    　を備える請求項１から請求項４の何れか１つに記載の推論装置。
  13. 　前記推論部による推論結果の確信度を算出する算出部と、
    　前記手術ロボットの情報を前記コンソールから取得する情報取得部と
    　を備え、
    　前記算出部は、算出した確信度と、前記情報取得部が取得した情報とに基づき、前記手術ロボットによる手術のスコアを算出する
    　を備える請求項１から請求項４の何れか１つに記載の推論装置。
  14. 　前記手術ロボットの撮像部は、左眼用の術野画像及び右眼用の術野画像を出力するよう構成されており、
    　前記画像取得部は、前記撮像部より出力される左眼用の術野画像及び右眼用の術野画像を取得し、
    　前記推論部は、取得した左眼用の術野画像及び右眼用の術野画像の夫々について個別に推論する
    　請求項１から請求項４の何れか１つに記載の推論装置。
  15. 　前記推論部による推論結果の確信度を算出する算出部と、
    　前記左眼用の術野画像について算出した推論結果の確信度と、前記右眼用の術野画像について算出した推論結果の確信度との差に基づき、警報を出力する出力部と
    　を備える請求項１４に記載の推論装置。
  16. 　前記推論部による推論結果の確信度を算出する算出部と、
    　前記左眼用の術野画像について算出した推論結果の確信度と、前記右眼用の術野画像について算出した推論結果の確信度との差に応じて、前記撮像部を移動させるための制御情報を生成する制御部と　
    　を備え、
    　前記送信部は、前記制御部により生成された制御情報を前記コンソールへ送信する
    　請求項１４に記載の推論装置。
  17. 　前記左眼用の術野画像及び前記右眼用の術野画像に基づき、奥行情報を算出する算出部を備え、
    　前記送信部は、算出した奥行情報を前記コンソールへ送信する
    　請求項１４に記載の推論装置。
  18. 　前記左眼用の術野画像及び前記右眼用の術野画像に基づき、奥行情報を算出する算出部と、
    　算出した奥行情報に応じて、前記手術ロボットの動作を制御するための制御情報を生成する制御部と
    　を備え、
    　前記送信部は、前記制御部が生成した制御情報を前記コンソールへ送信する
    　請求項１４に記載の推論装置。
  19. 　手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータにより、
    　前記手術ロボットの撮像部により撮像された術野画像を取得し、
    　取得した術野画像について推論を行い、
    　前記コンソールを通じて受付けた送信設定に応じて、前記術野画像及び推論結果に基づく情報の少なくとも一方を前記コンソールへ送信する
    　処理を実行する情報処理方法。
  20. 　手術ロボットと、該手術ロボットを制御するコンソールとの間に接続されるコンピュータに、
    　前記手術ロボットの撮像部により撮像された術野画像を取得し、
    　取得した術野画像について推論を行い、
    　前記コンソールを通じて受付けた送信設定に応じて、前記術野画像及び推論結果に基づく情報の少なくとも一方を前記コンソールへ送信する
    　処理を実行させるためのコンピュータプログラム。
     
PCT/JP2022/033958 2021-09-10 2022-09-09 推論装置、情報処理方法、及びコンピュータプログラム Ceased WO2023038127A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280060465.9A CN117915853A (zh) 2021-09-10 2022-09-09 推断装置、信息处理方法和计算机程序
JP2023547013A JP7461689B2 (ja) 2021-09-10 2022-09-09 推論装置、情報処理方法、及びコンピュータプログラム
US18/689,636 US20240390089A1 (en) 2021-09-10 2022-09-09 Inference Device, Information Processing Method, and Recording Medium
EP22867448.7A EP4413941A1 (en) 2021-09-10 2022-09-09 Inference device, information processing method, and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163242628P 2021-09-10 2021-09-10
US63/242,628 2021-09-10

Publications (1)

Publication Number Publication Date
WO2023038127A1 true WO2023038127A1 (ja) 2023-03-16

Family

ID=85506463

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033958 Ceased WO2023038127A1 (ja) 2021-09-10 2022-09-09 推論装置、情報処理方法、及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US20240390089A1 (ja)
EP (1) EP4413941A1 (ja)
JP (1) JP7461689B2 (ja)
CN (1) CN117915853A (ja)
WO (1) WO2023038127A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805248B (zh) * 2022-03-01 2023-06-11 艾沙技術股份有限公司 基於頭部追蹤控制內視鏡手術機器人的控制系統與控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038075A (ja) 2012-08-20 2014-02-27 Tokyo Institute Of Technology 外力推定装置及び鉗子システム
WO2014155815A1 (ja) * 2013-03-29 2014-10-02 オリンパスメディカルシステムズ株式会社 立体内視鏡システム
WO2019239244A1 (en) * 2018-06-14 2019-12-19 Sony Corporation Dominant tool detection system for surgical videos
JP2020062372A (ja) * 2018-05-09 2020-04-23 オリンパス ビンテル ウント イーベーエー ゲーエムベーハーＯｌｙｍｐｕｓ Ｗｉｎｔｅｒ ＆ Ｉｂｅ Ｇｅｓｅｌｌｓｃｈａｆｔ Ｍｉｔ Ｂｅｓｃｈｒａｎｋｔｅｒ Ｈａｆｔｕｎｇ 医療システムの作動方法及び外科手術を行うための医療システム
JP2021509305A (ja) * 2017-12-28 2021-03-25 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ ロボット支援外科用プラットフォームのためのディスプレイ装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160331584A1 (en) 2015-05-14 2016-11-17 Novartis Ag Surgical tool tracking to control surgical system
US20190361592A1 (en) 2018-05-23 2019-11-28 Alcon Inc. System and method of utilizing surgical tooling equipment with graphical user interfaces

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014038075A (ja) 2012-08-20 2014-02-27 Tokyo Institute Of Technology 外力推定装置及び鉗子システム
WO2014155815A1 (ja) * 2013-03-29 2014-10-02 オリンパスメディカルシステムズ株式会社 立体内視鏡システム
JP2021509305A (ja) * 2017-12-28 2021-03-25 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ ロボット支援外科用プラットフォームのためのディスプレイ装置
JP2020062372A (ja) * 2018-05-09 2020-04-23 オリンパス ビンテル ウント イーベーエー ゲーエムベーハーＯｌｙｍｐｕｓ Ｗｉｎｔｅｒ ＆ Ｉｂｅ Ｇｅｓｅｌｌｓｃｈａｆｔ Ｍｉｔ Ｂｅｓｃｈｒａｎｋｔｅｒ Ｈａｆｔｕｎｇ 医療システムの作動方法及び外科手術を行うための医療システム
WO2019239244A1 (en) * 2018-06-14 2019-12-19 Sony Corporation Dominant tool detection system for surgical videos

Also Published As

Publication number Publication date
EP4413941A1 (en) 2024-08-14
US20240390089A1 (en) 2024-11-28
CN117915853A (zh) 2024-04-19
JPWO2023038127A1 (ja) 2023-03-16
JP7461689B2 (ja) 2024-04-04

Similar Documents

Publication Publication Date Title
US20250176797A1 (en) Augmented medical vision systems and methods
US20250090241A1 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
US20250054147A1 (en) Composite medical imaging systems and methods
JP7480477B2 (ja) 医療用観察システム、制御装置及び制御方法
JP2022036255A (ja) ロボット外科手術装置および視聴者適合型の立体視ディスプレイの態様を制御するためのシステム、方法、およびコンピュータ可読記憶媒体
CN102821671B (zh) 内窥镜观察支持系统和设备
KR101038417B1 (ko) 수술 로봇 시스템 및 그 제어 방법
JP2020156800A (ja) 医療用アームシステム、制御装置、及び制御方法
JP2022514635A (ja) デュアル画像センサを有する内視鏡
US20250117073A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
KR20080089376A (ko) 3차원 텔레스트레이션을 제공하는 의료용 로봇 시스템
JPWO2017145475A1 (ja) 医療用情報処理装置、情報処理方法、医療用情報処理システム
WO2022158451A1 (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
US12471994B2 (en) Systems and methods for facilitating insertion of a surgical instrument into a surgical space
JP2023509321A (ja) 内視鏡処置のためのガイド下解剖学的構造操作
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
US20250090231A1 (en) Anatomical structure visualization systems and methods
JP2022045236A (ja) 医療用撮像装置、学習モデル生成方法および学習モデル生成プログラム
WO2023237105A1 (zh) 用于在医生控制台显示虚拟手术器械的方法及医生控制台
JP7311936B1 (ja) コンピュータプログラム、学習モデルの生成方法、及び情報処理装置
JP7461689B2 (ja) 推論装置、情報処理方法、及びコンピュータプログラム
WO2025019594A1 (en) Systems and methods for implementing a zoom feature associated with an imaging device in an imaging space
JP2025174992A (ja) ロボット操作手術器具の位置を追跡システムおよび方法
WO2024182294A1 (en) Systems and methods for calibrating an image sensor in relation to a robotic instrument

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22867448

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023547013

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18689636

Country of ref document: US

Ref document number: 202280060465.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022867448

Country of ref document: EP

Effective date: 20240410