[go: up one dir, main page]

WO2021044523A1 - 手術支援装置 - Google Patents

手術支援装置 Download PDF

Info

Publication number
WO2021044523A1
WO2021044523A1 PCT/JP2019/034637 JP2019034637W WO2021044523A1 WO 2021044523 A1 WO2021044523 A1 WO 2021044523A1 JP 2019034637 W JP2019034637 W JP 2019034637W WO 2021044523 A1 WO2021044523 A1 WO 2021044523A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
unit
support device
image
identification mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/034637
Other languages
English (en)
French (fr)
Inventor
直 小林
尚紀 北村
勇太 熊頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Incubit Inc
Original Assignee
Incubit Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Incubit Inc filed Critical Incubit Inc
Priority to PCT/JP2019/034637 priority Critical patent/WO2021044523A1/ja
Publication of WO2021044523A1 publication Critical patent/WO2021044523A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis

Definitions

  • the present invention relates to a surgical support device.
  • Patent Document 1 Remote surgery using AR technology is being performed.
  • an AR marker is placed in the oral cavity to align a three-dimensional CT image.
  • Patent Document 1 assumes a hard surgical object such as a tooth, if it is used for a deformable surgical object such as an internal organ, the superimposed image will be displaced.
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a technique for superimposing and displaying necessary information on the surgical field.
  • the main invention of the present invention for solving the above-mentioned problems is a surgical support device, which is a position / orientation acquisition unit for acquiring the positions and postures of a plurality of identification tags attached to a surgical object in the body, and the identification label.
  • a position calculation unit that calculates a position for arranging a three-dimensional image in the virtual reality space according to the position of, and a drawing processing unit that superimposes and displays the three-dimensional image on the surgical object according to the calculated position.
  • the position calculation unit deforms the three-dimensional image in response to a change in either the position or the posture of the identification marker.
  • the present invention has the following configurations.
  • a position / posture acquisition unit that acquires the positions and postures of a plurality of identification marks attached to surgical objects in the body, A position calculation unit that calculates the position of arranging the 3D image in the virtual reality space according to the position of the identification mark, and A drawing processing unit that superimposes and displays the three-dimensional image on the surgical object according to the calculated position, and With The position calculation unit deforms the three-dimensional image in response to a change in either the position or the posture of the identification mark.
  • a surgical support device characterized by.
  • the position calculation unit deforms the three-dimensional model according to a change in either the position or the posture of the identification mark.
  • the drawing processing unit superimposes and displays the three-dimensional image on the surgical object based on the deformed three-dimensional model.
  • a surgical support device characterized by. [Item 3] The surgical support device according to item 1 or 2. Further provided with an instrument control unit that performs a predetermined process on the surgical object based on the three-dimensional image.
  • [Item 4] The surgical support device according to any one of items 1 to 3.
  • the drawing processing unit superimposes and displays predetermined information on the surgical object.
  • the surgery support system of the present embodiment supports surgery performed by remote control, such as laparoscopic surgery.
  • the surgery support system of the present embodiment superimposes and displays a three-dimensional image (hereinafter referred to as a superimposed image) related to surgery on a surgical target area (organ, etc.) on an image of the surgical field viewed by an operator performing remote surgery.
  • a superposed image is an image related to the simulation of the surgery performed in advance, but it is meaningful to superimpose and display it on the surgical target area such as an organ, for example, the structure inside the organ.
  • the image of can be adopted.
  • ⁇ Overview> 1 and 2 are schematic views showing elements constituting the surgical support system (hereinafter, simply referred to as “system”) 1 according to the present embodiment.
  • system the surgical support system
  • the structure of the figure is an example, and elements other than these may be included.
  • the System 1 includes a surgical device 2 and a surgical support device 3.
  • the surgical device 2 is a device for performing an operation by an operator 5 on a surgical subject 4.
  • the operator according to the present embodiment is a surgeon or the like for surgery, and the surgical subject 4 is a patient or the like.
  • the surgical device 2 includes a work unit 20 that actually performs an operation on the operation target person 4 (that is, acts directly on the body of the operation target person 4) and an operation unit 22 that receives an operation from the operator 5 on the work unit 20. And a control unit 24 that controls the work unit 20 and the operation unit 22.
  • the surgical device 2 according to the present embodiment is not limited to a surgical target area (not limited to a closed space), such as so-called laparoscopic surgery, ophthalmic surgery, brain surgery, spinal surgery, artificial joint surgery, and the like. ), It is a device for a minimally invasive surgical method by making a small hole for penetrating a surgical instrument in the area and inserting the surgical instrument into the area through the hole.
  • laryngeal endoscopy, bronchoscopy, gastrointestinal endoscopy, duodenal endoscopy, small intestinal endoscopy, colonoscopy, thoracoscope, laparoscope, cystoscope, biliary tract, arthrioscope, spinal endoscopy examples include, but are not limited to, mirrors, vascular endoscopes, and epidural endoscopy.
  • the work unit 20 includes an instrument unit 200 used for surgery and a sensor unit 202 that grasps at least the state of the surgical field of the surgical subject 4 or the state of the instrument unit 200.
  • the sensor unit 202 includes an endoscopic camera unit 202'.
  • a plurality of endoscopic camera units 202' are preferably arranged.
  • the instrument unit 200 has a surgical instrument attached to the tip of an operable movable arm. These instruments can be used by the operation received by the operation unit 22. Surgical instruments include tweezers, scissors, forceps, needle holders, scalpels (electric scalpels, etc.) and those that perform equivalent functions, but other instruments are used depending on the application. May be good.
  • the sensor unit 202 can employ various sensors such as a pressure sensor, a gyro sensor, an acceleration sensor, a temperature sensor, and a camera for detecting the state of the instrument unit 200, for example.
  • a camera an optical camera, an infrared camera, an X-ray camera, or the like can be appropriately adopted depending on the information to be acquired.
  • the operation unit 22 includes a controller unit 222 that receives an operation of the operator 5, a display unit 224 that displays information to the operator 5, and a speaker unit 226 that provides information by voice or the like to the operator 5.
  • the controller unit 222 can be combined with, for example, a joystick-shaped input device, a foot pedal, or the like.
  • the display unit 224 according to the present embodiment has a so-called VR (Virtual Reality) HMD (Head Mount Display) -like structure, and stereoscopically views the surgical target area by utilizing the parallax between the user's eyes. Is possible.
  • the display unit visually provides the operator with information necessary for performing the operation, such as information on the work unit 20 and the operation target 4, such as the correction monitor and AR (Augmented Reality). Anything that can be done is sufficient.
  • Control unit 24 controls information communication between the work unit 20 and the operation unit 22. For example, the operation received by the operation unit 22 is transmitted to the work unit 20, or the image information acquired by the camera unit 202'is displayed on the display unit 224.
  • FIG. 3 is a block diagram illustrating an outline of a hardware configuration example of the surgery support device 3.
  • the surgery support device 3 includes a processor 301, a memory 302, a storage 303, a transmission / reception unit 304, and an input / output unit 305 as main configurations, and these are electrically connected to each other via a bus 306.
  • the processor 301 is an arithmetic unit that controls the operation of the surgery support device 3, controls the transmission and reception of data between each element, and performs processing necessary for executing an application program.
  • the processor 301 is, for example, a CPU (Central Processing Unit), and executes each process by executing an application program or the like stored in the storage 303 and expanded in the memory 302.
  • CPU Central Processing Unit
  • the memory 302 includes a main storage device composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary storage device composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). .. While this memory 302 is used as a work area of the processor 301, the BIOS (Basic Input / Output System) executed when the operation support device 3 is started, various setting information, and the like are stored.
  • BIOS Basic Input / Output System
  • the storage 303 stores application programs, data used for various processes, and the like.
  • the transmission / reception unit 304 connects the surgery support device 3 to the communication network.
  • the transmission / reception unit 304 may be provided with a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • the surgery support device 3 is connected to the surgery device 2 via the transmission / reception unit 304.
  • the bus 306 transmits, for example, an address signal, a data signal, and various control signals between the connected processor 301, memory 302, storage 303, transmission / reception unit 304, and input / output unit 305.
  • FIG. 4 is a block diagram illustrating an outline of a software configuration example of the surgery support device 3.
  • the surgery support device 3 includes each functional unit of the marker detection unit 311, the position / orientation calculation unit 312, the arrangement processing unit 313, and the drawing processing unit 314, and each storage unit of the superimposed image storage unit 331 and the explanatory information storage unit 332. To be equipped.
  • Each of the above functional units is realized by the processor 301 included in the surgery support device 3 reading a program stored in the storage 303 into the memory 302 and executing the program, and each of the above storage units is provided in the surgery support device 3. It is implemented as part of the storage area provided by the memory 302 and the storage 303.
  • FIG. 5 is a diagram showing an example of the display unit 224 on which the superimposed image 52 is displayed.
  • identification marks 51 are placed at each of three or more predetermined locations in the surgical target area 41 (organ in the example of FIG. 5), and the superimposed image 52 is aligned based on the identification marks 51. Is assumed.
  • the identification mark 51 is assumed to be an AR marker. As the identification mark 51, any mark can be adopted as long as it is a mark indicating the position of a predetermined portion of the surgical target area 41 such as an organ.
  • the organ is colored in some way and the colored portion is designated. It may be an identification mark 51.
  • the identification mark 51 can be made of a material that dissolves in the body of the surgical subject 4 used for an adhesion preventive material, an absorbent suture, or the like.
  • the marker detection unit 311 detects the identification mark 51 from the image of the surgical field.
  • the marker detection unit 311 detects the identification mark 51 from the image of the surgical field acquired by the camera unit 202'.
  • the marker detection unit 311 can detect the identification mark 51 by, for example, detecting the feature amount of the identification mark 51 from the image.
  • a known method can be adopted for the detection process of the identification mark 51 by the marker detection unit 311, and detailed description thereof will be omitted here.
  • the position calculation unit 312 calculates the position of the identification mark 51.
  • the position calculation unit 312 calculates the three-dimensional position of the identification mark 51 in the virtual reality space. Since the identification mark 51 is assumed to be arranged at a predetermined position in the operation target area 41 such as an organ, the position calculation unit 312 specifies the positions of three or more identification marks 51 in a three-dimensional space. The position and orientation of the superimposed image 52 in the above can be determined.
  • the superimposed image storage unit 331 stores the superimposed image.
  • FIG. 6 is a diagram showing a configuration example of information including a superimposed image (hereinafter, referred to as superimposed image information) stored in the superimposed image storage unit 331.
  • the superimposed image information includes model data for creating a three-dimensional image in association with identification information (operation ID) that identifies an operation related to surgery.
  • the model data may be, for example, still image data such as a DWG file, or moving image data such as a VRML or OSG file.
  • the arrangement processing unit 313 arranges the superimposed image in the virtual reality space. Based on the model data, the placement processing unit 313 can create a superposed image so as to align the position of the corresponding site of the surgical target area 41 with the position of the identification mark 51 calculated by the position calculation unit 312.
  • the arrangement processing unit 313 receives, for example, the designation of the operation to be performed by the operator 5 according to the progress of the operation, reads the superimposed image information corresponding to the specified operation from the superimposed image storage unit 331, and acquires the model data. can do.
  • the explanatory information storage unit 332 stores information including explanations related to surgery (hereinafter referred to as explanatory information).
  • FIG. 7 is a diagram showing a configuration example of explanatory information stored in the explanatory information storage unit 332.
  • the explanatory information includes an explanation in association with the operation ID.
  • the description can be a description of the superimposed image based on the model data included in the superimposed image information, and can be, for example, text data expressing the incision locus of the organ shown in the superimposed image in a sentence.
  • the drawing processing unit 314 draws the superimposed image.
  • the drawing processing unit 314 superimposes and draws the superimposed image created by the arrangement processing unit 313 on the image of the surgical field displayed on the display unit 224 so as to be displayed at the position calculated by the arrangement processing unit 313.
  • an auxiliary line to be incised by the electronic knife 200a is shown.
  • the drawing processing unit 314 can read the explanation corresponding to the operation ID of the superimposed image information from the explanatory information storage unit 332 and display it on the display unit 224.
  • the explanation 53 of the explanatory information is displayed on the display unit 224.
  • the drawing processing unit 314 may display the explanation 53 of the explanatory information at a fixed display location of the display unit 224 (for example, it may be displayed as a telop on the upper part of the screen, the lower part of the screen, or the like). It is possible.), As in the example of FIG. 5, it may be displayed in the vicinity of the superimposed image 52.
  • the drawing processing unit 314 is in the vicinity of the instrument unit 200 being operated and is not superimposed on the instrument unit 200 and the superimposed image 52 (superimposed). It may be superimposed on the transparent background portion of the image 52), and it is preferable to display the description 53.
  • FIG. 8 is a diagram illustrating the operation of the surgery support device 3.
  • the operator 5 operates the instrument unit 200 to place the identification mark 51 (AR marker) at a predetermined position in the surgical target area 41 such as an organ (S400).
  • the marker detection unit 311 acquires an image of the surgical field taken by the camera unit 202'(S401), and detects the identification mark 51 (AR marker) from the acquired image (S402).
  • the position calculation unit 312 calculates the position of the identification mark 51 in the augmented reality space (S403), and the arrangement processing unit 313 determines the position and orientation of the superimposed image according to the position of the identification mark 51, and uses the superimposed image information.
  • a superposed image is created based on the included model data (S404).
  • the superimposed image information to be displayed may be designated by the arrangement processing unit 313 from the operator 5 or other surgical personnel, or the superimposed image information to be displayed may be registered in advance.
  • the drawing processing unit 314 superimposes and displays the superimposed image on the display unit 224 according to the position and orientation calculated by the arrangement processing unit 313 (S405).
  • the drawing processing unit 314 can also display the explanatory 53 included in the explanatory information on the display unit 224.
  • the superimposed image can be superimposed and displayed on the operation target area 41 after accurately aligning using the identification mark 51 such as the AR marker. This makes it possible to assist the operator 5 in operating the instrument unit 200 and improve the accuracy and efficiency of the operation.
  • the superimposed image is displayed according to the position of the identification mark 51, but when the identification mark 51 is used as an AR marker, the superimposed image is deformed in consideration of the normal direction thereof. It can be superimposed and displayed on the above.
  • FIG. 9 is a diagram illustrating a modified example in which the normal direction of the identification mark 51, which is an AR marker, is taken into consideration.
  • the surgical target area 41 such as an organ has a three-dimensional shape
  • the shape of the surgical target area 41 changes as the surgical target area 41 changes.
  • the normal direction 54 of the identification mark 51 also changes.
  • the normal direction 54 is acquired for some parts of the operation target area 41, and the position is based on the difference from the normal direction of the surface in contact with the part in the three-dimensional model.
  • the calculation unit 312 can transform the three-dimensional model.
  • a general method used for object deformation processing in 3D modeling software can be adopted.
  • FIG. 10 is a diagram illustrating the operation of the surgical support device 3 when the normal direction of the identification mark 51 is taken into consideration.
  • step S402 of the process shown in FIG. 8 after the marker detection unit 311 detects the AR marker 51 from the image of the surgical field taken by the camera unit 202', the position calculation unit is replaced with the step S403. 312 calculates the position of the AR marker 51 in the augmented reality space and its normal direction (vector) (S501).
  • the arrangement processing unit 313 determines the position and orientation of the superimposed image according to the position of the identification mark 51 based on the model data included in the superimposed image information (S404), and the normal direction of the AR marker 51.
  • a superposed image deformed according to the above is created (S502), and the drawing processing unit 314 superimposes and displays the deformed superposed image according to the position calculated by the arrangement processing unit 313 (S405).
  • the superimposed image 52 deformed according to the normal direction 54 of the AR marker 51 is superimposed and displayed on the operation target area 41.
  • the auxiliary line 52 to be incised by the electronic knife 200a shown in the example of FIG. 5 is deformed according to the normal directions 54a to 54c of the AR markers 54a to 54c, and is superimposed and drawn as the auxiliary line 52a. It is shown that it is being done. Since organs and the like may be deformed at any time, by adding the deformation processing as described above, it is possible to more accurately superimpose and display the superposed image based on the model data in accordance with the surgical target area 41.
  • the surgical support device 3 and the surgical device 2 are separate devices, but the control unit 24 and the operation unit 22 of the surgical support device 2 are provided with the functions of the surgical support device 3.
  • the surgical device 2 may have the function of the surgical support device 3 as a unit separate from the work unit 20, the operation unit 22, and the control unit 24.
  • the surgery support device 3 is assumed to be one computer, but the present invention is not limited to this, and it can be realized by a plurality of computers.
  • a storage unit may be provided in a database server and accessed via a network, or the functions of the surgery support device 3 may be distributed and deployed on a plurality of computers.
  • one virtual computer may be mounted by a plurality of computers, and the function of the surgery support device 3 may be provided to the virtual computer.
  • the position and posture of the identification mark 51 are used for deformation of the superimposed image, but the present invention is not limited to this, and may be used for grasping the shape of the surgical target area 41.
  • the position calculation unit 312 can calculate the position and posture of the identification mark 51, that is, one part of the operation target area 41, and can grasp the shape of the operation target area 41 based on this. It is possible.
  • the position and orientation of the detected identification mark 51 are used for alignment and deformation of the superimposed image, but may be used for automatic control of the instrument unit 200.
  • a locus for moving the instrument unit 200 such as a locus for incising with an electric knife, is set as model data, and the position of the locus is aligned and / or based on the position and / or posture of the identification mark 51.
  • the control unit 24 can control the instrument unit 200 to move so that the locus is deformed and aligned and / or follows the deformed locus.
  • the normal direction 54 of the AR marker 51 is taken into consideration, but not only the normal direction 54 but also the posture of three axes including the two axes related to the plane of the AR marker 51. May be considered.
  • the normal direction 54 of the AR marker 51 is taken into consideration, but not only the normal direction 54 but also the posture of three axes including the two axes related to the plane of the AR marker 51. May be considered.
  • the superimposed image can be displayed more accurately according to the shape of the current operation target area 41.
  • the surgical support device 3 only superimposes and displays the superposed image on the surgical target area 41.
  • the superposed image includes a locus of moving the surgical instrument, etc., depending on the superposed image.
  • An instrument control unit that automatically controls the instrument unit 200 may be provided. This makes it possible to automatically control the surgical operation.

Landscapes

  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】　術野に必要な情報を重畳表示させる技術を提供することができるようにする。 【解決手段】　手術支援装置を提供する。手術支援装置は、手術支援装置であって、体内の手術対象物に付与された複数の識別標識の位置および姿勢を取得する位置姿勢取得部と、識別標識の位置に応じて、３次元画像を仮想現実空間内に配置する位置を計算する位置計算部と、計算した位置に応じて３次元画像を手術対象物に重畳表示する描画処理部と、を備え、位置計算部は、識別標識の位置および姿勢のいずれか一方の変化に応じて、３次元画像を変形する。

Description

手術支援装置
　本発明は、手術支援装置に関する。
　ＡＲ技術を利用した遠隔手術が行われている。たとえば、特許文献１では、口腔内にＡＲマーカーを配置し、３次元ＣＴ画像の位置合わせを行っている。
特許第６０６３５９９号公報
　しかしながら、特許文献１では歯という硬質な手術対象を想定していることから、内臓等の変形する手術対象について用いると重畳画像にずれが生じてしまう。
　本発明はこのような背景を鑑みてなされたものであり、術野に必要な情報を重畳表示させる技術を提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、手術支援装置であって、体内の手術対象物に付与された複数の識別標識の位置および姿勢を取得する位置姿勢取得部と、前記識別標識の位置に応じて、３次元画像を仮想現実空間内に配置する位置を計算する位置計算部と、前記計算した位置に応じて前記３次元画像を前記手術対象物に重畳表示する描画処理部と、を備え、前記位置計算部は、前記識別標識の前記位置および前記姿勢のいずれか一方の変化に応じて、前記３次元画像を変形することとする。
　その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
　本発明によれば、術野に必要な情報を重畳表示させる技術を提供することができる。
本実施の形態による手術支援システムの構成例を示す図である。 本実施の形態による手術支援システムの構成例を示す図である。 手術支援装置３のハードウェア構成例の概略を説明するブロック図である。 手術支援装置３のソフトウェア構成例の概略を説明するブロック図である。 重畳画像が表示されたディスプレイ部２２４の一例を示す図である。 重畳画像記憶部３３１が記憶する重畳画像情報の構成例を示す図である。 説明情報記憶部３３２に記憶される説明情報の構成例を示す図である。 手術支援装置３の動作を説明する図である。 ＡＲマーカーである識別標識５１の法線方向を考慮する変形例を説明する図である。 識別標識５１の法線方向を考慮する場合における、手術支援装置３の動作を説明する図である。
　本発明の実施形態の内容を列記して説明する。本発明は、以下のような構成を備える。
［項目１］
　体内の手術対象物に付与された複数の識別標識の位置および姿勢を取得する位置姿勢取得部と、
　前記識別標識の位置に応じて、３次元画像を仮想現実空間内に配置する位置を計算する位置計算部と、
　前記計算した位置に応じて前記３次元画像を前記手術対象物に重畳表示する描画処理部と、
　を備え、
　前記位置計算部は、前記識別標識の前記位置および前記姿勢のいずれか一方の変化に応じて、前記３次元画像を変形すること、
　を特徴とする手術支援装置。
［項目２］
　項目１に記載の手術支援装置であって、
　前記３次元画像は、３次元モデルに基づいて描画されるものであり、
　前記位置計算部は、前記識別標識の前記位置および前記姿勢のいずれか一方の変化に応じて、前記３次元モデルを変形し、
　前記描画処理部は、変形された前記３次元モデルに基づいて前記３次元画像を前記手術対象物に重畳表示すること、
　を特徴とする手術支援装置。
［項目３］
　項目１または２に記載の手術支援装置であって、
　前記３次元画像に基づいて、前記手術対象物に対して所定の処理を行う器具制御部をさらに備えること、
　を特徴とする手術支援装置。
［項目４］
　項目１ないし３のいずれか１項に記載の手術支援装置であって、
　前記描画処理部は、前記手術対象物上に所定の情報を重畳表示させること、
　を特徴とする手術支援装置。
　以下、本発明の一実施形態に係る手術支援システムについて説明する。本実施形態の手術支援システムは、たとえば、腹腔鏡手術のように遠隔操作により行う手術を支援するものである。本実施形態の手術支援システムはとくに、手術対象領域（臓器等）に対する手術に関する３次元画像（以下、重畳画像という。）を、遠隔手術を行うオペレータが見る術野の画像に重畳させて表示しようとするものである。本実施形態では、重畳画像は、事前に行った手術のシミューレションに係る画像であるものとするが、たとえば、臓器内部の構造など、臓器等の手術対象領域に重畳表示させる意味のある任意の画像を採用することができる。
＜概要＞
　図１および図２は、本実施の形態による手術支援システム（以下、単に「システム」と呼ぶ）１を構成する要素を示す概略図である。なお、図の構成は一例であり、これら以外の要素が含まれていてもよい。
　システム１は、手術装置２と手術支援装置３とを備えている。手術装置２は、手術対象者４に対してオペレータ５による手術を実施するための装置である。本実施の形態によるオペレータは手術の執刀医等であり、手術対象者４は患者等である。
＜手術装置２＞
　手術装置２は、手術対象者４に対し実際に手術を行う（即ち、手術対象者４の身体に直接に作用する）作業ユニット２０と、作業ユニット２０に対するオペレータ５からの操作を受け付ける操作ユニット２２と、作業ユニット２０及び操作ユニット２２を制御する制御ユニット２４を有している。本実施の形態による手術装置２は、所謂腹腔鏡下で行うことができる手術、眼科手術、脳外科手術、脊髄手術、人口関節手術等のように、手術対象領域（閉じられた空間に限られない）に対して、当該領域に手術器具を貫通させるための小さな孔を作り、当該孔から手術器具を領域へと挿入することによって低侵襲で行う手術方法のための装置である。例示すれば、喉頭内視鏡、気管支鏡、消化管内視鏡、十二指腸内視鏡、小腸内視鏡、大腸内視鏡、胸腔鏡、腹腔鏡、膀胱鏡、胆道鏡、関節鏡、脊椎内視鏡、血管内視鏡、硬膜外腔内視鏡等が挙げられるがこれに限られない。
＜作業ユニット２０＞
　図２に示されるように、作業ユニット２０は、手術に利用するインスツルメント部２００と、少なくとも手術対象者４の手術野の状態又はインスツルメント部２００の状態を把握するセンサ部２０２とを備えている。センサ部２０２には内視鏡カメラ部２０２’が含まれている。内視鏡カメラ部２０２’は好適には複数配される。
　インスツルメント部２００は、操作可能な可動アームの先端に手術器具が取付られている。これらの器具は操作ユニット２２によって受け付けた操作によって使用することができる。手術器具としては、ピンセット、剪刀、鉗子、持針器、メス（電気メス等）等やこれらと同等の機能を発揮するものが含まれるが、用途に応じてこれ以外の器具を使用されていてもよい。
　センサ部２０２は、例えば、インスツルメント部２００の状態を検知するための圧力センサ、ジャイロセンサ、加速度センサ、温度センサ、カメラ等、各種のセンサを採用可能である。カメラとしては、光学カメラ、赤外線カメラ、Ｘ線カメラ等取得したい情報に応じて適宜採用可能である。
＜操作ユニット２２＞
　操作ユニット２２は、オペレータ５の操作を受けるコントローラ部２２２と、オペレータ５へ情報を表示するディスプレイ部２２４と、オペレータ５へ音声等による情報を提供するスピーカ部２２６とを備えている。コントローラ部２２２は、例えば、ジョイスティック状の入力機器やフットペダル等を組み合わせることができる。本実施の形態によるディスプレイ部２２４は、所謂ＶＲ（Ｖｅｒｔｕａｌ　Ｒｅａｌｉｔｙ；仮想現実）のＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）状の構造を有しており、ユーザの両目による視差を利用して手術対象領域の立体視が可能である。なお、ディスプレイ部は、依正モニタや、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ；拡張現実）等、オペレータに対して作業ユニット２０や手術対象者４の情報等、手術の実施にあたって必要な情報を視覚的に提供することができるものであればよい。
＜制御ユニット２４＞
　制御ユニット２４は、作業ユニット２０と操作ユニット２２との情報通信を制御する。例えば、操作ユニット２２が受け付けた操作を作業ユニット２０に伝達したり、カメラ部２０２’で取得した画像情報をディスプレイ部２２４表示したりする。
＜手術支援装置３＞
　図３は、手術支援装置３のハードウェア構成例の概略を説明するブロック図である。図示のように、手術支援装置３は、プロセッサ３０１、メモリ３０２、ストレージ３０３、送受信部３０４、及び入出力部３０５を主要構成として備え、これらが互いにバス３０６を介して電気的に接続される。
　プロセッサ３０１は、手術支援装置３の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。このプロセッサ３０１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ３０３に格納されてメモリ３０２に展開されたアプリケーションプログラム等を実行して各処理を行う。
　メモリ３０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。このメモリ３０２は、プロセッサ３０１の作業領域として使用される一方、手術支援装置３の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。
　ストレージ３０３は、アプリケーションプログラムや各種の処理に用いられるデータ等が格納される。
　送受信部３０４は、手術支援装置３を通信ネットワークに接続する。この送受信部３０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。本実施の形態では、この送受信部３０４を介して、手術支援装置３が手術装置２と接続される。
　入出力部３０５には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。バス３０６は、接続したプロセッサ３０１、メモリ３０２、ストレージ３０３、送受信部３０４及び入出力部３０５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
　図４は、手術支援装置３のソフトウェア構成例の概略を説明するブロック図である。手術支援装置３は、マーカー検出部３１１、位置姿勢計算部３１２、配置処理部３１３、および描画処理部３１４の各機能部と、重畳画像記憶部３３１、および説明情報記憶部３３２の各記憶部とを備える。
　なお、上記各機能部は、手術支援装置３が備えるプロセッサ３０１がストレージ３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、上記各記憶部は、手術支援装置３が備えるメモリ３０２およびストレージ３０３が提供する記憶領域の一部として実現される。
　上述したように、本実施形態の手術支援装置３は、操作ユニット２２のディスプレイ部２２４に表示される術野の画像に、重畳画像を重畳表示する。図５は、重畳画像５２が表示されたディスプレイ部２２４の一例を示す図である。本実施形態では、手術対象領域４１（図５の例では臓器）に３つ以上の所定箇所のそれぞれに識別標識５１を置き、この識別標識５１に基づいて、重畳画像５２の位置合わせを行うことを想定する。本実施形態では、識別標識５１はＡＲマーカーであるものとする。なお、識別標識５１は、臓器等の手術対象領域４１の所定箇所の位置を示すマークであれば任意のものを採用することが可能であり、たとえば、臓器に何らかの着色を行い、その着色箇所を識別標識５１としてもよい。ＡＲマーカーなどの物理的な識別標識５１を採用する場合、識別標識５１は、癒着防止材や吸収性縫合糸等に用いられる手術対象者４の体内において溶ける素材で構成することができる。
　マーカー検出部３１１は、術野の画像から識別標識５１を検出する。マーカー検出部３１１は、カメラ部２０２’が取得した術野の画像から識別標識５１を検出する。マーカー検出部３１１は、たとえば、識別標識５１の特徴量を画像から検出する等の手法により、識別標識５１を検出することができる。なお、マーカー検出部３１１による識別標識５１の検出処理については公知の手法を採用することが可能であり、ここでは詳細についての説明を省略する。
　位置計算部３１２は、識別標識５１の位置を計算する。位置計算部３１２は、仮想現実空間内における識別標識５１の３次元の位置を計算する。識別標識５１は、臓器等の手術対象領域４１の所定箇所に配置されることが想定されているので、位置計算部３１２は、３箇所以上の識別標識５１の位置を特定することにより３次元空間における重畳画像５２の位置および姿勢を決定することができる。
　重畳画像記憶部３３１は、重畳画像を記憶する。図６は、重畳画像記憶部３３１が記憶する重畳画像を含む情報（以下、重畳画像情報という。）の構成例を示す図である。重畳画像情報には、手術に関する操作を特定する識別情報（操作ＩＤ）に対応付けて、３次元画像を作成するためのモデルデータが含まれる。なお、モデルデータは、たとえば、ＤＷＧファイルなどの静止画像データであってもよいし、ＶＲＭＬやＯＳＧファイルなどの動画像データであってもよい。
　配置処理部３１３は、重畳画像を仮想現実空間内に配置する。配置処理部３１３は、モデルデータに基づいて、位置計算部３１２が計算した識別標識５１の位置に、対応する手術対象領域４１の部位の位置を合わせるように重畳画像を作成することができる。配置処理部３１３は、たとえば、手術の進行に合わせて、これからオペレータ５が行う操作の指定を受け付け、指定された操作に対応する重畳画像情報を重畳画像記憶部３３１から読み出して、モデルデータを取得することができる。
　説明情報記憶部３３２は、手術に関連する説明を含む情報（以下、説明情報という。）を記憶する。図７は、説明情報記憶部３３２に記憶される説明情報の構成例を示す図である。説明情報には、操作ＩＤに対応付けて、説明が含まれる。説明は、重畳画像情報に含まれるモデルデータに基づく重畳画像に関する説明とすることができ、たとえば、重畳画像に示される臓器の切開軌跡を文章で表現したテキストデータとすることができる。
　描画処理部３１４は、重畳画像を描画する。描画処理部３１４は、配置処理部３１３が作成した重畳画像を、配置処理部３１３が計算した位置に表示するように、ディスプレイ部２２４に表示される術野の画像に重畳させて描画する。図５の例では、重畳画像５２の一例として、電子メス２００ａにより切開する補助線を示している。また、描画処理部３１４は、重畳画像情報の操作ＩＤに対応する説明を説明情報記憶部３３２から読み出し、ディスプレイ部２２４に表示することもできる。図５の例では、説明情報の説明５３がディスプレイ部２２４に表示されている。なお、描画処理部３１４は、説明情報の説明５３を、ディスプレイ部２２４の固定的な表示箇所に表示するようにしてもよいし（たとえば、画面上部や画面下部などに、テロップとして表示することができる。）、図５の例のように、重畳画像５２の近傍に表示するようにしてもよい。重畳画像５２の近傍に説明５３を表示する場合、描画処理部３１４は、操作しているインスツルメント部２００の近傍であって、インスツルメント部２００および重畳画像５２と重畳しないように（重畳画像５２の透明な背景部分とは重畳してもよい。）、説明５３を表示することが好適である。
＜動作＞
　図８は、手術支援装置３の動作を説明する図である。
　オペレータ５は、インスツルメント部２００を操作して、識別標識５１（ＡＲマーカー）を臓器等の手術対象領域４１の所定箇所に配置する（Ｓ４００）。マーカー検出部３１１は、カメラ部２０２’が撮影した術野の画像を取得し（Ｓ４０１）、取得した画像中から識別標識５１（ＡＲマーカー）を検出する（Ｓ４０２）。位置計算部３１２は、識別標識５１の拡張現実空間における位置を計算し（Ｓ４０３）、配置処理部３１３は、識別標識５１の位置に合わせて重畳画像の位置および姿勢を決定し、重畳画像情報に含まれるモデルデータに基づき重畳画像を作成する（Ｓ４０４）。なお、表示するべき重畳画像情報は、配置処理部３１３が、オペレータ５または他の手術関係者から指定を受け付けてもよいし、事前に表示するべき重畳画像情報を登録しておいてもよい。描画処理部３１４は、配置処理部３１３が計算した位置および姿勢により、重畳画像をディスプレイ部２２４に重畳表示させる（Ｓ４０５）。描画処理部３１４は、重畳画像情報に対応する説明情報が説明情報記憶部３３２に登録されている場合には、説明情報に含まれる説明５３をディスプレイ部２２４に表示することもできる。
　以上のようにして、ＡＲマーカー等の識別標識５１を用いて正確に位置合わせを行ったうえで重畳画像を手術対象領域４１に重畳させて表示することができる。これにより、オペレータ５によるインスツルメント部２００の操作を補助し、手術の正確性および効率性を高めることが可能となる。
＜変形例＞
　上述した実施形態では、識別標識５１の位置に合わせて重畳画像を表示するものとしたが、識別標識５１をＡＲマーカーとした場合には、その法線方向を考慮して重畳画像を変形させたうえで重畳表示させることができる。
　図９は、ＡＲマーカーである識別標識５１の法線方向を考慮する変形例を説明する図である。図９に示すように、臓器等の手術対象領域４１は立体形状を有しているため、識別標識５１に平面状のＡＲマーカーを配置した場合には、手術対象領域４１の形状変化に伴って識別標識５１の法線方向５４も変化する。識別標識５１にＡＲマーカーを用いることで、手術対象領域４１の幾つかの部位について法線方向５４を取得し、３次元モデルにおける当該箇所に接する面の法線方向との差に基づいて、位置計算部３１２は、３次元モデルを変形することができる。３次元モデルの変形は、たとえば、３次元モデリングソフトウェアにおけるオブジェクトの変形処理などに用いられる一般的な手法を採用することができる。
　図１０は、識別標識５１の法線方向を考慮する場合における、手術支援装置３の動作を説明する図である。図１０の処理は、図８に示す処理のステップＳ４０２において、マーカー検出部３１１がカメラ部２０２’が撮影した術野の画像からＡＲマーカー５１を検出した後、ステップＳ４０３に代えて、位置計算部３１２は、ＡＲマーカー５１の拡張現実空間における位置およびその法線方向（ベクトル）を計算する（Ｓ５０１）。次に、配置処理部３１３は、重畳画像情報に含まれるモデルデータに基づいて、識別標識５１の位置に合わせて重畳画像の位置および姿勢を決定するとともに（Ｓ４０４）、ＡＲマーカー５１の法線方向に応じて変形させた重畳画像を作成し（Ｓ５０２）、描画処理部３１４は、配置処理部３１３が計算した位置に合わせて、変形した重畳画像を重畳表示させる（Ｓ４０５）。
　このようにして、ＡＲマーカー５１の法線方向５４に応じて変形された重畳画像５２が手術対象領域４１に重畳されて表示される。図９の例では、図５の例で示していた、電子メス２００ａにより切開する補助線５２が、ＡＲマーカー５４ａないし５４ｃの法線方向５４ａないし５４ｃに応じて変形され、補助線５２ａとして重畳描画されている様子が示されている。臓器等は随時変形可能性があるところ、上記のように変形処理を加えることにより、モデルデータに基づく重畳画像を手術対象領域４１に合わせてより正確に重畳表示させることが可能となる。
　以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　たとえば、本実施形態では、手術支援装置３と手術装置２とは別体の装置であるものとしたが、手術支援装置３の機能を、手術装置２の制御ユニット２４や操作ユニット２２が備えるようにしてもよいし、手術装置２が、作業ユニット２０、操作ユニット２２および制御ユニット２４とは別のユニットとして手術支援装置３の機能を備えるようにしてもよい。
　また、本実施形態では、手術支援装置３は１台のコンピュータであるものとしたが、これに限らず、複数台のコンピュータにより実現するようにすることもできる。たとえば、記憶部をデータベースサーバに設けるようにし、これにネットワーク経由でアクセスするようにしてもよいし、複数台のコンピュータに手術支援装置３の機能を分散させて配備するようにしてもよい。また、複数台のコンピュータにより１台の仮想コンピュータを実装し、当該仮想コンピュータに手術支援装置３の機能を配備してもよい。
　また、本実施形態では、重畳画像の変形のために識別標識５１の位置および姿勢を用いるものとしたが、これに限らず、手術対象領域４１の形状を把握するために用いてもよい。この場合、位置計算部３１２は、識別標識５１、すなわち、手術対象領域４１の一部位の位置および姿勢を計算することができるので、これに基づいて、手術対象領域４１の形状を把握することが可能である。
　また、本実施形態では、検出した識別標識５１の位置および姿勢は、重畳画像の位置合わせおよび変形い用いるものとしたが、インスツルメント部２００の自動制御に用いるようにしてもよい。この場合、たとえば、電気メスにより切開する軌跡など、インスツルメント部２００を移動させる軌跡をモデルデータとしておき、識別標識５１の位置および／または姿勢に基づいて、当該軌跡の位置を合わせ、および／または当該軌跡を変形し、位置合わせおよび／または変形を行った軌跡に沿わせるように、制御ユニット２４は、インスツルメント部２００を移動させるように制御することができる。
　また、本実施形態の変形例では、ＡＲマーカー５１の法線方向５４を考慮するものとしたが、法線方向５４のみでなく、ＡＲマーカー５１の平面に係る２軸を加えた３軸の姿勢を考慮してもよい。この場合、たとえば、手術対象領域４１に対して局所的なひねりなどが加えられた場合にも、重畳画像情報に含まれるモデルデータにも同様のひねりを加えて重畳画像を作成することが可能となり、現状の手術対象領域４１の形に合わせて重畳画像をより正確に表示することができる。
　また、本実施形態では、手術支援装置３は、重畳画像を手術対象領域４１に重畳表示するのみであったが、たとえば、重畳画像に手術器具を動かす軌跡などを含め、重畳画像に応じて、インスツルメント部２００を自動制御する器具制御部を備えるようにしてもよい。これにより手術操作を自動制御することが可能になる。
　　１　　　　手術支援システム
　　２　　　　手術装置
　　３　　　　手術支援装置
　　４　　　　手術対象者
　　５　　　　オペレータ
　　２０　　　作業ユニット
　　２２　　　操作ユニット
　　２４　　　制御ユニット
　　４１　　　対象物
　　２００　　インスツルメント部
　　２０２　　センサ部
　　２０２’　カメラ部
　　３１１　　マーカー検出部
　　３１２　位置姿勢計算部
　　３１３　配置処理部
　　３１４　描画処理部
　　３３１　重畳画像記憶部
　　３３２　説明情報記憶部
 

Claims (4)

  1. 　体内の手術対象物に付与された複数の識別標識の位置および姿勢を取得する位置姿勢取得部と、
    　前記識別標識の位置に応じて、３次元画像を仮想現実空間内に配置する位置を計算する位置計算部と、
    　前記計算した位置に応じて前記３次元画像を前記手術対象物に重畳表示する描画処理部と、
    　を備え、
    　前記位置計算部は、前記識別標識の前記位置および前記姿勢のいずれか一方の変化に応じて、前記３次元画像を変形すること、
    　を特徴とする手術支援装置。
  2. 　請求項１に記載の手術支援装置であって、
    　前記３次元画像は、３次元モデルに基づいて描画されるものであり、
    　前記位置計算部は、前記識別標識の前記位置および前記姿勢のいずれか一方の変化に応じて、前記３次元モデルを変形し、
    　前記描画処理部は、変形された前記３次元モデルに基づいて前記３次元画像を前記手術対象物に重畳表示すること、
    　を特徴とする手術支援装置。
  3. 　請求項１または２に記載の手術支援装置であって、
    　前記３次元画像に基づいて、前記手術対象物に対して所定の処理を行う器具制御部をさらに備えること、
    　を特徴とする手術支援装置。
  4. 　請求項１ないし３のいずれか１項に記載の手術支援装置であって、
    　前記描画処理部は、前記手術対象物上に所定の情報を重畳表示させること、
    　を特徴とする手術支援装置。
     
PCT/JP2019/034637 2019-09-03 2019-09-03 手術支援装置 Ceased WO2021044523A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034637 WO2021044523A1 (ja) 2019-09-03 2019-09-03 手術支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034637 WO2021044523A1 (ja) 2019-09-03 2019-09-03 手術支援装置

Publications (1)

Publication Number Publication Date
WO2021044523A1 true WO2021044523A1 (ja) 2021-03-11

Family

ID=74852399

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034637 Ceased WO2021044523A1 (ja) 2019-09-03 2019-09-03 手術支援装置

Country Status (1)

Country Link
WO (1) WO2021044523A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179350A1 (ja) * 2016-04-11 2017-10-19 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
US20180140362A1 (en) * 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
JP2019161558A (ja) * 2018-03-15 2019-09-19 国立大学法人 東京大学 臓器追跡装置、臓器追跡方法及び臓器追跡プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180140362A1 (en) * 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
WO2017179350A1 (ja) * 2016-04-11 2017-10-19 富士フイルム株式会社 画像表示制御装置および方法並びにプログラム
JP2019161558A (ja) * 2018-03-15 2019-09-19 国立大学法人 東京大学 臓器追跡装置、臓器追跡方法及び臓器追跡プログラム

Similar Documents

Publication Publication Date Title
AU2019352792B2 (en) Indicator system
US20220331052A1 (en) Cooperation among multiple display systems to provide a healthcare user customized information
US20250090241A1 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
US12357392B2 (en) Navigational aid
EP3737322B1 (en) Guidance for placement of surgical ports
KR20160102464A (ko) 의료 절차 훈련을 위한 시뮬레이터 시스템
CN114945937A (zh) 用于内窥镜流程的引导式解剖操纵
US20250268666A1 (en) Systems and methods for providing surgical assistance based on operational context
JP7239117B2 (ja) 手術支援装置
US11532130B2 (en) Virtual augmentation of anatomical models
CN118215936A (zh) 用于腹腔镜和视频辅助手术的交互式增强现实系统
WO2021044523A1 (ja) 手術支援装置
WO2022219501A1 (en) System comprising a camera array deployable out of a channel of a tissue penetrating surgical device
CN114159157A (zh) 辅助移动器械的方法、装置、设备及存储介质
JP2002045372A (ja) 手術ナビゲーション装置
US20250235287A1 (en) Computer-assisted distance measurement in a surgical space
WO2019035206A1 (ja) 医療システムおよび画像生成方法
GB2611972A (en) Feature identification
GB2608016A (en) Feature identification

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19944504

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19944504

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP