[go: up one dir, main page]

WO2013145727A1 - 手術支援装置および手術支援プログラム - Google Patents

手術支援装置および手術支援プログラム Download PDF

Info

Publication number
WO2013145727A1
WO2013145727A1 PCT/JP2013/002062 JP2013002062W WO2013145727A1 WO 2013145727 A1 WO2013145727 A1 WO 2013145727A1 JP 2013002062 W JP2013002062 W JP 2013002062W WO 2013145727 A1 WO2013145727 A1 WO 2013145727A1
Authority
WO
WIPO (PCT)
Prior art keywords
endoscope
display
surgery
unit
surgical instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/002062
Other languages
English (en)
French (fr)
Inventor
知晃 竹村
良一 今中
勁峰 今西
宗人 吉田
雅彦 木岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Konica Minolta Medical Solutions Co Ltd
Original Assignee
Panasonic Corp
Panasonic Medical Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Panasonic Medical Solutions Co Ltd filed Critical Panasonic Corp
Priority to US14/387,146 priority Critical patent/US20150085092A1/en
Publication of WO2013145727A1 publication Critical patent/WO2013145727A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present invention relates to, for example, a surgery support apparatus and a surgery support program that are used when a medical worker performs a simulation of surgery.
  • a conventional surgery support apparatus includes, for example, a tomographic image information acquisition unit that acquires tomographic image information such as an X-ray CT image, a nuclear magnetic resonance image (MRI image), an image acquired by PET (positron emission tomography), A memory connected to the tomographic image information acquisition unit, a volume rendering calculation unit connected to the memory, a display for displaying the calculation result of the volume rendering calculation unit, and a cutting instruction for a display object displayed on the display And an input unit to perform.
  • tomographic image information acquisition unit that acquires tomographic image information such as an X-ray CT image, a nuclear magnetic resonance image (MRI image), an image acquired by PET (positron emission tomography)
  • a memory connected to the tomographic image information acquisition unit, a volume rendering calculation unit connected to the memory, a display for displaying the calculation result of the volume rendering calculation unit, and a cutting instruction for a display object displayed on the display
  • a display for displaying the calculation result of the volume rendering calculation unit a cutting instruction for a display object displayed
  • Patent Document 1 discloses an endoscopic surgery support apparatus that supports a surgery using an endoscope with a display image using a tomographic image acquired by an imaging apparatus such as an MRI apparatus or a CT apparatus. .
  • the conventional surgery support apparatus has the following problems. That is, in the surgery support device disclosed in the above publication, it is possible to perform a surgery by recognizing the positional relationship between the surgery target part and the endoscope by providing the surgeon with the position of the surgery target part on the display screen. It is. However, since these display screens are not linked to the surgical plan, it is difficult to accurately grasp the surgical target site in the simulation before the surgery.
  • the surgical method using the endoscope generally has a small wound as compared with open surgery and the like, and can greatly reduce the burden on the patient. For this reason, in recent years, for example, surgery using an endoscope has been performed in various operations such as surgery for lumbar spinal canal stenosis.
  • a cylindrical member called a cylindrical retractor hereinafter referred to as a retractor
  • the operation is performed while confirming the periphery of the target site on the monitor screen. Therefore, compared with general open surgery, doctors and others can confirm only a narrow range in actual surgery. Therefore, even in cutting simulations performed before surgery, the actual monitor during surgery It is preferable that the display is as close as possible to the display form displayed on the screen.
  • An object of the present invention is to provide a surgical operation support apparatus and a surgical operation support capable of performing a cutting simulation while performing display similar to a display mode actually displayed on a display screen even when performing an operation using an endoscope.
  • a surgery support apparatus is a surgery support apparatus that displays a simulation image during surgery performed by inserting an endoscope into a surgical instrument, and includes a tomographic image information acquisition unit, a memory, and a volume A rendering calculation unit and a display control unit are provided.
  • the tomographic image information acquisition unit acquires tomographic image information.
  • the memory is connected to the tomographic image information acquisition unit and stores voxel information of the tomographic image information.
  • the volume rendering operation unit is connected to the memory and samples the voxel information in a direction perpendicular to the line of sight based on the voxel information.
  • the display control unit sets a first display area acquired by the endoscope generated by the volume rendering operation unit and a second display area whose display is restricted by the surgical instrument during an actual operation. To display.
  • a simulation of an operation using an endoscope is performed in a state where a periphery of a specific bone, blood vessel, organ, or the like is displayed using a three-dimensional image created using a plurality of X-ray CT images.
  • the display is reflected to the part of the visual field limited by the surgical instrument into which the endoscope is inserted.
  • the tomographic image includes, for example, a two-dimensional image acquired using a medical device such as X-ray CT, MRI, or PET.
  • the surgical instrument includes a cylindrical retractor into which an endoscope is inserted.
  • a surgery support apparatus is the surgery support apparatus according to the first invention, and further includes a display unit for displaying the first and second images.
  • a display unit such as a monitor is provided as a surgery support device. Accordingly, it is possible to perform surgery support while displaying the above-described endoscopic surgery simulation image on the display unit.
  • a surgery support device is the surgery support device according to the second invention, wherein the display control unit is a surgical tool and a target of surgery in a state where the surgical tool is inserted into the body on the simulation image.
  • the position in contact with the periphery of the part is detected and displayed as an insertion restriction position.
  • the depth position of the surgical instrument such as a retractor into which the endoscope is inserted with respect to the surgical target site is detected, and the position where the bone around the surgical target site is in contact with the surgical tool is detected as the insertion restriction position. indicate.
  • endoscopic surgery is performed in a state where the surgical instrument is inserted to a position where it comes into contact with bone or the like. If the position of the surgical instrument in the depth direction is not taken into consideration, it is possible to display up to a position where the surgical instrument cannot actually enter, which is not preferable in performing an accurate surgical simulation. In this way, by detecting the positional relationship between the surgical tool and the surgical target site and limiting the position of the surgical tool in the depth direction, the insertion limit position is detected and displayed. An endoscopic image that cannot be displayed is prevented from being displayed, and a surgical simulation that more closely resembles actual endoscopic surgery can be performed.
  • a surgery support apparatus is the surgery support apparatus according to any one of the first to third inventions, wherein the endoscope is a perspective endoscope.
  • a perspective endoscope is used as an endoscope used for endoscopic surgery for performing surgical simulation. Thereby, it is possible to perform a simulation of endoscopic surgery using an endoscope with a wider field of view compared to a direct-viewing endoscope while viewing an endoscopic image that approximates a display image during actual surgery. .
  • a surgery support program is a surgery support program for displaying a simulation image during surgery performed by inserting an endoscope inside a surgical instrument, an acquisition step for acquiring tomographic image information, A volume rendering step for sampling voxel information in a direction perpendicular to the line of sight based on the voxel information of the image information, a first display area acquired by the endoscope generated in the volume rendering step, and during actual surgery And setting a second display area whose display is restricted by the surgical instrument and displaying the second display area on the display unit.
  • an endoscope is inserted when performing a surgical simulation using an endoscope in a state in which the periphery of a specific bone, blood vessel, organ, or the like is displayed using a plurality of X-ray CT images.
  • the display reflects the part of the field of view limited by the surgical tool.
  • the tomographic image includes, for example, a two-dimensional image acquired using a medical device such as X-ray CT, MRI, or PET.
  • the surgical instrument includes a cylindrical retractor into which an endoscope is inserted.
  • FIG. 1 is a perspective view showing a personal computer (surgery support device) according to an embodiment of the present invention.
  • the control block diagram of the personal computer of FIG. The block diagram which shows the structure of the endoscope parameter storage part in the memory contained in the control block of FIG.
  • the block diagram which shows the structure of the surgical instrument parameter storage part in the memory contained in the control block of FIG. (A) is an operation
  • movement flowchart of the personal computer of FIG. (B) is an operation
  • (A), (b) is a figure explaining the mapping from the two-dimensional input by the mouse operation to the endoscope three-dimensional operation in the case of using a cylindrical surgical tool (retractor).
  • (A)-(c) is a figure which shows the display at the time of reflecting the front-end
  • the figure which shows the perspective endoscope image displayed by the personal computer of FIG. (A) is a figure which shows the perspective endoscopic image which concerns on this embodiment.
  • FIG. 5B is a diagram showing an endoscopic image when a direct-viewing endoscope is used instead of a perspective endoscope.
  • the personal computer 1 includes a display (display unit) 2 and various input units (a keyboard 3, a mouse 4, and a tablet 5 (see FIG. 2)). .
  • the display 2 displays a three-dimensional image such as an organ (in the example of FIG. 1, an endoscopic image is displayed) formed from a plurality of tomographic images such as an X-ray CT image, and also displays a cutting simulation result. . Further, as shown in FIG. 2, the personal computer 1 forms a control block such as a tomographic image information acquisition unit 6 inside.
  • a tomographic image information unit 8 is connected to the tomographic image information acquisition unit 6 via a voxel information extraction unit 7. That is, the tomographic image information unit 8 is supplied with tomographic image information from a device that captures tomographic images such as CT, MRI, and PET, and the tomographic image information is extracted as voxel information by the voxel information extracting unit 7.
  • the memory 9 is provided in the personal computer 1 and includes a voxel information storage unit 10, a voxel label storage unit 11, a color information storage unit 12, an endoscope parameter storage unit 22, and a surgical instrument parameter storage unit 24. ing.
  • a volume rendering calculation unit 13 is connected to the memory 9.
  • the voxel information storage unit 10 stores voxel information received from the voxel information extraction unit 7 via the tomographic image information acquisition unit 6.
  • the voxel label storage unit 11 includes a first voxel label storage unit, a second voxel label storage unit, and a third voxel label storage unit. These first to third voxel label storage units are provided in correspondence with preset CT value ranges described later, that is, organs to be displayed.
  • the first voxel label storage unit corresponds to the CT value range for displaying the liver
  • the second voxel label storage unit corresponds to the CT value range for displaying the blood vessel.
  • the storage unit corresponds to a range of CT values for displaying bones.
  • the color information storage unit 12 has a plurality of storage units therein.
  • Each storage unit is provided corresponding to a preset CT value range, that is, a bone, blood vessel, nerve, organ, or the like to be displayed.
  • a storage unit corresponding to a CT value range for displaying a liver a storage unit corresponding to a CT value range for displaying a blood vessel
  • a storage unit corresponding to a CT value range for displaying a bone can be given.
  • different color information is set in each storage unit for each bone, blood vessel, nerve, and organ to be displayed. For example, white color information is stored in the CT value range corresponding to the bone, and red color information is stored in the CT value range corresponding to the blood vessel.
  • the CT value set for each bone, blood vessel, nerve, or organ to be displayed is a numerical value of the degree of X-ray absorption in the human body, and is a relative value with water as 0 (unit: HU).
  • HU unit: HU
  • the CT value range in which bone is displayed is 500 to 1000 HU
  • the CT value range in which blood is displayed is 30 to 50 HU
  • the CT value range in which the liver is displayed is 60 to 70 HU
  • the CT is in which the kidney is displayed.
  • the range of values is 30-40 HU.
  • the endoscope parameter storage unit 22 includes a first endoscope parameter storage unit 22a, a second endoscope parameter storage unit 22b, and a third endoscope parameter storage unit 22c. .
  • the first to third endoscope parameter storage units 22a to 22c store, for example, information such as the perspective angle, viewing angle, position, and posture of the endoscope.
  • the endoscope parameter storage unit 22 is connected to an endoscope parameter setting unit 23 as shown in FIG.
  • the endoscope parameter setting unit 23 sets endoscope parameters input via the keyboard 3 and the mouse 4, and sends them to the endoscope parameter storage unit 22.
  • the surgical instrument parameter storage unit 24 includes a first surgical instrument parameter storage unit 24a, a second surgical instrument parameter storage unit 24b, and a third surgical instrument parameter storage unit 24c.
  • the first to third surgical instrument parameter storage units 24a to 24c for example, when the surgical instrument is a tubular retractor 31 (see FIG. 6), the tubular shape, tubular length, position, posture, etc. of the tubular retractor The information of each is stored.
  • the surgical instrument parameter storage unit 24 is connected to a surgical instrument parameter setting unit 25 as shown in FIG.
  • the surgical instrument parameter setting unit 25 sets surgical instrument parameters such as a retractor that are input via the keyboard 3 and the mouse 4, and sends the surgical instrument parameters to the surgical instrument parameter storage unit 24.
  • the surgical instrument insertion depth calculation unit 26 is connected to the surgical instrument parameter storage unit 24 in the memory 9 and calculates the insertion depth (depth position at the surgical site) of a surgical instrument such as a retractor.
  • the volume rendering operation unit 13 includes: voxel information stored in the voxel information storage unit 10; voxel labels stored in the voxel label storage unit 11; and color information stored in the color information storage unit 12. Based on the information, a plurality of pieces of slice information that are perpendicular to the line of sight and have a constant interval in the Z direction are acquired. Then, the volume rendering calculation unit 13 displays the calculation result on the display 2 as a three-dimensional image.
  • the volume rendering calculation unit 13 is configured based on the endoscope information stored in the endoscope parameter storage unit 22 and the surgical instrument information stored in the surgical instrument parameter storage unit 24.
  • the endoscopic image is displayed on the display 2 in a masking state in which image information whose visual field is limited by a surgical instrument such as a retractor is reflected on the image information obtained by the above.
  • the volume rendering calculation unit 13 stores information related to the endoscope (perspective angle, viewing angle, position, etc.) stored in the endoscope parameter storage unit 22 and the surgical instrument parameter storage unit 24.
  • An endoscope image display area (first display area) A1 (see FIG. 11) and a display restriction area (second display area) acquired by the endoscope based on information about the surgical instrument (diameter, length, etc.) ) A2 (see FIG. 11) is set.
  • the endoscope image display area A1 is a display area displayed on the monitor screen of the display 2 during actual endoscopic surgery.
  • the display restriction area A2 is a display area in which the display acquired by the endoscope is restricted by an inner wall portion of a surgical instrument such as a cylindrical retractor, and is masked and displayed on the endoscopic surgery simulation. (Refer to FIG. 11).
  • a depth detection unit 15 is connected to the volume rendering calculation unit 13 via a bus 16.
  • the depth detection unit 15 measures the ray casting scanning distance, and the depth control unit 17 and the voxel label setting unit 18 are connected to each other.
  • the voxel label setting unit 18 is connected to the voxel label storage unit 11 and the cut voxel label calculation display unit 19.
  • a window coordinate acquisition unit 20 such as a color information storage unit 12 in the memory 9 is connected to the bus 16, and the keyboard 3, mouse 4, A three-dimensional image or the like is displayed on the display 2 based on the content input from the tablet 5 or the like.
  • a depth detection unit 15 and a color information setting unit 21 are connected to the window coordinate acquisition unit 20.
  • FIG. 5A and FIG. 5B show a control flow for explaining operations in the personal computer (surgery support apparatus) 1 of the present embodiment.
  • the personal computer 1 of this embodiment as shown in FIG. 5A, first, in S1, as described above, the tomographic image information from the tomographic image information unit 8 is input and supplied to the voxel information extraction unit 7. Is done.
  • the voxel information extraction unit 7 extracts voxel information from the tomographic image information.
  • the extracted voxel information is stored in the voxel information storage unit 10 of the memory 9 via the tomographic image information acquisition unit 6.
  • the voxel information stored in the voxel information storage unit 10 is, for example, information on a point constituted by I (x, y, z, ⁇ ).
  • I is luminance information of the point
  • x, y, and z are coordinate points
  • ⁇ transparency information.
  • the volume rendering calculation unit 13 calculates a plurality of slice information that is perpendicular to the line of sight and has a constant interval based on the voxel information stored in the voxel information storage unit 10, Get information group.
  • the slice information group is at least temporarily stored in the volume rendering operation unit 13.
  • the above slice information perpendicular to the line of sight means a plane orthogonal to the line of sight. For example, when the display 2 is standing along the vertical direction and the face 2 is viewed in parallel with the face surface, the slice information becomes a surface perpendicular to the line of sight.
  • the plurality of slice information obtained in this way has information on points constituted by I (x, y, z, ⁇ ). Therefore, as for slice information, for example, a plurality of voxel labels 14 are arranged in the Z direction. Note that the aggregate of the voxel labels 14 is stored in the voxel label storage unit 11.
  • S ⁇ b> 4 the rendering image is displayed on the display 2.
  • a CT value range is designated using the mouse 4 or the like, whereby bones, blood vessels, or the like to be cut are selected and displayed.
  • an instruction for the insertion direction / position of the endoscope is input from the user.
  • S6 it is determined whether or not an instruction has been received from the user to display the endoscope. If an instruction for endoscope display is accepted, the process proceeds to S7. On the other hand, if an instruction for endoscope display has not been received, the process returns to S3.
  • S7 the insertion depth of the surgical tool is determined based on information input using the keyboard 3 and the mouse 4.
  • the surgical instrument insertion depth calculation unit 26 acquires information on the surgical instrument shape from the surgical instrument parameter storage unit 24.
  • the surgical instrument insertion depth calculation unit 26 receives information about the insertion position of the surgical tool with respect to the three-dimensional image generated by the volume rendering calculation unit 13 (for example, the inner diameter of the retractor, the center of the endoscope in the retractor). Get distance from).
  • the surgical instrument insertion depth calculation unit 26 collides with a site such as a bone included in the three-dimensional image when the surgical instrument such as a retractor is inserted based on the information acquired in S72.
  • the depth position (surgical instrument insertion depth), that is, the insertion limit position is detected.
  • a surgical simulation is performed in a state where the surgical instrument such as a retractor accurately grasps the limit position where it is inserted in actual endoscopic surgery and the surgical instrument is inserted deeper than the actual insertion limit position. Can be avoided.
  • the volume rendering operation unit 13 acquires necessary parameters relating to a surgical instrument such as a cylindrical retractor from the surgical instrument parameter storage unit 24.
  • the volume rendering calculation unit 13 acquires necessary parameters regarding the endoscope from the endoscope parameter storage unit 22, and proceeds to S3.
  • the volume rendering calculation unit 13 uses the endoscope of the three-dimensional images generated in the volume rendering calculation unit 13.
  • the endoscope image display area A1 (see FIG. 11) and the display restriction area A2 (see FIG. 11) acquired by the above are set and displayed on the display screen of the display 2.
  • the personal computer 1 of the present embodiment does not simply display the three-dimensional image generated by the volume rendering operation unit 13 but only the image in the range that can be actually acquired by the endoscope in endoscopic surgery.
  • the display restriction area A2 in which the display is restricted by a surgical instrument such as the retractor 31 is not displayed (see FIG. 11).
  • the retractor insertion position automatic detection function will be described with reference to FIG. 6 as to the method for determining the insertion depth of the retractor 31 described with reference to FIG.
  • modeling is performed in which a plurality of sampling points are arranged outside the surgical instrument and the region where a collision is expected, based on parameters such as the diameter, length, and movement direction (insertion direction) of the retractor. More specifically, with respect to the three-dimensional image generated by the volume rendering calculation unit 13, all the points set at the tip of the retractor 31 are detected in contact points with bones and the like included in the three-dimensional image in the moving direction. I do. Then, the point at which the tip of the retractor 31 first detects contact with a bone or the like included in the three-dimensional image is set as the insertion limit position of the retractor 31.
  • the perspective endoscope 32 (see FIG. 7A and the like) inserted into the retractor 31 is fixed to an attachment (not shown) integrated with the retractor 31 to move in the circumferential direction within the retractor 31. Is limited.
  • FIG. 7A assuming that the perspective endoscope 32 is rotated together with the attachment, the length dr of the retractor 31 and the perspective in the retractor 31 are assumed as shown in FIG. 7B.
  • a rotation matrix R ⁇ is calculated when the angle ⁇ is rotated with respect to an axis Rz in the depth direction at a distance Ro from the center of the retractor 31 to the center of the perspective endoscope 32.
  • the insertion depth de of the perspective endoscope 32 can be changed by operating a mouse (for example, a mouse wheel).
  • a mouse for example, a mouse wheel
  • FIG. 1 An endoscope is connected to a rear end side of a camera head unit storing a CCD camera (not shown).
  • the display rotation when the camera head unit is rotated will be described.
  • a rotation matrix is applied to the visual field vector according to the perspective angle set for each perspective endoscope 32. Specifically, first, the outer product Vc of the mirror axis vector Vs corresponding to the axial direction of the retractor 31 and the vertical vector Vu corresponding to the perspective direction of the perspective endoscope 32 is calculated. Next, a rotation matrix Rs that rotates ⁇ around Vc is calculated.
  • FIGS. 10 (a) to 10 (c) show the state in which the tip position and the line-of-sight vector of the perspective endoscope 32 are reflected on the three views using the mirror axis vector Vs and the visual field vector Ve. It shows.
  • a front view viewed from the side of the patient
  • a plan view in a simulation of surgery for lumbar spinal canal stenosis using the perspective endoscope 32 is shown.
  • the insertion direction of the strabismus endoscope 32 can be easily grasped using the figure (the figure seen from the patient's back) and the side view (the figure seen from the patient's spine direction).
  • the personal computer 1 of the present embodiment when performing an endoscopic surgery simulation based on the shape of the retractor 31, the perspective angle and the viewing angle of the perspective endoscope 32, etc., as shown in FIG. As shown, an endoscope image (endoscope display area A1) reflecting the display restriction area A2 blocked by the retractor 31 is displayed. As a result, a display mode that reflects the display restriction area A2 that is invisible by the inner wall of the retractor 31 in the actual endoscopic surgery is displayed, which approximates the image displayed on the display screen in the actual endoscopic surgery. It can be performed. Therefore, more effective surgical support can be implemented.
  • the contact portion between the retractor 31 and the bone is For example, it is displayed in red.
  • the user can recognize that the retractor 31 cannot move to a deep position any more.
  • it turns out that it is necessary to cut the location where the bone and the retractor are contacting. Therefore, it is possible to avoid displaying an endoscopic image at a depth that cannot actually be displayed on the simulation, and to display only an image that can be displayed in actual endoscopic surgery as a simulation image. .
  • the operation target region is displayed by the endoscope by reflecting the display restriction area A2 by the retractor 31. It is displayed in area A1.
  • a screen actually displayed on the display 2 of the personal computer 1 of the present embodiment as shown in FIG. 13, for example, in combination with the display of the cutting target portion C, etc., while reflecting the display restriction area A2, It is also possible to display the cutting target site C in the endoscope display area A1.
  • the present invention can be applied to a simulation of endoscopic surgery using a direct-view endoscope instead of a perspective endoscope.
  • an endoscope display area A1 and a display restriction area A2 by a direct-view endoscope from the same viewpoint as the perspective endoscope of FIG. 12A are shown.
  • C In the said embodiment, the example which displays the image close
  • the present invention is not limited to this.
  • cutting simulation may be performed in combination with a cutting simulation device while viewing an endoscopic image.
  • the state during an operation can be reproduced in more detail, and effective operation support can be performed.
  • the operation simulation using the endoscope according to the present invention the operation for the lumbar spinal canal stenosis has been described as an example.
  • the present invention is not limited to this.
  • the present invention may be applied to other operations using an endoscope.
  • E In the embodiment described above, an operation for lumbar spinal canal stenosis using a perspective endoscope has been described as an example. However, the present invention is not limited to this. For example, the present invention can be applied to a surgery using a direct endoscope.
  • a three-dimensional image may be formed using tomographic image information acquired by a nuclear magnetic resonance image (MRI) that does not use radiation.
  • MRI nuclear magnetic resonance image
  • the surgery support apparatus of the present invention can perform display similar to an endoscopic image displayed during an actual surgery using an endoscope, it is possible to perform effective surgery support. Therefore, it can be widely applied to various operations using an endoscope.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

　パーソナルコンピュータ（１）は、断層画像情報取得部（６）、メモリ（９）、ボリュームレンダリング演算部（１３）を備えている。断層画像情報取得部（６）は、断層画像情報を取得する。メモリ（９）は、断層画像情報取得部（６）に接続されており、断層画像情報のボクセル情報を格納する。ボリュームレンダリング演算部（１３）は、メモリ（９）に接続されており、ボクセル情報に基づいて視線に対して垂直の方向においてボクセル情報をサンプリングするとともに、ボリュームレンダリング演算部（１３）によって生成された内視鏡によって取得される内視鏡表示エリアと表示制限エリアとを設定してディスプレイ（２）に表示させる。

Description

手術支援装置および手術支援プログラム
　本発明は、例えば、医療従事者が手術のシミュレーションを行う際に活用する手術支援装置および手術支援プログラムに関する。
　医療現場において、より適切な手術を行うために、手術のシミュレーションを行うことが可能な手術支援装置が活用されている。
　従来の手術支援装置は、例えば、Ｘ線ＣＴ画像や核磁気共鳴画像（ＭＲＩ画像）、ＰＥＴ（陽電子放射断層法）によって取得された画像等の断層画像情報を取得する断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続されたボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して切削指示を行う入力部と、を備えていた。
　例えば、特許文献１には、ＭＲＩ装置やＣＴ装置等の撮像装置によって取得された断層画像を用いて内視鏡を用いた手術を表示画像によって支援する内視鏡手術支援装置について開示されている。
特許第４１５２４０２号公報
　しかしながら、上記従来の手術支援装置では、以下に示すような問題点を有している。
　すなわち、上記公報に開示された手術支援装置では、表示画面において手術対象部位の位置を術者に提供することで手術対象部位と内視鏡との位置関係を認識して手術を行うことは可能である。
　しかしながら、これらの表示画面は手術計画と連携したものではないため、手術前のシミュレーションにおいて手術対象部位を正確に把握することは困難であった。
　ここで、上記内視鏡を用いた手術方法は、一般的に、開腹手術等と比較して傷口が小さく、患者への負担を大幅に軽減することができる。このため、近年、例えば、腰部脊椎管狭窄症に対する手術等、様々な手術において内視鏡を活用した手術が行われるようになっている。
　このような内視鏡を用いた手術の場合には、筒状の開創器（以下、レトラクタと記す。）と呼ばれる筒状の部材を患者の体内へ装填し、その筒状部材に沿って内視鏡を挿入していくことで、手術の対象部位の周辺をモニタ画面で確認しながら手術を実施するものである。よって、一般的な開放手術と比較して、実際の手術において医師等が確認できるのは狭い範囲に限られていることから、手術前に実施される切削シミュレーションにおいても、実際に手術中のモニタ画面に表示される表示形態にできるだけ近似した表示がなされることが好ましい。
　本発明の課題は、内視鏡を用いた手術を行う場合でも、実際に表示画面に表示される表示態様に近似した表示を行いながら切削シミュレーションを実施することが可能な手術支援装置および手術支援プログラムを提供することにある。
　第１の発明に係る手術支援装置は、術具の内部に内視鏡を挿入して行う手術中のシミュレーション画像を表示する手術支援装置であって、断層画像情報取得部と、メモリと、ボリュームレンダリング演算部と、表示制御部と、を備えている。断層画像情報取得部は、断層画像情報を取得する。メモリは、断層画像情報取得部に接続されており、断層画像情報のボクセル情報を格納する。ボリュームレンダリング演算部は、メモリに接続されており、ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングする。表示制御部は、ボリュームレンダリング演算部によって生成された内視鏡によって取得される第１表示エリアと、実際の手術中において術具によって表示が制限される第２表示エリアとを設定して表示部に表示させる。
　ここでは、例えば、複数のＸ線ＣＴ画像を用いて作成される３次元画像を用いて特定の骨や血管、臓器等の周辺を表示した状態で内視鏡を用いた手術のシミュレーションを実施する際に、内視鏡が挿入される術具によって制限される視野の部分まで反映させた表示を行う。
　ここで、上記断層画像には、例えば、Ｘ線ＣＴやＭＲＩ、ＰＥＴ等の医用機器を用いて取得された２次元画像が含まれる。また、上記術具には、内視鏡が挿入される筒状のレトラクタ等が含まれる。
　これにより、例えば、腰部脊椎管狭窄症に対する内視鏡手術のシミュレーションを実施する場合には、レトラクタ等の筒状の術具によって制限される部分については見えないように、例えば、マスキングした状態で表示させることで、実際の内視鏡画像と近似した状態でのシミュレーションを実施することができる。
　この結果、内視鏡を用いた実際の手術中に表示される内視鏡画像に近似した表示を行うことができるため、効果的な手術シミュレーションを実施することができる。
　第２の発明に係る手術支援装置は、第１の発明に係る手術支援装置であって、第１・第２画像を表示する表示部を、さらに備えている。
　ここでは、手術支援装置として、モニタ等の表示部を備えている。
　これにより、上述した内視鏡手術のシミュレーション画像を表示部に表示させながら、手術支援を行うことができる。
　第３の発明に係る手術支援装置は、第２の発明に係る手術支援装置であって、表示制御部は、シミュレーション画像上において、術具が体内に挿入された状態において術具と手術の対象部位の周辺とが接触する位置を挿入制限位置として検出して表示する。
　ここでは、内視鏡が挿入されるレトラクタ等の術具の手術対象部位に対する深さ位置を検出し、手術対象部位周辺の骨等と術具とが接触する位置を挿入制限位置として検出して表示する。
　ここで、実際の内視鏡手術においては、術具が骨等に接触する位置まで挿入された状態で内視鏡手術を行う。このような術具の深さ方向における位置を考慮しなければ、実際には術具が入り込めない位置まで表示可能となってしまうため、正確な手術シミュレーションを実施する上で好ましくない。
　これにより、術具と手術対象部位との位置関係を検出して術具の深さ方向における位置を制限するために挿入限界位置を検出して表示することで、実際の内視鏡手術では見られない内視鏡画像が表示されてしまうことを防止して、より実際の内視鏡手術に近似した手術シミュレーションを実施することができる。
　第４の発明に係る手術支援装置は、第１から第３の発明のいずれか１つに係る手術支援装置であって、内視鏡は、斜視内視鏡である。
　ここでは、手術シミュレーションを行う内視鏡手術に用いられる内視鏡として、斜視内視鏡を用いている。
　これにより、直視内視鏡と比較してより視野の広い内視鏡を用いた内視鏡手術のシミュレーションを、実際の手術中の表示画像に近似した内視鏡画像を見ながら行うことができる。
　第５の発明に係る手術支援プログラムは、術具の内部に内視鏡を挿入して行う手術中のシミュレーション画像を表示する手術支援プログラムであって、断層画像情報を取得する取得ステップと、断層画像情報のボクセル情報に基づいて視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリングステップと、ボリュームレンダリングステップにおいて生成された内視鏡によって取得される第１表示エリアと、実際の手術中において術具によって表示が制限される第２表示エリアとを設定して表示部に表示させる表示ステップと、を備えている。
　ここでは、例えば、複数のＸ線ＣＴ画像を用いて特定の骨や血管、臓器等の周辺を表示した状態で内視鏡を用いた手術のシミュレーションを実施する際に、内視鏡が挿入される術具によって制限される視野の部分まで反映させた表示を行う。
　ここで、上記断層画像には、例えば、Ｘ線ＣＴやＭＲＩ、ＰＥＴ等の医用機器を用いて取得された２次元画像が含まれる。また、上記術具には、内視鏡が挿入される筒状のレトラクタ等が含まれる。
　これにより、例えば、腰部脊椎管狭窄症に対する内視鏡手術のシミュレーションを実施する場合には、レトラクタ等の筒状の術具によって制限される部分については見えないように、例えば、マスキングした状態で表示させることで、実際の内視鏡画像と近似した状態でのシミュレーションを実施することができる。
　この結果、内視鏡を用いた実際の手術中に表示される内視鏡画像に近似した表示を行うことができるため、効果的な手術シミュレーションをコンピュータに実行させることができる。
本発明の一実施形態に係るパーソナルコンピュータ（手術支援装置）を示す斜視図。 図１のパーソナルコンピュータの制御ブロック図。 図２の制御ブロックに含まれるメモリ内の内視鏡パラメータ格納部の構成を示すブロック図。 図２の制御ブロックに含まれるメモリ内の術具パラメータ格納部の構成を示すブロック図。 （ａ）は、図１のパーソナルコンピュータの動作フローチャート。（ｂ）は、（ａ）のＳ６内のフローを示す動作フローチャート。 筒状の術具（レトラクタ）を用いた場合の術具の挿入位置を自動的に検出する方法について説明する図。 （ａ），（ｂ）は、筒状の術具（レトラクタ）を用いた場合のマウス操作による２次元入力から内視鏡３次元操作へのマッピングについて説明する図。 マウス操作による２次元入力から内視鏡による３次元操作へのマッピングについて説明する図。 斜視内視鏡による任意の斜視角を反映させたボリュームレンダリング像の表示について説明する図。 （ａ）～（ｃ）は、斜視内視鏡の先端位置および視線ベクトルを３面図上へ反映させた場合の表示を示す図。 図１のパーソナルコンピュータによって表示される斜視内視鏡画像を示す図。 （ａ）は、本実施形態に係る斜視内視鏡画像を示す図。（ｂ）は、斜視内視鏡の代わりに直視内視鏡を用いた場合の内視鏡画像を示す図。 内視鏡画像の表示制限エリアを反映させたモニタ画面を示す図。
　本発明の一実施形態に係るパーソナルコンピュータ（手術支援装置）について、図１～図１３を用いて説明すれば以下の通りである。
　なお、本実施形態では、斜視内視鏡を用いて腰部脊椎管狭窄症に対する手術のシミュレーションを実施する場合について説明するが、本発明はこれに限定されるものではない。
　本実施形態に係るパーソナルコンピュータ１は、図１に示すように、ディスプレイ（表示部）２と、各種入力部（キーボード３、マウス４、およびタブレット５（図２参照））と、を備えている。
　ディスプレイ２は、Ｘ線ＣＴ画像等の複数の断層画像から形成される臓器（図１の例では、内視鏡画像を表示）等の３次元画像を表示するとともに、切削シミュレーションの結果を表示する。
　また、パーソナルコンピュータ１は、図２に示すように、内部に、断層画像情報取得部６等の制御ブロックを形成する。
　断層画像情報取得部６には、ボクセル情報抽出部７を介して、断層画像情報部８が接続されている。つまり、断層画像情報部８では、ＣＴあるいはＭＲＩ、ＰＥＴ等の断層画像を撮影する機器から断層画像情報が供給され、この断層画像情報がボクセル情報抽出部７によってボクセル情報として抽出される。
　メモリ９は、パーソナルコンピュータ１内に設けられており、ボクセル情報格納部１０、ボクセルラベル格納部１１、および色情報格納部１２、内視鏡パラメータ格納部２２、術具パラメータ格納部２４を有している。また、メモリ９には、ボリュームレンダリング演算部１３が接続されている。
　ボクセル情報格納部１０は、ボクセル情報抽出部７から断層画像情報取得部６を介して受信したボクセル情報を格納している。
　ボクセルラベル格納部１１は、第１ボクセルラベル格納部、第２ボクセルラベル格納部、第３ボクセルラベル格納部を有している。これらの第１～第３ボクセルラベル格納部は、後述する予め設定されたＣＴ値の範囲、つまり表示対象となる臓器にそれぞれ対応して設けられている。例えば、第１ボクセルラベル格納部は、肝臓を表示するＣＴ値の範囲に対応しており、第２ボクセルラベル格納部は、血管を表示するＣＴ値の範囲に対応しており、第３ボクセルラベル格納部は、骨を表示するＣＴ値の範囲に対応している。
　色情報格納部１２は、内部に複数の格納部を有している。各格納部は、予め設定されたＣＴ値の範囲、つまり表示対象となる骨、血管、神経、臓器等にそれぞれ対応して設けられている。例えば、肝臓を表示するＣＴ値の範囲に対応する格納部、血管を表示するＣＴ値の範囲に対応する格納部、骨を表示するＣＴ値の範囲に対応する格納部等が挙げられる。このとき、各格納部には、表示対象となる骨、血管、神経、臓器ごとにそれぞれ異なる色情報が設定されている。例えば、骨に対応するＣＴ値の範囲には白色の色情報、血管に対応するＣＴ値の範囲には赤色の色情報がそれぞれ格納されている。
　なお、表示対象となる骨や血管、神経、臓器ごとに設定されるＣＴ値とは、人体におけるＸ線吸収の程度を数値化したものであり、水を０とする相対値（単位：ＨＵ）として表される。例えば、骨が表示されるＣＴ値の範囲は５００～１０００ＨＵ、血液が表示されるＣＴ値の範囲は３０～５０ＨＵ、肝臓が表示されるＣＴ値の範囲は６０～７０ＨＵ、腎臓が表示されるＣＴ値の範囲は３０～４０ＨＵである。
　内視鏡パラメータ格納部２２は、図３に示すように、第１内視鏡パラメータ格納部２２ａ、第２内視鏡パラメータ格納部２２ｂ、第３内視鏡パラメータ格納部２２ｃを有している。第１～第３内視鏡パラメータ格納部２２ａ～２２ｃには、例えば、内視鏡の斜視角、視野角、位置、姿勢等の情報がそれぞれ格納されている。また、内視鏡パラメータ格納部２２は、図２に示すように、内視鏡パラメータ設定部２３と接続されている。
　内視鏡パラメータ設定部２３は、キーボード３やマウス４を介して入力される内視鏡パラメータの設定を行い、内視鏡パラメータ格納部２２へ送る。
　術具パラメータ格納部２４は、図４に示すように、第１術具パラメータ格納部２４ａ、第２術具パラメータ格納部２４ｂ、第３術具パラメータ格納部２４ｃを有している。第１～第３術具パラメータ格納部２４ａ～２４ｃには、例えば、術具を筒状のレトラクラ３１（図６参照）とすると、筒状のレトラクタの筒形、筒長さ、位置、姿勢等の情報がそれぞれ格納されている。また、術具パラメータ格納部２４は、図２に示すように、術具パラメータ設定部２５と接続されている。
　術具パラメータ設定部２５は、キーボード３やマウス４を介して入力されるレトラクタ等の術具パラメータの設定を行い、術具パラメータ格納部２４へ送る。
　術具挿入深度演算部２６は、メモリ９内の術具パラメータ格納部２４と接続されており、レトラクタ等の術具の挿入深度（手術部位における深さ位置）を演算する。
　ボリュームレンダリング演算部１３は、ボクセル情報格納部１０に格納されているボクセル情報と、ボクセルラベル格納部１１に格納されているボクセルラベルと、色情報格納部１２に格納されている色情報と、に基づいて、視線に対して垂直で、かつＺ方向の間隔が一定の複数枚のスライス情報を取得する。そして、ボリュームレンダリング演算部１３は、その演算結果を３次元画像としてディスプレイ２に表示させる。
　また、ボリュームレンダリング演算部１３は、内視鏡パラメータ格納部２２に格納されている内視鏡情報と、術具パラメータ格納部２４に格納されている術具情報と、に基づいて、内視鏡によって得られる画像情報に対してレトラクタ等の術具によって視野が制限される画像情報を反映させたマスキング状態で、ディスプレイ２に内視鏡画像を表示させる。具体的には、ボリュームレンダリング演算部１３は、内視鏡パラメータ格納部２２に格納された内視鏡に関する情報（斜視角、視野角、位置等）と、術具パラメータ格納部２４に格納された術具に関する情報（径、長さ等）とに基づいて、内視鏡によって取得される内視鏡画像表示エリア（第１表示エリア）Ａ１（図１１参照）と表示制限エリア（第２表示エリア）Ａ２（図１１参照）とを設定する。
　ここで、内視鏡画像表示エリアＡ１とは、実際の内視鏡手術中においてディスプレイ２のモニタ画面上に表示される表示エリアである。表示制限エリアＡ２とは、筒状のレトラクタ等の術具の内壁部分等によって内視鏡によって取得される表示が制限される表示エリアであって、内視鏡手術シミュレーション上ではマスキングされて表示される領域を意味している（図１１参照）。
　さらに、ボリュームレンダリング演算部１３には、バス１６を介して深さ検出部１５が接続されている。
　深さ検出部１５は、レイキャスティング走査距離を測定するとともに、深さ制御部１７とボクセルラベル設定部１８とが接続されている。
　ボクセルラベル設定部１８は、ボクセルラベル格納部１１と被切削ボクセルラベル算出表示部１９とが接続されている。
　バス１６には、上述したボリュームレンダリング演算部１３および深さ検出部１５に加えて、メモリ９内の色情報格納部１２等、ウィンドウ座標取得部２０が接続されており、キーボード３、マウス４、タブレット５等から入力された内容に基づいて、ディスプレイ２に３次元画像等を表示する。
　ウィンドウ座標取得部２０には、深さ検出部１５と色情報設定部２１とが接続されている。
　色情報設定部２１は、メモリ９内の色情報格納部１２に接続されている。
　図５（ａ）および図５（ｂ）は、本実施形態のパーソナルコンピュータ（手術支援装置）１における動作説明を行うための制御フローを示している。
　本実施形態のパーソナルコンピュータ１では、図５（ａ）に示すように、まずＳ１において、上述したように、断層画像情報部８からの断層画像情報が入力され、これがボクセル情報抽出部７に供給される。
　次に、Ｓ２において、ボクセル情報抽出部７において、断層画像情報からボクセル情報が抽出される。抽出されたボクセル情報は、断層画像情報取得部６を介して、メモリ９のボクセル情報格納部１０に格納される。ボクセル情報格納部１０に格納されるボクセル情報は、例えば、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報である。このとき、Ｉは当該点の輝度情報であり、ｘ，ｙ，ｚは座標点を示し、αは透明度情報である。
　次に、Ｓ３において、ボリュームレンダリング演算部１３が、ボクセル情報格納部１０に格納されているボクセル情報に基づいて、視線に対して垂直で、かつ間隔が一定の複数のスライス情報を算出し、スライス情報群を取得する。そして、スライス情報群は、ボリュームレンダリング演算部１３内に少なくとも一時的に格納される。
　なお、上述した視線に対して垂直なスライス情報とは、視線に対して直交する面を意味している。例えば、ディスプレイ２を鉛直方向に沿って立てた状態で、これと顔の面とを平行にした状態で見た場合に、スライス情報が視線に対して垂直な面となる。
　このようにして得られた複数のスライス情報は、上述したように、Ｉ（ｘ，ｙ，ｚ，α）で構成される点の情報を保有している。よって、スライス情報は、例えば、ボクセルラベル１４がＺ方向に複数枚配置されている。なお、ボクセルラベル１４の集合体は、ボクセルラベル格納部１１に収納されている。
　次に、Ｓ４において、ディスプレイ２には、レンダリング像が表示される。このとき、ディスプレイ２では、マウス４等を用いてＣＴ値の範囲が指定されることで、切削対象物となる骨や血管等が選択されて表示される。
　次に、Ｓ５において、ユーザから内視鏡の挿入方向・位置の指示が入力される。
　次に、Ｓ６において、ユーザから内視鏡表示をするように指示を受け付けたか否かを判定する。ここで、内視鏡表示の指示を受け付けた場合には、Ｓ７へ進む。一方、内視鏡表示の指示を受け付けていない場合には、Ｓ３へ戻る。
　次に、Ｓ７において、キーボード３やマウス４を用いて入力された情報に基づいて、術具の挿入深度を決定する。
　より詳細には、図５（ｂ）に示すように、Ｓ７１において、術具挿入深度演算部２６が、術具パラメータ格納部２４から術具形状に関する情報を取得する。
　次に、Ｓ７２において、術具挿入深度演算部２６が、ボリュームレンダリング演算部１３において生成された３次元画像に対する術具の挿入位置に関する情報（例えば、レトラクタの内径、レトラクタ内における内視鏡の中心からの距離等）を取得する。
　次に、Ｓ７３において、術具挿入深度演算部２６が、Ｓ７２において取得された情報に基づいて、レトラクタ等の術具を挿入して行った際の３次元画像に含まれる骨等の部位へ衝突する深さ位置（術具挿入深度）、すなわち挿入限界位置を検出する。
　これにより、レトラクタ等の術具が実際の内視鏡手術において挿入される限界位置を正確に把握して、術具が現実の挿入限界位置より深い位置に挿入された状態で手術シミュレーションが実施されてしまうことを回避することができる。　次に、Ｓ８において、ボリュームレンダリング演算部１３は、術具パラメータ格納部２４から筒状のレトラクタ等の術具に関する必要なパラメータを取得する。
　次に、Ｓ９において、ボリュームレンダリング演算部１３は、内視鏡パラメータ格納部２２から内視鏡に関する必要なパラメータを取得して、Ｓ３へ移行する。
　ここで、Ｓ３では、Ｓ８およびＳ９において取得された術具パラメータおよび内視鏡パラメータに基づいて、ボリュームレンダリング演算部１３が、ボリュームレンダリング演算部１３において生成された３次元画像のうち、内視鏡によって取得される内視鏡画像表示エリアＡ１（図１１参照）と表示制限エリアＡ２（図１１参照）とを設定し、ディスプレイ２の表示画面に表示させる。
　すなわち、本実施形態のパーソナルコンピュータ１では、単に、ボリュームレンダリング演算部１３において生成された３次元画像を表示するのではなく、内視鏡手術において実際に内視鏡によって取得可能な範囲の画像だけを表示し、レトラクタ３１等の術具によって表示が制限される表示制限エリアＡ２を非表示とする（図１１参照）。
　これにより、内視鏡手術のシミュレーションを実施する際に、実際の内視鏡手術によって表示される状態に近似した表示態様でシミュレーションを行うことができる。この結果、より効果的な手術支援を実施することができる。
　ここで、図５（ｂ）を用いて説明したレトラクタ３１の挿入深度を決定する方法について、図６を用いて、レトラクタ挿入位置自動検出機能について説明する。
　ここでは、レトラクタの径、長さ、移動方向（挿入方向）等のパラメータに基づいて、衝突が予想される部位と術具の外側に複数点のサンプリング点を配置するモデリングを行う。より詳細には、ボリュームレンダリング演算部１３において生成された３次元画像に対して、レトラクタ３１の先端に設定された全てのポイントについて移動方向における３次元画像中に含まれる骨等への接触点検出を行う。そして、３次元画像中に含まれる骨等に対して、レトラクタ３１の先端が最初に接触を検出したポイントをレトラクタ３１の挿入限界位置として設定する。
　次に、図７を用いて、マウス４の操作による２次元入力から内視鏡３次元操作へのマッピングについて説明する。
　通常、レトラクタ３１内に挿入された斜視内視鏡３２（図７（ａ）等参照）は、レトラクタ３１と一体化された図示しないアタッチメントに固定されることで、レトラクタ３１内における周方向における移動が制限されている。
　ここで、図７（ａ）に示すように、斜視内視鏡３２をアタッチメントごと回転させたと仮定して、図７（ｂ）に示すように、レトラクタ３１の長さｄｒ、レトラクタ３１内における斜視内視鏡３２の挿入深度ｄｅとすると、レトラクタ３１の中心から斜視内視鏡３２の中心までの距離Ｒｏの奥行き方向の軸Ｒｚに対して、角度Θ回転した場合の回転行列RΘを算出する。
　次に、ベクトルＲｏＥｏ’＝ＲΘ×ＲｏＥｏであるから、内視鏡先端位置は、内視鏡の挿入深度ｄｅを用いて、内視鏡先端位置Ｅｃ＝Ｅｏ’＋Ｒｚ*ｄｅの式によって算出することができる。
　これにより、２次元のマウス操作によって、３次元の内視鏡先端位置を算出することができる。
　なお、斜視内視鏡３２の挿入深度ｄｅは、マウス（例えば、マウスホイール）操作によって変更することができる。
　次に、図８を用いて、マウス４の操作による２次元入力から内視鏡３次元操作へのマッピングに関連する他の例について説明する。
　通常、内視鏡には、図示しないＣＣＤカメラを格納したカメラヘッド部が後端部側に接続されている。ここでは、このカメラヘッド部を回転させた際の表示の回転について説明する。
　すなわち、実際の内視鏡手術において、ディスプレイ２の表示画面上に表示された画像が縦向きに表示されてしまった場合には、実際の患者の向きとディスプレイ２の表示の向きとを一致させるために、カメラヘッド部を回転させることで視野を変えずに画像のみ回転させる。
　マウス４を用いた２次元入力によってこれを実現するために、図８に示すように、まず、ディスプレイ高とマウスドラッグ距離からΘ＝３６０*Ｈｄ／Hを算出する。
　次に、ディスプレイ２の画面中心座標の奥行き方向の軸Ｒｙに対し、角度Θ回転した場合の回転行列R２Θを算出する。
　そして、視野の上方ベクトルＵに対し、Ｕ'＝Ｒ２Θ*Ｕを新たな上方ベクトルとすることで、ディスプレイ２に表示される画像を、視野を変えることなく、例えば、９０度回転させることができる。
　これにより、マウス４を用いた２次元入力によって、容易にディスプレイ２に表示された画像を実際の内視鏡手術におけるモニタ画面と同じ向き（角度）に調整することができる。
　次に、斜視内視鏡３２の任意の斜視角を反映させたボリュームレンダリング像を生成するための方法について、図９を用いて説明する。
　すなわち、本実施形態では、斜視内視鏡３２ごとに設定される斜視角に応じて、視野ベクトルに回転行列を適用する。
　具体的には、まず、レトラクタ３１の軸方向に対応する鏡軸ベクトルＶｓと斜視内視鏡３２の斜視方向に対応する垂直ベクトルＶｕの外積Ｖｃを算出する。
　次に、Ｖｃ周りをΘ回転する回転行列Ｒｓを算出する。
　そして、斜視角を反映した視野ベクトルＶｅは、Ｖｅ＝Ｒｓ*Ｖｓ として求めることができる。
　これにより、斜視内視鏡３２ごとに斜視角度が異なる場合でも、内視鏡パラメータ格納部２２に格納された情報等に基づいて視野ベクトルＶｅを算出することで、手術に使用される斜視内視鏡３２ごとの視野範囲を設定することができる。
　なお、鏡軸ベクトルＶｓと視野ベクトルＶｅとを用いて、斜視内視鏡３２の先端位置および視線ベクトルを３面図上への反映させた状態を、図１０（ａ）～図１０（ｃ）に示している。
　これにより、図１０（ａ）～図１０（ｃ）に示すように、斜視内視鏡３２を用いた腰部脊椎管狭窄症に対する手術のシミュレーションにおいて、正面図（患者側面から見た図）、平面図（患者背中から見た図）、側面図（患者の背骨方向から見た図）を用いて、斜視内視鏡３２の挿入方向を容易に把握することができる。
　本実施形態のパーソナルコンピュータ１では、以上のような構成により、レトラクタ３１の形状、斜視内視鏡３２の斜視角や視野角等に基づいて、内視鏡手術シミュレーションを行う際に、図１１に示すように、レトラクタ３１によって遮られる表示制限エリアＡ２を反映させた内視鏡画像（内視鏡表示エリアＡ１）を表示させる。
　これにより、実際の内視鏡手術においてレトラクタ３１の内壁によって見えなくなる表示制限エリアＡ２を反映させた表示態様とすることで、実際の内視鏡手術において表示画面に表示される画像に近似した表示を行うことができる。よって、より効果的な手術支援を実施することができる。
　また、本実施形態では、レトラクタ３１を挿入した状態において、骨等と接触してレトラクタ３１が挿入限界位置に達していることをユーザに認識させるために、レトラクタ３１と骨との接触部分を、例えば、赤色で表示する。
　これにより、ユーザは、これ以上、深い位置までレトラクタ３１が移動できないことを認識することができる。また、さらに深い位置を切削する必要がある場合は、骨とレトラクタが接触している箇所を切削する必要があることが分かる。よって、実際には表示され得ない深度における内視鏡画像がシミュレーション上で表示されてしまうことを回避して、実際の内視鏡手術において表示可能な画像のみをシミュレーション画像として表示することができる。
　なお、例えば、斜視内視鏡３２の斜視角２５度の場合には、図１２（ａ）に示すように、レトラクタ３１による表示制限エリアＡ２を反映させることで、手術対象部位は内視鏡表示エリアＡ１内に表示される。
　さらに、本実施形態のパーソナルコンピュータ１のディスプレイ２に実際に表示される画面として、図１３に示すように、例えば、切削対象部位Ｃの表示等と組み合わせて、表示制限エリアＡ２を反映させつつ、内視鏡表示エリアＡ１内に切削対象部位Ｃを表示することもできる。
　［他の実施形態］
　以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
　（Ａ）
　上記実施形態では、手術支援装置として本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、図５（ａ）および図５（ｂ）に示す制御方法をコンピュータに実行させる手術支援プログラムとして、本発明を実現してもよい。
　（Ｂ）
　上記実施形態では、斜視内視鏡を用いた内視鏡手術に本発明を適用した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、図１２（ｂ）に示すように、斜視内視鏡の代わりに、直視内視鏡を用いた内視鏡手術のシミュレーションにも適用可能である。
　なお、図１２（ｂ）では、図１２（ａ）の斜視内視鏡と同一視点からの直視内視鏡による内視鏡表示エリアＡ１、表示制限エリアＡ２を示している。
　（Ｃ）
　上記実施形態では、手術支援装置として、実際の手術中に表示される内視鏡画像に近い画像を表示させる例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、切削シミュレーション装置と組み合わせて、内視鏡画像を見ながら切削シミュレーションを実施してもよい。
　これにより、より詳細に手術中の状態を再現して、効果的な手術支援を行うことができる。
　（Ｄ）
　上記実施形態では、本発明に係る内視鏡を用いた手術シミュレーションの一例として、腰部脊椎管狭窄症に対する手術を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、内視鏡を用いた他の手術に対して、本発明を適用してもよい。
　（Ｅ）
　上記実施形態では、斜視内視鏡を用いた腰部脊椎管狭窄症に対する手術を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、直視鏡を用いた手術に対しても、本発明の適用は可能である。
　（Ｆ）
　上記実施形態では、３次元画像を形成するための断層画像情報として、Ｘ線ＣＴ画像を用いた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
　例えば、放射線を使用しない核磁気共鳴画像（ＭＲＩ）によって取得された断層画像情報等を用いて３次元画像を形成してもよい。
　本発明の手術支援装置は、内視鏡を用いた実際の手術中に表示される内視鏡画像に近似した表示を行うことができるため、効果的な手術支援を実施することができるという効果を奏することから、内視鏡を用いた各種手術に対して広く適用可能である。
　１　　　パーソナルコンピュータ（手術支援装置）
　２　　　ディスプレイ（表示部）
　３　　　キーボード（入力部）
　４　　　マウス（入力部）
　５　　　タブレット（入力部）
　６　　　断層画像情報取得部
　７　　　ボクセル情報抽出部
　８　　　断層画像情報部
　９　　　メモリ
１０　　　ボクセル情報格納部
１１　　　ボクセルラベル格納部
１２　　　色情報格納部
１３　　　ボリュームレンダリング演算部（表示制御部）
１４　　　ボクセルラベル
１５　　　深さ検出部
１６　　　バス
１７　　　深さ制御部
１８　　　ボクセルラベル設定部
１９　　　被切削ボクセルラベル算出表示部
２０　　　ウィンドウ座標取得部
２１　　　色情報設定部
２２　　　内視鏡パラメータ格納部
２２ａ　　第１内視鏡パラメータ格納部
２２ｂ　　第２内視鏡パラメータ格納部
２２ｃ　　第３内視鏡パラメータ格納部
２３　　　内視鏡パラメータ設定部
２４　　　術具パラメータ格納部
２４ａ　　第１術具パラメータ格納部
２４ｂ　　第２術具パラメータ格納部
２４ｃ　　第３術具パラメータ格納部
２５　　　術具パラメータ設定部
２６　　　術具挿入深度演算部
３１　　　レトラクタ（術具）
３１ａ　　衝突部位
３２　　　斜視内視鏡（内視鏡）
Ａ１　　　内視鏡画像表示エリア（第１表示エリア）
Ａ２　　　表示制限エリア（第２表示エリア）

Claims (5)

  1. 　術具の内部に内視鏡を挿入して行う手術中のシミュレーション画像を表示する手術支援装置であって、
    　断層画像情報を取得する断層画像情報取得部と、
    　前記断層画像情報取得部に接続されており、前記断層画像情報のボクセル情報を格納するメモリと、
    　前記メモリに接続されており、前記ボクセル情報に基づいて、視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリング演算部と、
    　前記ボリュームレンダリング演算部によって生成された前記内視鏡によって取得される第１表示エリアと、実際の手術中において前記術具によって表示が制限される第２表示エリアとを設定して表示部に表示させる表示制御部と、
    を備えている手術支援装置。
  2. 　前記第１・第２表示エリアを有する表示部を、さらに備えている、
    請求項１に記載の手術支援装置。
  3. 　前記表示制御部は、シミュレーション画像上において、前記術具が体内に挿入された状態において前記術具と手術の対象部位の周辺とが接触する位置を挿入制限位置として検出して表示する、
    請求項２に記載の手術支援装置。
  4. 　前記内視鏡は、斜視内視鏡である、
    請求項１から３のいずれか１項に記載の手術支援装置。
  5. 　術具の内部に内視鏡を挿入して行う手術中のシミュレーション画像を表示する手術支援プログラムであって、
    　断層画像情報を取得する取得ステップと、
    　前記断層画像情報のボクセル情報に基づいて視線に対して垂直の方向においてボクセル情報をサンプリングするボリュームレンダリングステップと、
    　前記ボリュームレンダリングステップにおいて生成された前記内視鏡によって取得される第１表示エリアと、実際の手術中において前記術具によって表示が制限される第２表示エリアとを設定して表示部に表示させる表示ステップと、
    を備えた手術支援方法をコンピュータに実行させる手術支援プログラム。


                                                                                    
PCT/JP2013/002062 2012-03-29 2013-03-26 手術支援装置および手術支援プログラム Ceased WO2013145727A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/387,146 US20150085092A1 (en) 2012-03-29 2013-03-26 Surgery assistance device and surgery assistance program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012077118A JP5807826B2 (ja) 2012-03-29 2012-03-29 手術支援装置および手術支援プログラム
JP2012-077118 2012-03-29

Publications (1)

Publication Number Publication Date
WO2013145727A1 true WO2013145727A1 (ja) 2013-10-03

Family

ID=49259026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/002062 Ceased WO2013145727A1 (ja) 2012-03-29 2013-03-26 手術支援装置および手術支援プログラム

Country Status (3)

Country Link
US (1) US20150085092A1 (ja)
JP (1) JP5807826B2 (ja)
WO (1) WO2013145727A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6026932B2 (ja) * 2013-03-22 2016-11-16 富士フイルム株式会社 医用画像表示制御装置および方法並びにプログラム
JP6435578B2 (ja) * 2014-08-04 2018-12-12 コニカミノルタジャパン株式会社 手術支援装置および手術支援プログラム、手術支援方法
JP2017153815A (ja) * 2016-03-03 2017-09-07 拡史 瀬尾 内視鏡訓練装置、内視鏡訓練方法及びプログラム
CN108261167B (zh) * 2017-01-03 2019-12-03 上银科技股份有限公司 内视镜操控系统
US10861428B2 (en) * 2018-01-10 2020-12-08 Qrs Music Technologies, Inc. Technologies for generating a musical fingerprint

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10295639A (ja) * 1997-02-27 1998-11-10 Toshiba Corp 画像処理システム
JPH11161813A (ja) * 1997-12-01 1999-06-18 Olympus Optical Co Ltd 手術シミュレーション装置
JP2004173973A (ja) * 2002-11-27 2004-06-24 Azemoto Shiyougo 斜視内視鏡用投影モデルのパラメータ推定方法
WO2011118208A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 切削シミュレーション装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3835841A (en) * 1973-05-31 1974-09-17 Olympus Optical Co Oblique view type endoscope
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
JP4171833B2 (ja) * 2002-03-19 2008-10-29 国立大学法人東京工業大学 内視鏡誘導装置および方法
JP4152402B2 (ja) * 2005-06-29 2008-09-17 株式会社日立メディコ 手術支援装置
JP2010200894A (ja) * 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム
CN102740755B (zh) * 2010-02-22 2015-04-22 奥林巴斯医疗株式会社 医疗设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10295639A (ja) * 1997-02-27 1998-11-10 Toshiba Corp 画像処理システム
JPH11161813A (ja) * 1997-12-01 1999-06-18 Olympus Optical Co Ltd 手術シミュレーション装置
JP2004173973A (ja) * 2002-11-27 2004-06-24 Azemoto Shiyougo 斜視内視鏡用投影モデルのパラメータ推定方法
WO2011118208A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 切削シミュレーション装置

Also Published As

Publication number Publication date
JP2013202312A (ja) 2013-10-07
JP5807826B2 (ja) 2015-11-10
US20150085092A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
JP6876065B2 (ja) 放射線照射を低減された手術中の３次元視覚化
US10674891B2 (en) Method for assisting navigation of an endoscopic device
US11026747B2 (en) Endoscopic view of invasive procedures in narrow passages
CA3036487C (en) Imaging system and method for use in surgical and interventional medical procedures
EP2641561A1 (en) System and method for determining camera angles by using virtual planes derived from actual images
JP2013202313A (ja) 手術支援装置および手術支援プログラム
JP5417609B2 (ja) 医用画像診断装置
EP2372660A2 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
EP2329786A2 (en) Guided surgery
US20070167762A1 (en) Ultrasound system for interventional treatment
JP7460355B2 (ja) 医療ユーザインターフェース
US20160228075A1 (en) Image processing device, method and recording medium
US9437003B2 (en) Method, apparatus, and system for correcting medical image according to patient's pose variation
JP5807826B2 (ja) 手術支援装置および手術支援プログラム
JP6435578B2 (ja) 手術支援装置および手術支援プログラム、手術支援方法
AU2025205190A1 (en) System and method for lidar-based anatomical mapping
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
JP2024525733A (ja) 手術前及び手術中のシーンの画像データを表示する方法及びシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13768271

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14387146

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13768271

Country of ref document: EP

Kind code of ref document: A1