[go: up one dir, main page]

WO2025204551A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム

Info

Publication number
WO2025204551A1
WO2025204551A1 PCT/JP2025/007584 JP2025007584W WO2025204551A1 WO 2025204551 A1 WO2025204551 A1 WO 2025204551A1 JP 2025007584 W JP2025007584 W JP 2025007584W WO 2025204551 A1 WO2025204551 A1 WO 2025204551A1
Authority
WO
WIPO (PCT)
Prior art keywords
catheter
model
information processing
shape
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2025/007584
Other languages
English (en)
French (fr)
Inventor
宇紀 深澤
弘泰 馬場
卓也 中村
功 大原
信二 勝木
小春 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of WO2025204551A1 publication Critical patent/WO2025204551A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M25/00—Catheters; Hollow probes

Definitions

  • Catheter shaping in which the surgeon shapes the catheter (tip) to fit the shape of the patient's blood vessels, is commonly performed.
  • a 3D vascular model is a 3D model that shows the three-dimensional shape of the patient's blood vessels.
  • Non-Patent Document 1 proposes technology to assist surgeons in catheter shaping.
  • the technology proposed in Non-Patent Document 1 allows the surgeon to set the contact points between the inside of the blood vessel wall and the catheter, which are important in catheter shaping, using an operating pen, and then displays a 3D model of the target shape of the catheter generated based on the set contact points on a 2D monitor, thereby promoting understanding of the target shape.
  • Whether the catheter has been shaped to the target shape is determined by the surgeon, and the accuracy of this judgment depends on the surgeon's level of skill. For surgeons who are not skilled in catheter shaping, it is difficult to accurately determine the deviation between the target shape and the shape of the actual catheter.
  • An information processing device includes a display control unit that displays error information indicating the difference between the target shape of catheter shaping and the shape of the actual catheter, as well as a 3D model referenced by the user during catheter shaping, on a display device capable of displaying 3D images consisting of left-eye and right-eye images with mutual parallax.
  • a program causes a computer to execute a process that displays error information indicating the difference between the target shape of catheter shaping and the shape of the actual catheter, as well as a 3D model referenced by the user during catheter shaping, on a display device capable of displaying 3D images consisting of left-eye and right-eye images with mutual parallax.
  • control is performed to display error information indicating the difference between the target shape for catheter shaping and the shape of the actual catheter, as well as a 3D model referenced by the user during catheter shaping, on a display device capable of displaying 3D images consisting of left-eye and right-eye images with mutual parallax.
  • FIG. 1 is a block diagram illustrating an example configuration of a catheter shaping assistance system according to an embodiment of the present technology.
  • FIG. 1 is a diagram showing an example of a display surface of a spatial reproduction display.
  • FIG. 10 is a first diagram showing another example of the display surface of the spatial reproduction display.
  • FIG. 2 is a second diagram showing another example of the display surface of the spatial reproduction display.
  • FIG. 10 is a diagram illustrating a display example of a 3D model.
  • FIG. 10 is a diagram showing an example of the placement position of a 3D model relative to an actual catheter.
  • FIG. 10 is a diagram illustrating an example of a screen displayed on a display device.
  • FIG. 1 is a diagram showing an example of the size of an actual catheter and a 3D blood vessel model.
  • 1A and 1B are diagrams illustrating application examples of a display device according to the present technology.
  • FIG. 2 is a block diagram illustrating an example of the hardware configuration of a computer.
  • FIG. 1 is a block diagram showing an example of the configuration of a catheter shaping support system according to an embodiment of the present technology.
  • the catheter shaping support system in Fig. 1 is a system that supports catheter shaping, in which a surgeon shapes a catheter (a distal end portion thereof) to match the shape of a patient's blood vessel.
  • the catheter shaping support system in Figure 1 is composed of a DICOM (Digital Imaging and Communications in Medicine) server 1, a display device 2, and an information processing device 3.
  • DICOM Digital Imaging and Communications in Medicine
  • DICOM Server 1 is a server that manages DICOM data such as CT (Computed Tomography) images and MRI (Magnetic Resonance Imaging) images taken before catheter treatment.
  • DICOM data includes size information that indicates the size of the subject (part of the patient's body) shown in the CT image, MRI image, etc.
  • Display device 2 displays a 3D image consisting of a left-eye image and a right-eye image with parallax between them, allowing the user to visually recognize virtual 3D objects placed in a specified space as three-dimensional objects.
  • Display device 2 is, for example, a naked-eye 3D display (spatial reproduction display) that can present 3D images without the use of dedicated eyewear.
  • the display device 2 is equipped with an imaging unit 11 that is used, for example, to detect the surgeon's pupils and the catheter.
  • the display device 2 is installed, for example, so that the display surface 12 is perpendicular to the horizontal plane in real space, or so that the display surface 12 faces diagonally upward relative to the horizontal plane in real space.
  • the information processing device 3 is a device that controls the entire catheter shaping support system of this technology, and is, for example, a computer with an information processing circuit equipped with a CPU, memory, etc.
  • the information processing device 3 controls the display on the display device 2, thereby presenting a 3D model to be referenced by the surgeon (user) during catheter shaping.
  • a 3D model showing the three-dimensional shape of a part of the patient's body for example a 3D vascular model that is a 3D model showing the three-dimensional shape of the surface or cross-section of the patient's blood vessels, is presented.
  • the image processing unit 21 acquires the captured image taken by the image capture unit 11 of the display device 2.
  • the image processing unit 21 is composed of a pupil detection unit 31 and a catheter detection unit 32.
  • the pupil detection unit 31 detects the pupils of the surgeon from the captured image captured by the imaging unit 11, and detects the surgeon's viewpoint.
  • the viewpoint includes the viewpoint position, line of sight, and the distance between the eyes.
  • the pupil detection unit 31 supplies the detection result of the surgeon's viewpoint to the 3D processing unit 22.
  • the catheter detection unit 32 detects the actual catheter formed by the surgeon from the image captured by the imaging unit 11 and obtains the shape of the actual catheter.
  • the catheter detection unit 32 supplies information indicating the shape of the actual catheter to the error calculation unit 23.
  • the 3D processing unit 22 acquires DICOM data from the DICOM server 1 and generates, for example, a 3D blood vessel model based on the DICOM data.
  • the 3D processing unit 22 calculates the target shape for catheter shaping based on the 3D blood vessel model and generates a 3D catheter model, which is a 3D model that indicates the target shape. Note that information indicating the target shape may also be acquired from another device (for example, the DICOM server 1).
  • the 3D processing unit 22 places the 3D blood vessel model and the 3D catheter model in a virtual space.
  • the 3D processing unit 22 generates a 3D image by rendering the virtual space based on the surgeon's viewpoint detected by the pupil detection unit 31.
  • the 3D processing unit 22 generates a 3D image so that the 3D blood vessel model and the 3D catheter model are visible appropriately from the user's viewpoint.
  • the placement and orientation of the 3D blood vessel model and the 3D catheter model are controlled according to the operations input by the surgeon using an input device (not shown) or gestures.
  • the 3D object O11 is placed near the display surface 12 (the front part of the 3D object O11 is placed on the front side of the display surface 12, and the back part is placed on the back side of the display surface 12).
  • the entire 3D object O11 is placed on the front side of the display surface 12.
  • Figure 5 shows an example of a 3D model display.
  • the 3D catheter model M1 is displayed so that the entire model appears to pop out from the display surface 12 of the display device 2.
  • the information processing device 3 Based on the size information contained in the DICOM data, the information processing device 3 displays the life-size 3D blood vessel model and 3D catheter model so that they are perceived in the optimal position according to the specifications of the display device 2.
  • Figure 7 shows an example of a screen displayed on the display device 2.
  • a 3D blood vessel model and a 3D catheter model are displayed on a display device 2 capable of displaying 3D images, allowing the surgeon to intuitively grasp the target shape.
  • the feedback screen quantitatively displays the accuracy of catheter shaping, making this catheter shaping support system suitable for educational and training purposes.
  • the surgeon can switch between displaying front-side error information and side-side error information on the feedback screen as needed.
  • step S3 the display control unit 25 displays the 3D models (3D blood vessel model and 3D catheter model) on the display device 2.
  • the 3D processing unit 22 generates a 3D image by rendering the virtual space in which the 3D models are placed, based on the surgeon's viewpoint detected by the pupil detection unit 31, and the display control unit 25 displays the 3D image generated by the 3D processing unit 22 on the display device 2.
  • a target shape presentation screen is displayed on the display device 2.
  • step S5 the error calculation unit 23 calculates the difference (error) between the target shape and the shape of the actual catheter detected by the catheter detection unit 32, and generates error information indicating this difference.
  • the error calculation unit 23 aligns the catheter image P12 with the 3D catheter model M1 viewed from the front side. Specifically, as shown in FIG. 10B, the error calculation unit 23 detects feature points Po11 and Po12 from the catheter image P12 and the 3D catheter model M1, respectively, and aligns the catheter image P12 with the 3D catheter model M1 based on the feature points Po11 and Po12.
  • parts with characteristic shapes such as points of contact with the blood vessel wall, are detected as feature points.
  • the error calculation unit 23 calculates the difference between the shape of the catheter image P12 and the shape of the 3D catheter model M1 as the difference between the shape of the front surface of the actual catheter C1 and the target shape.
  • step S6 the display control unit 25 causes the display device 2 to display the error information. Specifically, the superimposition processing unit 24 superimposes the error information on the 3D image, and the display control unit 25 causes the display device 2 to display the 3D image on which the error information has been superimposed. Here, a feedback screen is displayed on the display device 2.
  • step S7 the error calculation unit 23 determines whether the error between the target shape and the actual catheter shape is within an acceptable range.
  • step S7 If it is determined in step S7 that the error between the target shape and the actual catheter shape is not within the allowable range, processing returns to step S4, and subsequent processing is performed. In other words, the target shape presentation screen is displayed, and the surgeon performs catheter shaping again.
  • step S7 if it is determined in step S7 that the error between the target shape and the actual catheter shape is within the allowable range, processing ends.
  • the information processing device 3 of the present technology controls the display device 2, which is capable of displaying 3D images, to display error information indicating the difference between the target shape for catheter shaping and the shape of the actual catheter, as well as a 3D model referenced by the user during catheter shaping.
  • the surgeon can accurately shape the actual catheter to the target shape.
  • FIG. 11 is a diagram showing another example of the configuration of a catheter shaping support system.
  • the back side of the actual catheter may be photographed by a back side camera 11A mounted on the display device 2, and the side side of the actual catheter may be photographed by a side side camera 11B provided separately outside the display device 2.
  • a catheter image P1 and front surface error information E1 are displayed superimposed on a 3D blood vessel model M11 and a 3D catheter model M12, which are placed in virtual space with their front surfaces facing the front of the display surface 12.
  • the catheter image P1 is an image showing the shape of the front surface of an actual catheter.
  • the front surface error information E1 is information indicating the magnitude of the difference between the target shape (the shape of the front surface of the 3D catheter model M12) and the shape of the front surface of the actual catheter.
  • a catheter image P2 and side error information E2 are displayed superimposed on a 3D blood vessel model M11 and a 3D catheter model M12, which are arranged in virtual space with their sides facing the front of the display surface 12.
  • the catheter image P2 is an image showing the shape of the side of the actual catheter.
  • the side error information E2 is information indicating the magnitude of the difference between the target shape (the shape of the side of the 3D catheter model M12) and the shape of the side of the actual catheter.
  • the catheter detection unit 32 of the information processing device 3 generates a 3D model that shows the three-dimensional shape of the actual catheter C1 based on multiple images. Since the shape of the actual catheter C1 as seen from all viewpoints, not just the front and side shapes of the actual catheter C1, can be obtained from the 3D model, the catheter shaping support system can present the surgeon with any deviations from the target shape as seen from various viewpoints.
  • FIG. 13 is a diagram showing another example of displaying a 3D model.
  • the information processing device 3 can rotate the 3D blood vessel model M51 in the same way as the actual catheter C1, as shown by the dashed arrow in Figure 13. Note that the information processing device 3 can rotate not only the 3D blood vessel model, but also the 3D catheter model in the same way as the actual catheter C1.
  • the information processing device 3 detects the movement of the surgeon's hand, for example, by performing hand tracking based on the captured image captured by the imaging unit 11.
  • the information processing device 3 may also detect the movement of the surgeon's hand based on sensor data from an IMU (Inertial Measurement Unit) mounted on a device worn on the surgeon's finger, for example.
  • IMU Inertial Measurement Unit
  • the information processing device 3 estimates the orientation of the actual catheter C1 based on the detection results of the surgeon's hand movement, and controls the orientation of the 3D vascular model M51 according to the estimated orientation of the actual catheter C1.
  • the information processing device 3 can estimate the positional relationship between the actual catheter and the display device 2 (the position of the actual catheter) and place the 3D catheter model in approximately the same position as the actual catheter.
  • a 3D model such as a 3D blood vessel model M51 may be placed in a position different from the actual catheter C1.
  • step S23 the display control unit 25 displays the 3D models (3D blood vessel model and 3D catheter model) on the display device 2.
  • the 3D models are displayed at a display size based on the positional relationship between the surgeon's viewpoint and the actual catheter.
  • a target shape presentation screen is displayed on the display device 2.
  • step S24 the catheter detection unit 32 detects the actual catheter from the image captured by the imaging unit 11 and acquires the shape of the actual catheter.
  • the catheter detection unit 32 estimates the distance between the actual catheter and the imaging unit 11 (display device 2). For example, the catheter detection unit 32 estimates the distance between the actual catheter and the imaging unit 11 by performing three-dimensional position estimation based on the captured image (RGB image) captured by the imaging unit 11, or by using a depth camera or stereo camera other than the imaging unit 11.
  • step S28 the error calculation unit 23 determines whether the error between the target shape and the actual catheter shape is within an acceptable range.
  • step S28 If it is determined in step S28 that the error between the target shape and the actual catheter shape is not within the allowable range, processing returns to step S24, and subsequent processing is performed. In other words, the target shape presentation screen is displayed, and the surgeon performs catheter shaping again.
  • the 3D model may be placed in a different position from the actual catheter.
  • FIG. 16 is a diagram showing an example of the sizes of an actual catheter and a 3D blood vessel model.
  • a 3D model such as a 3D blood vessel model M51 may be displayed so that it appears larger to the surgeon than the actual catheter C1.
  • the surgeon can freely change the display size (magnification) of the 3D model by operating a keyboard or the like.
  • the information processing device 3 controls the display size of the 3D model in response to operations by the surgeon.
  • FIG. 17 is a diagram showing an application example of the display device 2 of the present technology.
  • the display device 2 of the present technology can be applied to a naked-eye 3D display 2A.
  • the display device 2 of the present technology can be applied to a 3D monitor 2B that can present 3D images using dedicated eyewear (polarized glasses).
  • the display device 2 of the present technology can be applied to a head-mounted display 2C that supports XR (Extended Reality).
  • the above-described series of processes can be executed by hardware or software.
  • the program constituting the software is installed from a program recording medium into a computer incorporated in dedicated hardware or a general-purpose personal computer.
  • Figure 18 is a block diagram showing an example of the hardware configuration of a computer that executes the above-mentioned series of processes using a program.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input/output interface 505 Connected to the input/output interface 505 are an input unit 506 consisting of a keyboard, mouse, etc., and an output unit 507 consisting of a display, speakers, etc. Also connected to the input/output interface 505 are a storage unit 508 consisting of a hard disk or non-volatile memory, a communication unit 509 consisting of a network interface, etc., and a drive 510 that drives removable media 511.
  • the CPU 501 performs the above-described series of processes by, for example, loading a program stored in the storage unit 508 into the RAM 503 via the input/output interface 505 and bus 504 and executing it.
  • the programs executed by the CPU 501 are stored on removable media 511, or are provided via wired or wireless transmission media such as a local area network, the Internet, or digital broadcasting, and are installed in the storage unit 508.
  • the program executed by the computer may be a program in which processing is performed chronologically in the order described in this specification, or a program in which processing is performed in parallel or at the required timing, such as when called.
  • a system refers to a collection of multiple components (devices, modules (parts), etc.), regardless of whether all of the components are contained in the same housing. Therefore, multiple devices housed in separate housings and connected via a network, and a single device with multiple modules housed in a single housing, are both systems.
  • this technology can be configured as a cloud computing system in which a single function is shared and processed collaboratively by multiple devices over a network.
  • each step described in the above flowchart can be performed by a single device, or can be shared and executed by multiple devices.
  • the information processing device according to any one of (1) to (7), further comprising a calculation unit that calculates a difference between the target shape and the shape of the actual catheter based on a catheter image obtained by photographing the actual catheter.
  • the information processing device according to (8), further comprising an imaging unit that images the actual catheter.
  • (11) The information processing device according to any one of (1) to (10), further comprising the display device.
  • An information processing method that displays error information indicating the difference between the target shape of catheter shaping and the shape of the actual catheter, as well as a 3D model referenced by the user during catheter shaping, on a display device capable of displaying 3D images consisting of a left-eye image and a right-eye image with mutual parallax.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Biophysics (AREA)
  • Pulmonology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Endoscopes (AREA)

Abstract

本技術は、術者がカテーテルシェイピングを精度よく行うことができるようにする情報処理装置、情報処理方法、およびプログラムに関する。 本技術の情報処理装置は、カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる表示制御部を備える。本技術は、例えばカテーテルシェイピング支援システムに適用することができる。

Description

情報処理装置、情報処理方法、およびプログラム
　本技術は、情報処理装置、情報処理方法、およびプログラムに関し、特に、術者がカテーテルシェイピングを精度よく行うことができるようにした情報処理装置、情報処理方法、およびプログラムに関する。
　術者が患者の血管の形状に合わせてカテーテル（の先端部分）を成形するカテーテルシェイピングが一般的に行われている。
　従来、術者は、2Dモニタに表示された3D血管モデルを参照しながらカテーテルを目標とする形状（目標形状）に成形するため、カテーテルシェイピングを行うにあたっては術者の高い空間把握能力が求められる。3D血管モデルは、患者の血管の３次元的な形状を示す3Dモデルである。
　例えば、非特許文献１には、術者によるカテーテルシェイピングを支援する技術が提案されている。非特許文献１で提案されている技術では、カテーテルシェイピングで重要となる血管壁内とカテーテルの接点を操作ペンで術者に設定させ、設定された接点に基づいて生成したカテーテルの目標形状の3Dモデルを2Dモニタに表示するなどして、目標形状の理解が促される。
永野佳孝、宮地茂、泉孝嗣、大島共貴、「脳血管内治療用カテーテルの形状デザインアプリケーションの開発」、デザイン学研究（2020）、日本デザイン学会、p. 242－243
　カテーテルを目標形状通りに成形できているか否かは術者により判断されるため、この判断の正確性は術者の熟練度に依存している。カテーテルシェイピングに熟練していない術者にとっては、目標形状と実物のカテーテルの形状の誤差を正確に判断することが難しい。
　本技術はこのような状況に鑑みてなされたものであり、術者がカテーテルシェイピングを精度よく行うことができるようにするものである。
　本技術の一側面の情報処理装置は、カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる表示制御部を備える。
　本技術の一側面の情報処理方法は、カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる。
　本技術の一側面のプログラムは、コンピュータに、カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる処理を実行させる。
　本技術の一側面においては、カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる制御が行われる。
本技術の一実施形態に係るカテーテルシェイピング支援システムの構成例を示すブロック図である。 空間再現ディスプレイの表示面の例を示す図である。 空間再現ディスプレイの表示面の他の例を示す第１の図である。 空間再現ディスプレイの表示面の他の例を示す第２の図である。 3Dモデルの表示例を示す図である。 実物のカテーテルに対する3Dモデルの配置位置の例を示す図である。 表示装置に表示される画面の例を示す図である。 誤差情報の詳細を説明する図である。 情報処理装置が行う処理について説明するフローチャートである。 カテーテルの形状の取得処理、および、目標形状との誤差の算出処理の詳細を説明するための図である。 カテーテルシェイピング支援システムの他の構成例を示す図である。 情報処理装置が実物のカテーテルの３次元的な形状を取得する手法の例を示す図である。 3Dモデルの他の表示例を示す図である。 実物のカテーテルに対する3Dモデルの配置位置の他の例を示す図である。 実物のカテーテルと異なる位置に3Dモデルを配置する場合に情報処理装置が行う処理について説明するフローチャートである。 実物のカテーテルと3D血管モデルのサイズの例を示す図である。 本技術の表示装置の適用例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．本技術の実施の形態
　２．変形例
＜１．本技術の実施の形態＞
　図１は、本技術の一実施形態に係るカテーテルシェイピング支援システムの構成例を示すブロック図である。図１のカテーテルシェイピング支援システムは、術者が患者の血管の形状に合わせてカテーテル（の先端部分）を成形するカテーテルシェイピングを支援するシステムである。
　図１のカテーテルシェイピング支援システムは、DICOM(Digital Imaging and Communications in Medicine)サーバ１、表示装置２、および情報処理装置３により構成される。
　DICOMサーバ１は、カテーテル治療の前に撮影されたCT(Computed Tomography)画像やMRI(Magnetic Resonance Imaging)画像などのDICOMデータを管理するサーバである。DICOMデータには、CT画像やMRI画像などに映る被写体（患者の生体の一部分）のサイズを示すサイズ情報が含まれる。
　表示装置２は、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示することで、所定の空間内に配置された仮想的な3Dオブジェクトを立体としてユーザが視認可能な表示装置である。表示装置２は、例えば、専用のアイウェアを用いずに3D画像を提示可能な裸眼立体ディスプレイ（空間再現ディスプレイ）である。
　表示装置２には、例えば術者の瞳の検出とカテーテルの検出に用いられる撮影部１１が搭載される。表示装置２は、例えば、実空間における水平面に対して表示面１２が垂直になるように設置されたり、実空間における水平面に対して表示面１２が斜め上方を向くように設置されたりする。
　情報処理装置３は、本技術のカテーテルシェイピング支援システム全体を制御する装置であり、例えばCPUやメモリ等を備えた情報処理回路を有するコンピュータである。例えば、情報処理装置３が、表示装置２による表示の制御を行うことにより、カテーテルシェイピングの際に術者（ユーザ）により参照される3Dモデルが術者に提示される。ここでは、患者の生体の一部分の３次元的な形状を示す3Dモデル、例えば患者の血管の表面または断面の３次元的な形状を示す3Dモデルである3D血管モデルが提示される。
　情報処理装置３は、画像処理部２１、3D処理部２２、誤差算出部２３、重畳処理部２４、および表示制御部２５により構成される。
　画像処理部２１は、表示装置２の撮影部１１により撮影された撮影画像を取得する。
　画像処理部２１は、瞳検出部３１とカテーテル検出部３２により構成される。
　瞳検出部３１は、撮影部１１により撮影された撮影画像から術者の瞳を検出し、術者の視点を検出する。ここでは、視点には、視点位置、視線方向、および両目の間隔が含まれる。瞳検出部３１は、術者の視点の検出結果を3D処理部２２に供給する。
　カテーテル検出部３２は、撮影部１１により撮影された撮影画像から、術者により成形される実物のカテーテルを検出し、実物のカテーテルの形状を取得する。カテーテル検出部３２は、実物のカテーテルの形状を示す情報を誤差算出部２３に供給する。
　3D処理部２２は、DICOMサーバ１からDICOMデータを取得し、DICOMデータに基づいて、例えば3D血管モデルを生成する。3D処理部２２は、カテーテルシェイピングの目標となる目標形状を3D血管モデルに基づいて算出し、目標形状を示す3Dモデルである3Dカテーテルモデルを生成する。なお、目標形状を示す情報が、他の装置（例えばDICOMサーバ１）から取得されるようにしてもよい。
　3D処理部２２は、3D血管モデルと3Dカテーテルモデルを仮想空間内に配置する。3D処理部２２は、瞳検出部３１により検出された術者の視点に基づいて当該仮想空間をレンダリングして3D画像を生成する。例えば、3D処理部２２は、ユーザの視点から適切に3D血管モデルと3Dカテーテルモデルが見えるように3D画像を生成する。ここでは、入力装置（図示せず）やジェスチャなどが用いられて術者により入力される操作内容に応じて、3D血管モデルや3Dカテーテルモデルの配置や向きが制御される。
　3D処理部２２は、生成した3Dカテーテルモデルを誤差算出部２３に供給し、生成した3D画像を重畳処理部２４に供給する。
　誤差算出部２３は、3D処理部２２から供給された3Dカテーテルモデルで示される目標形状と、カテーテル検出部３２により検出された実物のカテーテルの形状との差分を算出する。誤差算出部２３は、目標形状と実物のカテーテルの形状との差分を術者に視覚的にフィードバックするための誤差情報を生成する。誤差算出部２３は、誤差情報を重畳処理部２４に供給する。
　重畳処理部２４は、3D処理部２２から供給された3D画像に、誤差算出部２３から供給された誤差情報を重畳する。重畳処理部２４は、誤差情報が重畳された3D画像を表示制御部２５に供給する。
　表示制御部２５は、表示装置２による表示を制御する。具体的には、表示制御部２５は、重畳処理部２４から供給された3D画像を表示装置２に供給し、3D画像を構成する左目用画像と右目用画像を表示させる。左目用画像がユーザの左目に届けられ、右目用画像がユーザの右目に届けられることにより、例えば3D血管モデル、3Dカテーテルモデル、および誤差情報がユーザに提示される。
　なお、表示装置２と情報処理装置３が１つの装置により構成されるようにしてもよい。
　次に、図２から図４を用いて、表示装置２として適用される空間再現ディスプレイについて説明する。
　近年、空間再現ディスプレイとして、専用のアイウェアを用いずにコンテンツを立体的に表示することが可能な裸眼立体ディスプレイが提案されている。このような空間再現ディスプレイは、視認角度ごとに水平方向にずらした画像を表示することが可能であり、ユーザは、左目用画像と右目用のずれ（視差）により、奥行きを知覚することができる。
　図２は、空間再現ディスプレイの表示面の例を示す図である。
　上述したように、空間再現ディスプレイは、例えば、表示面１２が実空間における水平面に対して斜め上方を向くように配置される。この場合、空間再現ディスプレイにおいては、例えば表示面１２と交差するように、言い換えると、術者の視点Ｖから見て表示面１２の手前側と奥側の両方に領域を有するような仮想空間ＶＷが再現される。
　仮想空間ＶＷに配置された3Dオブジェクトは、例えば表示面１２から一部が飛び出して見えるように表示される。空間再現ディスプレイは、例えばユーザの左目と右目にそれぞれ異なる画像を届けることによって仮想的な奥行きを表現し、3Dオブジェクトが実空間に存在しているかのような感覚をユーザに与えることができる。実空間における水平面に対して斜め上方を向くように表示面１２を配置することで、空間再現ディスプレイは、仮想空間ＶＷをわかりやすく再現することが可能となる。
　図３と図４は、空間再現ディスプレイの表示面の他の例を示す図である。
　図３や図４に示すように、空間再現ディスプレイは、例えば、表示面１２が実空間における水平面に対して垂直になるように配置されてもよい。
　この場合、例えば図３に示すように、3DオブジェクトＯ１１は、表示面１２の近傍に配置される（3DオブジェクトＯ１１の手前部分が表示面１２の手前側に配置され、奥部分が表示面１２の奥側に配置される）。
　また、例えば図４に示すように、3DオブジェクトＯ１１全体が、表示面１２の手前側に配置される。
　図５は、3Dモデルの表示例を示す図である。
　図５に示すように、3DカテーテルモデルＭ１は、表示装置２の表示面１２から全体が飛び出して見えるように表示される。情報処理装置３は、DICOMデータに含まれるサイズ情報に基づいて、表示装置２の仕様に応じた最適な位置に知覚されるように、実寸大の3D血管モデルや3Dカテーテルモデルを表示する。
　術者は、例えば、表示されている3DカテーテルモデルＭ１に、実物のカテーテルＣ１を近づけ、3DカテーテルモデルＭ１の形状に合わせるように実物のカテーテルＣ１を成形する。
　図６は、実物のカテーテルに対する3Dモデルの配置位置の例を示す図である。
　上述したように、術者は実物のカテーテルＣ１を3DカテーテルモデルＭ１に近づけてカテーテルシェイピングを行うため、図６に示すように、3DカテーテルモデルＭ１は、実物のカテーテルＣ１と略同じ位置に配置される。
　図７は、表示装置２に表示される画面の例を示す図である。
　術者がカテーテルシェイピングを行う際、表示装置２には、例えば図７のＡに示す目標形状提示画面が表示される。以下では、撮影部１１から見たときに見える面（撮影画像に映る面）を実物のカテーテルの裏面とする。
　目標形状提示画面において、左側には、例えば、おもて面（裏面の反対側の面）が表示面１２の正面を向くように仮想空間内に配置された3D血管モデルＭ１１と3DカテーテルモデルＭ１２が表示される。目標形状提示画面において、3D血管モデルＭ１１の血管壁と3DカテーテルモデルＭ１２の接点Ｐｏ１は、例えば白抜きの点で示される。
　また、目標形状提示画面において、右側には、例えば、おもて面が表示面１２の正面を向いた状態から水平方向に９０度回転させて仮想空間内に配置された3D血管モデルＭ１１と3DカテーテルモデルＭ１２が表示される。目標形状提示画面において、3D血管モデルＭ１１の血管壁と3DカテーテルモデルＭ１２の接点Ｐｏ２からＰｏ４は、例えば白抜きの点で示される。
　このように、目標形状提示画面においては、3D血管モデルＭ１１や3DカテーテルモデルＭ１２のおもて面側の形状と側面側の形状が横に並べられて術者に提示される。術者は、目標形状提示画面を見ながら実物のカテーテル（図示せず）を成形する。
　カテーテルシェイピングが行われた後、表示装置２には、例えば図７のＢに示すフィードバック画面が表示される。
　フィードバック画面において、左側には、目標形状提示画面と同様に、おもて面が表示面１２の正面を向くように仮想空間内に配置された3D血管モデルＭ１１と3DカテーテルモデルＭ１２が表示される。
　また、フィードバック画面において、右側には、例えば、おもて面が表示面１２の正面を向くように仮想空間内に配置された3D血管モデルＭ１１と3DカテーテルモデルＭ１２に、誤差情報Ｅ１とカテーテル画像Ｐ１とが重畳されて表示される。カテーテル画像Ｐ１は、カテーテルシェイピング後の実物のカテーテルが撮影部１１により撮影された撮影画像から実物のカテーテルが映る領域を切り出した画像である。
　図８は、誤差情報Ｅ１の詳細を説明する図である。
　図８の例では、誤差情報Ｅ１は、目標形状（3DカテーテルモデルＭ１２のおもて面側の形状）と実物のカテーテルのおもて面側の形状の差分の大きさを色で示す情報（カラーマップ）である。例えば、目標形状と実物のカテーテルの形状の差分の大きさに応じた色でカテーテル画像Ｐ１が縁取りされるようにして誤差情報Ｅ１が表示される。図８の誤差情報Ｅ１では、差分が大きいほど色が濃くなっている。
　術者は、誤差情報Ｅ１を見るだけで、例えば図８において灰色の円で囲んで示すカテーテルの中央部分において目標形状との誤差が特に大きいことを把握することができる。
　従来、術者は、2Dモニタに表示された3D血管モデルを参照しながら実物のカテーテルを目標形状に成形するため、カテーテルシェイピングを行うにあたっては術者の高い空間把握能力が求められる。
　本技術のカテーテルシェイピング支援システムにおいては、3D画像を表示可能な表示装置２に3D血管モデルや3Dカテーテルモデルが表示されるため、術者は、目標形状を直感的に把握することが可能となる。
　従来、実物のカテーテルを目標形状通りに成形できているか否かは術者により判断されるため、この判断の正確性は術者の熟練度に依存している。カテーテルシェイピングに熟練していない術者にとっては、目標形状と実物のカテーテルの形状の誤差を正確に判断することが難しかった。
　本技術のカテーテルシェイピングシステムにおいて、術者は、誤差情報を見て、目標形状と実物のカテーテルの形状の誤差を直感的に把握することができる。術者は、目標形状提示画面とフィードバック画面を切り替えながらカテーテルシェイピングを行うことで、カテーテルを目標形状通りに容易に成形することが可能となる。
　術者がカテーテルを目標形状通りに容易に成形できるため、本技術のカテーテルシェイピング支援システムは、カテーテルシェイピングの作業時間の短縮に寄与することができる。術者がカテーテルシェイピングを精度よく行うことができるため、本技術のカテーテルシェイピング支援システムは、カテーテル治療における患者の安全性の向上に寄与することができる。
　フィードバック画面では、カテーテルシェイピングの正確性が定量的に表示されるため、本技術のカテーテルシェイピング支援システムを教育や訓練の用途で使用することも可能である。
　なお、表示装置２に搭載された撮影部１１の他に、実物のカテーテルを側面側から撮影可能なカメラが情報処理装置３に接続されるようにしてもよい。この場合、当該カメラにより撮影された撮影画像に基づいて、目標形状（3DカテーテルモデルＭ１２の側面側の形状）と実物のカテーテルの側面側の形状の差分を示す誤差情報が生成される。この誤差情報は、例えばフィードバック画面において、側面が表示面１２の正面を向くように仮想空間内に配置された3D血管モデルと3Dカテーテルモデルに重畳されて表示される。
　術者は、フィードバック画面において、おもて面側の誤差情報と側面側の誤差情報のどちらが表示されるかを適宜切り替えることができる。
　次に、図９のフローチャートを参照して、情報処理装置３が行う処理について説明する。
　ステップＳ１において、3D処理部２２は、DICOMサーバ１からDICOMデータを取得する。3D処理部２２は、DICOMデータに基づいて、3D血管モデルと3Dカテーテルモデルを生成する。
　ステップＳ２において、瞳検出部３１は、撮影部１１により撮影された撮影画像から術者の瞳を検出し、術者の視点を検出する。
　ステップＳ３において、表示制御部２５は、3Dモデル（3D血管モデルと3Dカテーテルモデル）を表示装置２に表示させる。具体的には、3D処理部２２は、瞳検出部３１により検出された術者の視点に基づいて、3Dモデルが配置された仮想空間をレンダリングして3D画像を生成し、表示制御部２５は、3D処理部２２により生成された3D画像を表示装置２に表示させる。ここでは、表示装置２には、目標形状提示画面が表示される。
　術者は、表示装置２に表示された3Dモデルを見ながらカテーテルシェイピングを行う。
　ステップＳ４において、カテーテル検出部３２は、撮影部１１により撮影された撮影画像から実物のカテーテルを検出し、実物のカテーテルの形状を取得する。
　ステップＳ５において、誤差算出部２３は、目標形状と、カテーテル検出部３２により検出された実物のカテーテルの形状との差分（誤差）を算出し、当該差分を示す誤差情報を生成する。
　図１０は、カテーテルの形状の取得処理、および、目標形状との誤差の算出処理の詳細を説明するための図である。
　まず、図１０のＡに示すように、カテーテル検出部３２は、実物のカテーテルＣ１が撮影された撮影画像Ｐ１１から、カテーテルＣ１が映る領域を切り出す（抽出する）画像処理を行って、カテーテル画像Ｐ１２を生成する。カテーテル検出部３２は、このカテーテル画像Ｐ１２の形状を実物のカテーテルＣ１のおもて面側の形状として扱う。実際には、撮影部１１により撮影されるのは実物のカテーテルＣ１の裏面側であるため、カテーテル検出部３２は、カテーテル画像Ｐ１２の左右を反転させる。
　次に、誤差算出部２３は、カテーテル画像Ｐ１２と、おもて面側から見た3DカテーテルモデルＭ１との位置合わせを行う。具体的には、図１０Ｂに示すように、誤差算出部２３は、カテーテル画像Ｐ１２と3DカテーテルモデルＭ１それぞれから特徴点Ｐｏ１１，Ｐｏ１２を検出し、特徴点Ｐｏ１１，Ｐｏ１２に基づいてカテーテル画像Ｐ１２と3DカテーテルモデルＭ１の位置合わせを行う。ここでは、血管壁との接点などの特徴的な形状を有する部分が特徴点として検出される。
　なお、実物のカテーテルＣ１に位置合わせ用のマーカが付加されるようにしてもよい。この場合、誤差算出部２３は、当該マーカに基づいて、カテーテル画像Ｐ１２と3DカテーテルモデルＭ１の位置合わせを行うことができる。
　次に、誤差算出部２３は、カテーテル画像Ｐ１２の形状と3DカテーテルモデルＭ１の形状の差分を、実物のカテーテルＣ１のおもて面側の形状と目標形状の差分として算出する。
　図９の説明に戻り、ステップＳ６において、表示制御部２５は、誤差情報を表示装置２に表示させる。具体的には、重畳処理部２４は、誤差情報を3D画像に重畳し、表示制御部２５は、誤差情報が重畳された3D画像を表示装置２に表示させる。ここでは、表示装置２には、フィードバック画面が表示される。
　ステップＳ７において、誤差算出部２３は、目標形状と実物のカテーテル形状の誤差が許容範囲内であるか否かを判定する。
　目標形状と実物のカテーテル形状の誤差が許容範囲内ではないとステップＳ７において判定された場合、処理はステップＳ４に戻り、それ以降の処理が行われる。すなわち、目標形状提示画面が表示されるなどして、術者によりカテーテルシェイピングが再度行われる。
　一方、目標形状と実物のカテーテル形状の誤差が許容範囲内であるとステップＳ７において判定された場合、処理は終了となる。
　以上のように、本技術の情報処理装置３においては、カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、カテーテルシェイピングの際にユーザにより参照される3Dモデルを、3D画像を表示可能な表示装置２に表示させる制御が行われる。術者は、表示装置２に表示された3Dモデルや誤差情報を見ながらカテーテルシェイピングを行うことで、実物のカテーテルを目標形状通りに精度よく成形することが可能となる。
＜２．変形例＞
・裏面側用カメラと側面側用カメラを用いる例
　図１１は、カテーテルシェイピング支援システムの他の構成例を示す図である。
　図１１に示すように、表示装置２に搭載された裏面側用カメラ１１Ａにより、実物のカテーテルの裏面側が撮影されるとともに、表示装置２の外部に別体として設けられた側面側用カメラ１１Ｂにより、実物のカテーテルの側面側が撮影されるようにしてもよい。
　この場合、フィードバック画面において、左側には、カテーテル画像Ｐ１とおもて面側の誤差情報Ｅ１とが、おもて面が表示面１２の正面を向くように仮想空間内に配置された3D血管モデルＭ１１と3DカテーテルモデルＭ１２に重畳されて表示される。カテーテル画像Ｐ１は、実物のカテーテルのおもて面側の形状を示す画像である。おもて面側の誤差情報Ｅ１は、目標形状（3DカテーテルモデルＭ１２のおもて面側の形状）と実物のカテーテルのおもて面側の形状の差分の大きさを示す情報である。
　また、フィードバック画面において、右側には、カテーテル画像Ｐ２と側面側の誤差情報Ｅ２とが、側面が表示面１２の正面を向くように仮想空間内に配置された3D血管モデルＭ１１と3DカテーテルモデルＭ１２に重畳されて表示される。カテーテル画像Ｐ２は、実物のカテーテルの側面側の形状を示す画像である。側面側の誤差情報Ｅ２は、目標形状（3DカテーテルモデルＭ１２の側面側の形状）と実物のカテーテルの側面側の形状の差分の大きさを示す情報である。
・実物のカテーテルの３次元的な形状を取得する例
　図１２は、情報処理装置３が実物のカテーテルの３次元的な形状を取得する手法の例を示す図である。
　図１２の矢印で示すように、術者が撮影部１１の前で実物のカテーテルＣ１を水平方向に１回転させる間に、撮影部１１は、複数枚の画像を撮影する。複数枚の画像は、実物のカテーテルＣ１の様々な面を撮影した画像となる。
　情報処理装置３のカテーテル検出部３２は、複数枚の画像に基づいて、実物のカテーテルＣ１の３次元的な形状を示す3Dモデルを生成する。実物のカテーテルＣ１のおもて面側や側面側の形状だけではなく、あらゆる視点から見た実物のカテーテルＣ１の形状が3Dモデルから取得できるため、カテーテルシェイピング支援システムは、様々な視点から見た目標形状との誤差を術者に提示することが可能となる。
・実物のカテーテルの向きに応じて3Dモデルを回転させる例
　図１３は、3Dモデルの他の表示例を示す図である。
　図１３の実線の矢印で示すように、術者が実物のカテーテルＣ１を回転させた場合、情報処理装置３は、図１３の破線の矢印で示すように、実物のカテーテルＣ１と同じように3D血管モデルＭ５１を回転させることが可能である。なお、情報処理装置３は、3D血管モデルだけではなく、3Dカテーテルモデルも実物のカテーテルＣ１と同じように回転させることが可能である。
　実物のカテーテルＣ１の向きに応じて3D血管モデルＭ５１を回転させる場合、情報処理装置３は、例えば、撮影部１１により撮影された撮影画像に基づくハンドトラッキングを行うことで、術者の手の動きを検出する。情報処理装置３は、例えば、術者の指などに装着されているデバイスに搭載されたIMU(Inertial Measurement Unit:慣性計測ユニット)のセンサデータに基づいて、術者の手の動きを検出してもよい。
　情報処理装置３は、術者の手の動きの検出結果に基づいて実物のカテーテルＣ１の向きを推定し、実物のカテーテルＣ１の向きの推定結果に応じて3D血管モデルＭ５１の向きを制御する。
・実物のカテーテルと略同じ位置に3Dモデルを配置する例
　実物のカテーテルモデルを3Dカテーテルモデルなどに術者が近づけるのではなく、情報処理装置３が、実物のカテーテルと表示装置２の位置関係（実物のカテーテルの位置）を推定し、実物のカテーテルと略同じ位置に3Dカテーテルモデルなどを配置することも可能である。
　この場合、情報処理装置３は、例えば、撮影部１１により撮影された撮影画像（RGB画像）に基づく３次元位置推定を行ったり、撮影部１１以外のデプスカメラやステレオカメラを用いたりして、実物のカテーテルと表示装置２の位置関係を推定する。情報処理装置３は、実物のカテーテルと表示装置２の位置関係の推定結果に基づいて、仮想空間内における3Dカテーテルモデルなどの配置位置を制御する。
・実物のカテーテルと異なる位置に3Dモデルを配置する例
　図１４は、実物のカテーテルに対する3Dモデルの配置位置の他の例を示す図である。
　図１４に示すように、3D血管モデルＭ５１などの3Dモデルが、実物のカテーテルＣ１と異なる位置に配置されるようにしてもよい。
　この場合、情報処理装置３は、術者の視点Ｖと実物のカテーテルＣ１の位置関係を推定し、術者の視点Ｖと実物のカテーテルＣ１の間の距離に応じて、3D血管モデルＭ５１などの表示サイズを制御する。具体的には、情報処理装置３は、術者から見て、実物のカテーテルＣ１のサイズと3Dカテーテルモデルのサイズが同じに見えるように、3Dモデルの表示サイズを制御する。例えば、術者が実物のカテーテルＣ１を目に近づけるほど、3D血管モデルＭ５１がより大きく表示される。ここでは、3Dモデルの配置位置は固定される。
　なお、情報処理装置３は、例えば、撮影部１１により撮影された撮影画像（RGB画像）に基づく３次元位置推定を行ったり、撮影部１１以外のデプスカメラやステレオカメラを用いたりして、術者の視点Ｖと実物のカテーテルＣ１の位置関係を推定する。
　図１５のフローチャートを参照して、実物のカテーテルと異なる位置に3Dモデルを配置する場合に情報処理装置３が行う処理について説明する。
　ステップＳ２１において、3D処理部２２は、DICOMサーバ１からDICOMデータを取得する。3D処理部２２は、DICOMデータに基づいて、3D血管モデルと3Dカテーテルモデルを生成する。
　ステップＳ２２において、瞳検出部３１は、撮影部１１により撮影された撮影画像から術者の瞳を検出し、術者の視点を検出する。また、画像処理部２１は、術者の視点と実物のカテーテルの位置関係を推定する。
　ステップＳ２３において、表示制御部２５は、3Dモデル（3D血管モデルと3Dカテーテルモデル）を表示装置２に表示させる。3Dモデルは、術者の視点と実物のカテーテルの位置関係に基づく表示サイズで表示される。ここでは、表示装置２には、目標形状提示画面が表示される。
　術者は、表示装置２に表示された3Dモデルを見ながらカテーテルシェイピングを行う。
　ステップＳ２４において、カテーテル検出部３２は、撮影部１１により撮影された撮影画像から実物のカテーテルを検出し、実物のカテーテルの形状を取得する。
　ステップＳ２５において、カテーテル検出部３２は、実物のカテーテルと撮影部１１（表示装置２）の間の距離を推定する。例えば、カテーテル検出部３２は、撮影部１１により撮影された撮影画像（RGB画像）に基づく３次元位置推定を行ったり、撮影部１１以外のデプスカメラやステレオカメラを用いたりして、実物のカテーテルと撮影部１１の間の距離を推定する。
　ステップＳ２６において、　誤差算出部２３は、目標形状と実物のカテーテルの形状の差分（誤差）を算出し、当該差分を示す誤差情報を生成する。具体的には、誤差算出部２３は、カテーテル検出部３２により検出された実物のカテーテルとの距離に基づいて、実物のカテーテルのサイズを推定し、実物のカテーテルのサイズの推定結果に基づいてカテーテル画像のサイズを補正する。誤差算出部２３は、特徴点に基づいてカテーテル画像と3Dカテーテルモデルの位置合わせを行い、目標形状（3Dカテーテルモデルの形状）と実物のカテーテルの形状の差分を算出する。
　ステップＳ２７において、表示制御部２５は、誤差情報を表示装置２に表示させる。ここでは、表示装置２には、フィードバック画面が表示される。
　ステップＳ２８において、誤差算出部２３は、目標形状と実物のカテーテル形状の誤差が許容範囲内であるか否かを判定する。
　目標形状と実物のカテーテル形状の誤差が許容範囲内ではないとステップＳ２８において判定された場合、処理はステップＳ２４に戻り、それ以降の処理が行われる。すなわち、目標形状提示画面が表示されるなどして、術者によりカテーテルシェイピングが再度行われる。
　一方、目標形状と実物のカテーテル形状の誤差が許容範囲内であるとステップＳ２８において判定された場合、処理は終了となる。
　以上のように、実物のカテーテルと異なる位置に3Dモデルが配置されるようにしてもよい。
・術者から見て、実物のカテーテルよりも3Dモデルが大きく見えるように3Dモデルを表示する例
　図１６は、実物のカテーテルと3D血管モデルのサイズの例を示す図である。
　図１６に示すように、術者から見て、3D血管モデルＭ５１などの3Dモデルが、実物のカテーテルＣ１よりも大きく見えるように、3Dモデルが表示されるようにしてもよい。この場合、術者は、キーボードなどを操作することで3Dモデルの表示サイズ（倍率）を任意に変更させることができる。言い換えると、情報処理装置３は、術者による操作に応じて3Dモデルの表示サイズを制御する。
・表示装置の適用例
　図１７は、本技術の表示装置２の適用例を示す図である。
　図１７のＡに示すように、本技術の表示装置２は、裸眼立体ディスプレイ２Ａに適用することができる。図１７のＢに示すように、本技術の表示装置２は、専用のアイウェア（偏光眼鏡）を用いて3D画像を提示可能な3Dモニタ２Ｂに適用することができる。図１７のＣに示すように、本技術の表示装置２は、XR(Extended Reality)に対応したヘッドマウントディスプレイ２Ｃに適用することができる。
　なお、裸眼立体ディスプレイ２Ａに本技術の表示装置２が適用される場合、術者が何も装着しなくてよいため、本技術の表示装置２は裸眼立体ディスプレイ２Ａにより構成されることが望ましい。
・コンピュータについて
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　CPU(Central Processing Unit)５０１、ROM(Read Only Memory)５０２、RAM(Random Access Memory)５０３は、バス５０４により相互に接続されている。
　バス５０４には、さらに、入出力インタフェース５０５が接続される。入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続される。また、入出力インタフェース５０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部５０８、ネットワークインタフェースなどよりなる通信部５０９、リムーバブルメディア５１１を駆動するドライブ５１０が接続される。
　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを入出力インタフェース５０５及びバス５０４を介してRAM５０３にロードして実行することにより、上述した一連の処理が行われる。
　CPU５０１が実行するプログラムは、例えばリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部５０８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる表示制御部
　を備える情報処理装置。
（２）
　前記3Dモデルは、前記目標形状の３次元的な形状を示す3Dモデル、および、患者の生体の一部分の形状を示す3Dモデルのうちの少なくとも一方を含む
　前記（１）に記載の情報処理装置。
（３）
　前記表示制御部は、前記誤差情報を前記3Dモデルに重畳させて前記表示装置に表示させる
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記誤差情報は、前記目標形状と前記実物のカテーテルの形状との差分の大きさを色で示す情報である
　前記（１）から（３）のいずれかに記載の情報処理装置。
（５）
　前記実物のカテーテルが撮影されたカテーテル画像を、前記誤差情報および前記3Dモデルとともに前記表示装置に表示させる
　前記（４）に記載の情報処理装置。
（６）
　前記カテーテル画像は、前記表示装置に搭載された撮影部により撮影される
　前記（５）に記載の情報処理装置。
（７）
　前記表示制御部は、前記目標形状と前記実物のカテーテルの形状の差分の大きさに応じた色で前記カテーテル画像を縁取るような前記誤差情報を前記表示装置に表示させる
　前記（５）または（６）に記載の情報処理装置。
（８）
　前記実物のカテーテルを撮影して得られたカテーテル画像に基づいて、前記目標形状と前記実物のカテーテルの形状との差分を算出する算出部をさらに備える
　前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
　前記算出部は、前記表示装置に搭載された撮影部により撮影された前記カテーテル画像、および、前記表示装置の外部に別体として設けられた撮影部により撮影された前記カテーテル画像のうちの少なくとも一方に基づいて、前記目標形状と前記実物のカテーテルの形状との差分を算出する
　前記（８）に記載の情報処理装置。
（１０）
　前記実物のカテーテルを撮影する撮影部をさらに備える
　前記（８）に記載の情報処理装置。
（１１）
　前記表示装置をさらに備える
　前記（１）から（１０）のいずれかに記載の情報処理装置。
（１２）
　前記表示制御部は、前記実物のカテーテルの向きに応じて前記3Dモデルの向きを制御する
　前記（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
　前記表示制御部は、前記実物のカテーテルの位置に基づいて、仮想空間内における前記3Dモデルの配置位置を制御する
　前記（１）から（１２）のいずれかに記載の情報処理装置。
（１４）
　前記表示制御部は、前記ユーザと前記実物のカテーテルとの位置関係に応じて前記3Dモデルの表示サイズを制御する
　前記（１）から（１２）のいずれかに記載の情報処理装置。
（１５）
　前記表示制御部は、前記ユーザによる操作に応じて前記3Dモデルの表示サイズを制御する
　前記（１）から（１２）のいずれかに記載の情報処理装置。
（１６）
　カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる
　情報処理方法。
（１７）
　コンピュータに、
　カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる
　処理を実行させるためのプログラム。
　１　DICOMサーバ，　２　表示装置，　３　情報処理装置，　１１　撮影部，　１２　表示面，　２１　画像処理部，　２２　3D処理部，　２３　誤差算出部，　２４　重畳処理部，　２５　表示制御部，　３１　瞳検出部，　３２　カテーテル検出部

Claims (17)

  1. 　カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる表示制御部
    　を備える情報処理装置。
  2. 　前記3Dモデルは、前記目標形状の３次元的な形状を示す3Dモデル、および、患者の生体の一部分の形状を示す3Dモデルのうちの少なくとも一方を含む
    　請求項１に記載の情報処理装置。
  3. 　前記表示制御部は、前記誤差情報を前記3Dモデルに重畳させて前記表示装置に表示させる
    　請求項１に記載の情報処理装置。
  4. 　前記誤差情報は、前記目標形状と前記実物のカテーテルの形状との差分の大きさを色で示す情報である
    　請求項１に記載の情報処理装置。
  5. 　前記実物のカテーテルが撮影されたカテーテル画像を、前記誤差情報および前記3Dモデルとともに前記表示装置に表示させる
    　請求項４に記載の情報処理装置。
  6. 　前記カテーテル画像は、前記表示装置に搭載された撮影部により撮影される
    　請求項５に記載の情報処理装置。
  7. 　前記表示制御部は、前記目標形状と前記実物のカテーテルの形状の差分の大きさに応じた色で前記カテーテル画像を縁取るような前記誤差情報を前記表示装置に表示させる
    　請求項５に記載の情報処理装置。
  8. 　前記実物のカテーテルを撮影して得られたカテーテル画像に基づいて、前記目標形状と前記実物のカテーテルの形状との差分を算出する算出部をさらに備える
    　請求項１に記載の情報処理装置。
  9. 　前記算出部は、前記表示装置に搭載された撮影部により撮影された前記カテーテル画像、および、前記表示装置の外部に別体として設けられた撮影部により撮影された前記カテーテル画像のうちの少なくとも一方に基づいて、前記目標形状と前記実物のカテーテルの形状との差分を算出する
    　請求項８に記載の情報処理装置。
  10. 　前記実物のカテーテルを撮影する撮影部をさらに備える
    　請求項８に記載の情報処理装置。
  11. 　前記表示装置をさらに備える
    　請求項１に記載の情報処理装置。
  12. 　前記表示制御部は、前記実物のカテーテルの向きに応じて前記3Dモデルの向きを制御する
    　請求項１に記載の情報処理装置。
  13. 　前記表示制御部は、前記実物のカテーテルの位置に基づいて、仮想空間内における前記3Dモデルの配置位置を制御する
    　請求項１に記載の情報処理装置。
  14. 　前記表示制御部は、前記ユーザと前記実物のカテーテルとの位置関係に応じて前記3Dモデルの表示サイズを制御する
    　請求項１に記載の情報処理装置。
  15. 　前記表示制御部は、前記ユーザによる操作に応じて前記3Dモデルの表示サイズを制御する
    　請求項１に記載の情報処理装置。
  16. 　カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる
    　情報処理方法。
  17. 　コンピュータに、
    　カテーテルシェイピングの目標となる目標形状と実物のカテーテルの形状との差分を示す誤差情報、および、前記カテーテルシェイピングの際にユーザにより参照される3Dモデルを、互いに視差を有する左目用画像と右目用画像からなる3D画像を表示可能な表示装置に表示させる
    　処理を実行させるためのプログラム。
PCT/JP2025/007584 2024-03-25 2025-03-04 情報処理装置、情報処理方法、およびプログラム Pending WO2025204551A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2024048198 2024-03-25
JP2024-048198 2024-03-25

Publications (1)

Publication Number Publication Date
WO2025204551A1 true WO2025204551A1 (ja) 2025-10-02

Family

ID=97219338

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2025/007584 Pending WO2025204551A1 (ja) 2024-03-25 2025-03-04 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2025204551A1 (ja)

Similar Documents

Publication Publication Date Title
JP6698824B2 (ja) 画像表示制御装置および方法並びにプログラム
US11961193B2 (en) Method for controlling a display, computer program and mixed reality display device
US8913790B2 (en) System and method for analyzing three-dimensional (3D) media content
EP2597597B1 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
Duchowski et al. Comparing estimated gaze depth in virtual and physical environments
US20140293007A1 (en) Method and image acquisition system for rendering stereoscopic images from monoscopic images
CN109598796A (zh) 将真实场景与虚拟物体进行3d融合显示的方法和装置
Khoshabeh et al. Multiview glasses-free 3-D laparoscopy
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN107595408B (zh) 2d与裸眼3d双屏内窥镜系统及显示方法
KR102299936B1 (ko) 카메라로 촬영된 객체 추적을 위한 자세 추정 방법 및 시스템
Solari et al. Natural perception in dynamic stereoscopic augmented reality environments
JP6618260B2 (ja) 情報処理装置、情報処理方法、プログラム
CN104887314A (zh) 用于立体内窥镜手术导航的虚拟立体内窥镜显示方法及设备
JP6275488B2 (ja) 手術支援装置および手術支援プログラム
WO2025204551A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5712737B2 (ja) 表示制御装置、表示制御方法、及びプログラム
WO2025241728A1 (zh) 图像渲染方法及装置、显示装置和裸眼3d显示系统
EP3130273B1 (en) Stereoscopic visualization system and method for endoscope using shape-from-shading algorithm
CN118398162A (zh) 术前虚拟模型的位姿确定方法、显示方法及系统
US20240197411A1 (en) System and method for lidar-based anatomical mapping
JP2017046725A (ja) 画像位置合せ装置、方法およびプログラム
Salb et al. INPRES (intraoperative presentation of surgical planning and simulation results): augmented reality for craniofacial surgery
Suenaga et al. 3D display based on motion parallax using non-contact 3D measurement of head position

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 25776364

Country of ref document: EP

Kind code of ref document: A1