[go: up one dir, main page]

WO2025070545A1 - 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
WO2025070545A1
WO2025070545A1 PCT/JP2024/034284 JP2024034284W WO2025070545A1 WO 2025070545 A1 WO2025070545 A1 WO 2025070545A1 JP 2024034284 W JP2024034284 W JP 2024034284W WO 2025070545 A1 WO2025070545 A1 WO 2025070545A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
point
control unit
sensor
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/034284
Other languages
English (en)
French (fr)
Inventor
俊祐 吉澤
泰一 坂本
クレモン ジャケ
ステフェン チェン
カーン エラスラン
マキシム レンファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terumo Corp
Rokken Inc
Original Assignee
Terumo Corp
Rokken Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terumo Corp, Rokken Inc filed Critical Terumo Corp
Publication of WO2025070545A1 publication Critical patent/WO2025070545A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters

Definitions

  • This disclosure relates to an image processing device, an image processing system, an image processing method, and an image processing program.
  • Patent Document 1 discloses a method for identifying the direction of the patient's ventral side in a three-dimensional image of biological tissue that is generated and displayed based on a two-dimensional ultrasound image acquired by a transducer of an ultrasound catheter.
  • CT computed tomography
  • DSA digital subtraction angiography
  • the purpose of this disclosure is to make it easier to reproduce the shape of a biological lumen in a three-dimensional image when imaging the three-dimensional structure of the biological lumen to generate a three-dimensional image.
  • An image processing device that generates a three-dimensional image by imaging a three-dimensional structure of a biological lumen based on a plurality of two-dimensional images obtained by moving a sensor provided on a catheter inserted into the biological lumen along an axis of the catheter through a section from a first point to a second point within the biological lumen,
  • An image processing device comprising: a control unit that adjusts the shape of the three-dimensional image to match the shape of the catheter axis in the section, which is identified using at least one X-ray image including an image of at least a portion of the catheter taken by an X-ray imaging device that sees through the biological lumen.
  • the control unit is Associating a first location on the at least one X-ray image corresponding to the first point with a location at one end of the line of motion; Associating a second location on the at least one X-ray image corresponding to the second point with a location of the other end of the line of motion; setting a connecting line connecting the first position and the second position on the at least one X-ray image;
  • the image processing device according to [2], wherein the shape of the movement line is set in response to an operation for manually changing the shape of the set connection line.
  • the control unit is Associating a first location on the at least one X-ray image corresponding to the first point with a location at one end of the line of motion; Associating a second location on the at least one X-ray image corresponding to the second point with a location of the other end of the line of motion; automatically detecting an image of the catheter shaft from the at least one X-ray image;
  • the image processing device further comprising: a detecting unit for detecting a shape of the movement line based on the detected image;
  • the control unit is Associating a first location on the at least one X-ray image corresponding to the first point with a location at one end of the line of motion; Associating a second location on the at least one X-ray image corresponding to the second point with a location of the other end of the line of motion; automatically detecting an image of the sensor from each of a plurality of X-ray images captured by the X-ray imaging device while the sensor moves through the section;
  • the image processing device according to [2], further comprising: a detecting unit for detecting a shape of the movement line based on the detected image;
  • control unit corresponds to a position of one end of the movement line in response to an operation of manually specifying a first position corresponding to the first point on the at least one X-ray image when the sensor is present at the first point.
  • the control unit corresponds the second position to the position of the other end of the movement line in response to an operation of manually specifying a second position corresponding to the second point on the at least one X-ray image when the sensor is present at the second point.
  • the control unit is obtaining ratio information indicative of a ratio of a dimension of the at least one X-ray image to a dimension of the three-dimensional image;
  • An image processing device as described in [7], wherein, based on the acquired ratio information, a position on the at least one X-ray image that is a distance away from the first position corresponding to the distance of the movement line is associated with the other end position of the movement line as a second position on the at least one X-ray image corresponding to the second point.
  • control unit automatically detects a first position corresponding to the first point on the at least one X-ray image when the sensor is present at the first point, and corresponds the first position to a position at one end of the movement line.
  • control unit automatically detects a second position corresponding to the second point on the at least one X-ray image when the sensor is present at the second point, and corresponds the second position to the position of the other end of the movement line.
  • control unit causes the three-dimensional image to be displayed on a display in a superimposed manner on the at least one X-ray image.
  • control unit updates the three-dimensional image in accordance with changes in the movement line while the movement line is being set.
  • a computer that generates a three-dimensional image by imaging a three-dimensional structure of the biological lumen based on a plurality of two-dimensional images obtained by moving a sensor provided on a catheter inserted into the biological lumen along an axis of the catheter through a section from a first point to a second point in the biological lumen,
  • An image processing program that executes an operation including adjusting the shape of the three-dimensional image to match the shape of the catheter axis in the section, which is identified using at least one X-ray image including an image of at least a portion of the catheter taken by an X-ray imaging device that visualizes the biological lumen.
  • FIG. 1 is a block diagram showing a configuration of an image processing system according to an embodiment of the present disclosure.
  • 4 is a flowchart illustrating an operation of an image processing device according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a screen displayed on a display according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram showing an example of updating a screen displayed on a display according to an embodiment of the present disclosure in step S4.
  • FIG. 2 is a diagram illustrating an example of a three-dimensional image generated by an image processing device according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram showing an example of shape adjustment in step S7 of a three-dimensional image generated by an image processing device according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram showing an example of updating a screen displayed on a display according to an embodiment of the present disclosure in step S7.
  • 13 is a flowchart showing a first example of a detailed procedure of step S6.
  • FIG. 11 is a diagram showing an example of updating a screen displayed on a display according to an embodiment of the present disclosure in step S603.
  • FIG. 13 is a diagram showing an example of updating a screen displayed on a display according to an embodiment of the present disclosure in step S604.
  • 13 is a flowchart showing a second example of the detailed procedure of step S6.
  • 13 is a flowchart showing a third example of a detailed procedure of step S6.
  • 13 is a diagram showing an example of updating a screen displayed on a display according to an embodiment of the present disclosure in step S623.
  • 13 is a flowchart showing a fourth example of the detailed procedure of step S6.
  • 13 is a flowchart showing a fifth example of the detailed procedure of step S6.
  • 13 is a flowchart illustrating a modified example of the operation of the image processing device according to the embodiment of the present disclosure.
  • the image processing system 10 includes an image processing device 20, a sensor 28, an X-ray imaging device 30, an input device 40, and a display 50.
  • the image processing device 20 is connected to the sensor 28, the X-ray imaging device 30, the input device 40, and the display 50 via a cable or a network, or wirelessly.
  • the image processing device 20 is, for example, a general-purpose computer such as a PC, a server computer such as a cloud server, or a dedicated computer. "PC" is an abbreviation for personal computer.
  • the image processing device 20 may be installed in a medical facility such as a hospital, or may be installed in a facility separate from the medical facility, such as a data center.
  • the sensor 28 is, for example, an ultrasound transducer used in IVUS. "IVUS" is an abbreviation for intravascular ultrasound.
  • the sensor 28 transmits ultrasound while moving along the axis 27 of a catheter 26 inserted into a biological lumen such as a blood vessel, as shown in FIG. 3, and receives the reflected waves of the transmitted ultrasound.
  • the X-ray imaging device 30 is, for example, a C-arm.
  • the X-ray imaging device 30 is installed in a medical facility and visualizes the body lumen.
  • the input device 40 is, for example, a pointing device such as a mouse, a keyboard, or a touch screen that is integrated with the display 50.
  • the input device 40 is installed in a medical facility and is used by an operator such as a doctor or clinical engineer to control the display of various information, including images, on the display 50.
  • the display 50 is, for example, an LCD or an organic EL display.
  • LCD is an abbreviation for liquid crystal display.
  • EL is an abbreviation for electro luminescent.
  • the display 50 is installed in a medical facility and displays various information, including images, to the operator to assist in catheter surgery, such as stent graft placement procedures.
  • the image processing device 20 includes a control unit 21, a memory unit 22, a communication unit 23, an input unit 24, and an output unit 25.
  • the control unit 21 includes at least one processor, at least one programmable circuit, at least one dedicated circuit, or any combination of these.
  • the processor is a general-purpose processor such as a CPU or GPU, or a dedicated processor specialized for specific processing.
  • CPU is an abbreviation for central processing unit.
  • GPU is an abbreviation for graphics processing unit.
  • An example of the programmable circuit is an FPGA.
  • FPGA is an abbreviation for field-programmable gate array.
  • An example of the dedicated circuit is an ASIC.
  • ASIC is an abbreviation for application specific integrated circuit.
  • the control unit 21 executes processing related to the operation of the image processing device 20 while controlling each part of the image processing device 20.
  • the memory unit 22 includes at least one semiconductor memory, at least one magnetic memory, at least one optical memory, or any combination thereof.
  • the semiconductor memory is, for example, a RAM, a ROM, or a flash memory.
  • RAM is an abbreviation for random access memory.
  • ROM is an abbreviation for read only memory.
  • the RAM is, for example, an SRAM or a DRAM.
  • SRAM is an abbreviation for static random access memory.
  • DRAM is an abbreviation for dynamic random access memory.
  • the ROM is, for example, an EEPROM.
  • EEPROM is an abbreviation for electrically erasable programmable read only memory.
  • the flash memory is, for example, an SSD.
  • SSD is an abbreviation for solid-state drive.
  • the magnetic memory is, for example, an HDD. "HDD” is an abbreviation for hard disk drive.
  • the memory unit 22 functions, for example, as a main memory device, an auxiliary memory device, or a cache memory. The memory unit 22 stores data used in the operation of the image processing device 20 and data obtained by the operation of the image processing device 20.
  • the communication unit 23 includes at least one communication module.
  • the communication module is, for example, a module compatible with a wired LAN communication standard such as Ethernet (registered trademark) or a wireless LAN communication standard such as IEEE 802.11. "IEEE” is an abbreviation for Institute of Electrical and Electronics Engineers.
  • the communication unit 23 receives data used in the operation of the image processing device 20, and transmits data obtained by the operation of the image processing device 20.
  • the communication unit 23 is connected to the sensor 28 and the X-ray imaging device 30. Note that the communication unit 23 does not have to be a communication module as described above, as long as it can receive image signals from the sensor 28 and the X-ray imaging device 30.
  • the input unit 24 includes at least one input interface.
  • the input interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with a short-range wireless communication standard such as Bluetooth (registered trademark).
  • USB is an abbreviation for Universal Serial Bus.
  • HDMI registered trademark
  • HDMI registered trademark
  • HDMI High-Definition Multimedia Interface
  • the output unit 25 includes at least one output interface.
  • the output interface is, for example, a USB interface, an HDMI (registered trademark) interface, or an interface compatible with a short-range wireless communication standard such as Bluetooth (registered trademark).
  • the output unit 25 outputs data obtained by the operation of the image processing device 20.
  • the output unit 25 is connected to the display 50.
  • the program may be stored on a non-transitory computer-readable medium.
  • non-transitory computer-readable media include flash memory, magnetic recording devices, optical disks, magneto-optical recording media, and ROMs.
  • the program may be distributed, for example, by selling, transferring, or lending portable media such as SD cards, DVDs, or CD-ROMs on which the program is stored.
  • SD is an abbreviation for Secure Digital.
  • DVD is an abbreviation for digital versatile disc.
  • CD-ROM is an abbreviation for compact disc read only memory.
  • the program may be distributed by storing it in the storage of a server and transferring it from the server to other computers.
  • the program may be provided as a program product.
  • the computer temporarily stores in its main storage device, for example, a program stored in a portable medium or a program transferred from a server.
  • the computer then reads the program stored in the main storage device with a processor, and executes processing in accordance with the read program with the processor.
  • the computer may read the program directly from the portable medium and execute processing in accordance with the program.
  • the computer may execute processing in accordance with the received program each time a program is transferred to the computer from the server. Processing may be executed by a so-called ASP-type service that does not transfer a program from the server to the computer, but instead realizes functions only by issuing execution instructions and obtaining results.
  • "ASP" is an abbreviation for application service provider.
  • Programs include information used for processing by a computer that is equivalent to a program. For example, data that is not a direct command to a computer but has properties that define computer processing falls under "something equivalent to a program.”
  • Some or all of the functions of the image processing device 20 may be realized by a programmable circuit or a dedicated circuit as the control unit 21. In other words, some or all of the functions of the image processing device 20 may be realized by hardware.
  • the image processing device 20 will be described with reference to FIG. 2.
  • the operation described below corresponds to the image processing method according to this embodiment.
  • the image processing method according to this embodiment includes steps S1 to S7 shown in FIG. 2.
  • control unit 21 acquires one or more X-ray images taken by the X-ray imaging device 30. Specifically, the control unit 21 receives one or more X-ray images from the X-ray imaging device 30 via the communication unit 23.
  • the control unit 21 acquires multiple two-dimensional images obtained by the sensor 28 while the sensor 28 moves through the section from the first point P1 to the second point P2 in the biological lumen. Specifically, the control unit 21 receives reflected wave information from the sensor 28 via the communication unit 23 regarding reflected waves received by the sensor 28 while the sensor 28 moves through the section from the first point P1 to the second point P2 in the biological lumen. The control unit 21 generates multiple cross-sectional images as multiple two-dimensional images by imaging the cross-sectional structure of the biological lumen based on the received reflected wave information. Alternatively, the control unit 21 may receive multiple cross-sectional images generated by a separately provided IVUS device based on the reflected wave information as multiple two-dimensional images from the IVUS device via the communication unit 23.
  • Step S1 may be executed before S2, during S2, or after S2.
  • the control unit 21 causes the display 50 to display a screen 51 such as that shown in FIG. 3 via the output unit 25.
  • the screen 51 includes a first area 52 and a second area 53 adjacent to the first area 52.
  • the second area 53 is disposed to the right of the first area 52, but the second area 53 may also be disposed to the left of the first area 52.
  • the latest two-dimensional image 60 and the human body model image 61 are displayed among the multiple two-dimensional images acquired in S2.
  • the human body model image 61 is displayed so that its orientation is aligned with that of the two-dimensional image 60.
  • the catheter 26 is inserted from the groin of the patient, and the upper side of the two-dimensional image 60 corresponds to the side where the abdomen of the patient is located, and the lower side of the two-dimensional image 60 corresponds to the side where the back of the patient is located. Therefore, the human body model image 61 is displayed so that the bottom surface is visible, and the abdomen faces upward and the back faces downward.
  • the human body model image 61 is positioned at the upper left of the two-dimensional image 60, but the human body model image 61 may be positioned anywhere in the vicinity of the two-dimensional image 60.
  • the position of the human body model image 61 may be fixed or may be arbitrarily changeable.
  • a slider 54 is further displayed in the first area 52.
  • the slider 54 indicates the position of the sensor 28 in the longitudinal direction of the catheter 26.
  • the slider 54 is disposed at the end of the first area 52 that is closer to the second area 53. Therefore, in the example shown in FIG. 3, the slider 54 is disposed at the right end of the first area 52.
  • the second area 53 displays the X-ray image 80 acquired in S1.
  • the X-ray image 80 was taken by the X-ray imaging device 30 when the axis 27 of the catheter 26 was present at least over the section from the first point P1 to the second point P2 within the biological lumen.
  • the X-ray image 80 includes an image of at least a portion of the catheter 26, specifically, an image of the axis 27 of the catheter 26, and an image of the sensor 28. In the example shown in FIG. 3, the X-ray image 80 further includes an image of the guidewire 29.
  • control unit 21 visualizes the three-dimensional structure of the biological lumen based on the multiple two-dimensional images acquired in S2, and generates a three-dimensional image 70 as shown in Fig. 5. Specifically, the control unit 21 stacks the multiple cross-sectional images generated or received in S2 to generate the three-dimensional image 70.
  • control unit 21 causes the three-dimensional image 70 generated in S3 to be superimposed on the X-ray image 80 acquired in S1 and displayed on the display 50.
  • control unit 21 updates the screen 51 displayed on the display 50 via the output unit 25 as shown in FIG. 4.
  • the three-dimensional image 70 generated in S3 and the human body model image 71 are displayed superimposed on the X-ray image 80 acquired in S1.
  • the angle of the three-dimensional image 70 corresponds to the angle when the surgical subject is viewed from the front
  • the upper side of the three-dimensional image 70 corresponds to the side where the head of the surgical subject is located
  • the lower side of the three-dimensional image 70 corresponds to the side where the feet of the surgical subject are located. Therefore, the human body model image 71 is displayed so that the front is visible, the head faces up, and the feet face down.
  • the human body model image 71 is placed in the upper left of the three-dimensional image 70, but the human body model image 71 may be placed in any position near the three-dimensional image 70.
  • the position of the human body model image 71 may be fixed or may be arbitrarily changeable.
  • the three-dimensional image 70 may be cut out in part along the long axis direction of the catheter 26 so that the internal structure of the biological lumen can be observed, and the cut-out part may be made invisible.
  • a cross-sectional image 72 is further displayed in the second area 53.
  • the cross-sectional image 72 is a reduced version of the two-dimensional image 60 displayed in the first area 52.
  • a camera icon 73 indicating the viewpoint position is placed on the edge of the cross-sectional image 72. This makes it easy to see from what direction the three-dimensional image 70 displayed in the second area 53 is viewed in the cross-sectional image 72.
  • the image display orientation in which the three-dimensional image 70 is displayed on the display 50 is adjusted manually or automatically to an orientation in which the X-ray image 80 is viewed from a viewpoint corresponding to the shooting angle at which the X-ray image 80 was captured by the X-ray imaging device 30.
  • the relative position and size in which the three-dimensional image 70 is displayed on the display 50 relative to the X-ray image 80 have already been adjusted in the example shown in FIG. 4, but in reality they do not need to be adjusted yet.
  • FIG. 4 shows a first position L1 corresponding to a first point P1 and a second position L2 corresponding to a second point P2 on the X-ray image 80, but the first position L1 and the second position L2 may be manually specified or automatically detected by S6.
  • the control unit 21 identifies the position of the sensor 28 as the sensor position for each of the two-dimensional images included in the multiple two-dimensional images acquired in S2. Specifically, the control unit 21 identifies the position of the center of the two-dimensional image 60 obtained by the sensor 28 when the sensor 28 is located at the first point P1 as the first sensor position V1. The control unit 21 identifies the position of the center of the two-dimensional image 60 obtained by the sensor 28 when the sensor 28 is located at the second point P2 as the second sensor position V2.
  • the control unit 21 identifies the positions of the center of the two-dimensional image 60 obtained by the sensor 28 when the sensor 28 is located at the third point P3 and the fourth point P4 that are different from the first point P1 and the second point P2 as the third sensor position V3 and the fourth sensor position V4, respectively.
  • the control unit 21 may further identify the position of the center of the two-dimensional image 60 obtained by the sensor 28 when the sensor 28 is located at a point different from the first point P1, the second point P2, the third point P3, and the fourth point P4 as the sensor position.
  • the control unit 21 does not need to identify the fourth sensor position V4.
  • the control unit 21 sets a movement line 74 as shown in FIG. 6 in the three-dimensional image 70 generated in S3.
  • the movement line 74 is a line extending from the position of the first sensor position V1 identified in S5 in the three-dimensional image 70 in a shape corresponding to the shape of the axis 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen.
  • the shape of the axis 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen is identified using at least one X-ray image acquired in S1.
  • the shape of the axis 27 of the catheter 26 from the first position L1 to the second position L2 on the X-ray image 80 acquired in S1 is identified as the shape of the axis 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen.
  • the control unit 21 adjusts the shape of the three-dimensional image 70 generated in S3 to match the shape of the axis 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen, which is identified using at least one X-ray image. Specifically, as shown in FIG. 6, the control unit 21 adjusts the shape of the three-dimensional image 70 generated in S3 by placing each sensor position identified in S5 on the movement line 74 set in S6. For example, as shown in FIG. 7, the control unit 21 updates the screen 51 displayed on the display 50 via the output unit 25.
  • Step S7 may be executed after S6, but is preferably executed simultaneously with S6.
  • the control unit 21 updates the three-dimensional image 70 in response to changes in the movement line 74 while the movement line 74 is being set.
  • the control unit 21 In order to reduce the amount of calculations required when adjusting the shape of the three-dimensional image 70 in S7, it is desirable for the control unit 21 to convert the voxel data of the three-dimensional image 70 into triangular or quadrangular mesh data when generating the three-dimensional image 70 in S3. Any method such as the marching cubes method, Surface Nets, or Delaunay triangulation can be used to convert the voxel data into mesh data. Any method such as the RMF or Frenet-Serret formula can be used to deform the mesh data when adjusting the shape of the three-dimensional image 70. "RMF" is an abbreviation for rotation minimizing frames.
  • control unit 21 may cause the three-dimensional image 70 and the X-ray image 80 to be displayed separately on the display 50 in S4.
  • control unit 21 may further obtain another X-ray image taken by the X-ray imaging device 30 at an angle different from that of the X-ray image 80 in S1, and further adjust the shape of the three-dimensional image 70 in the depth direction using the another X-ray image in S4 to S7.
  • the control unit 21 generates a three-dimensional image 70 by imaging the three-dimensional structure of the biological lumen based on a plurality of two-dimensional images 60 obtained by moving the sensor 28 provided on the catheter 26 inserted into the biological lumen along the axis 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen.
  • the control unit 21 adjusts the shape of the three-dimensional image 70 to match the shape of the axis 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen, which is identified using at least one X-ray image including an image of the sensor 28 taken by an X-ray imaging device 30 that sees through the biological lumen.
  • the shape of the biological lumen can be easily reproduced in the three-dimensional image 70.
  • the shape of the blood vessel can be easily reproduced in the three-dimensional image 70.
  • step S6 a first example of the detailed procedure for step S6 is described.
  • the control unit 21 corresponds the first position L1 to one end of the moving line 74 in response to an operation of manually specifying the first position L1 when the sensor 28 is at the first point P1. Specifically, the control unit 21 accepts an operation of clicking or touching, via the input unit 24, the position where the sensor 28 is shown on the X-ray image taken by the X-ray imaging device 30 when the sensor 28 is at the first point P1, using the input device 40. The control unit 21 receives, via the communication unit 23, a notification from the MDU that drives the catheter 26 regarding the position of the sensor 28 in the longitudinal direction of the catheter 26 when the sensor 28 is at the first point P1. "MDU" is an abbreviation for motor drive unit.
  • the control unit 21 specifies the first sensor position V1 specified in S5 in the cross section present at the position notified by the MDU in the three-dimensional image 70 as the position of the first sensor position V1 in the three-dimensional image 70.
  • the control unit 21 stores the clicked or touched position as the first position L1 and the position of the first sensor position V1 in the three-dimensional image 70 as one end position of the movement line 74 in the storage unit 22 in association with each other.
  • control unit 21 corresponds the second position L2 to the other end position of the movement line 74 in response to an operation of manually specifying the second position L2 when the sensor 28 is at the second point P2.
  • control unit 21 accepts an operation of clicking or touching, via the input unit 24, the position at which the sensor 28 is shown on the X-ray image taken by the X-ray imaging device 30 when the sensor 28 is at the second point P2, using the input device 40.
  • the control unit 21 receives, via the communication unit 23, a notification from the MDU that drives the catheter 26 regarding the position of the sensor 28 in the longitudinal direction of the catheter 26 when the sensor 28 is at the second point P2.
  • the control unit 21 specifies the second sensor position V2 specified in S5 in the cross section present at the position notified by the MDU in the three-dimensional image 70 as the position of the second sensor position V2 in the three-dimensional image 70.
  • the control unit 21 stores the clicked or touched position as the second position L2 and the position of the second sensor position V2 in the three-dimensional image 70 as the other end position of the movement line 74 in the storage unit 22 in association with each other.
  • the control unit 21 sets a connecting line 82 as shown in FIG. 9 on the X-ray image 80.
  • the connecting line 82 is a line connecting the first position L1 and the second position L2.
  • the control unit 21 places marks such as circles at the first position L1 and the second position L2 on the X-ray image 80 displayed on the screen 51, and draws a straight line connecting the placed marks as the connecting line 82.
  • the X-ray image 80 was taken when the sensor 28 was at the first point P1, but it may be taken at any time as long as it was taken when the axis 27 of the catheter 26 was at least in the section from the first point P1 to the second point P2 in the biological lumen.
  • the control unit 21 adjusts the relative position and size of the three-dimensional image 70 displayed on the display 50 with respect to the X-ray image 80 so that the position and length of the movement line 74 match the position and length of the connection line 82. Specifically, the control unit 21 adjusts the relative position and size of the three-dimensional image 70 displayed on the display 50 with respect to the X-ray image 80 so that the positions of both ends of the movement line 74 stored in the memory unit 22 match the first position L1 and second position L2 stored in the memory unit 22 in association with them.
  • the control unit 21 sets the shape of the movement line 74 in response to an operation to manually change the shape of the connecting line 82 set in S603. Specifically, the control unit 21 accepts an operation to bend the connecting line 82 by dragging any position of the connecting line 82 other than the first position L1 and the second position L2 on the X-ray image 80 displayed on the screen 51 with the input device 40 via the input unit 24. Each time the connecting line 82 is bent, the control unit 21 adjusts the shape of the movement line 74 so that it matches the bent shape of the connecting line 82.
  • step S7 when step S7 is executed, for example, the control unit 21 updates the screen 51 displayed on the display 50 via the output unit 25 as shown in FIG. 10.
  • step S6 a second example of the detailed procedure for step S6 is described.
  • Step S611 is similar to step S601 shown in Figure 8, so a description of it will be omitted.
  • the control unit 21 acquires ratio information indicating the ratio of the dimensions of the X-ray image 80 to the dimensions of the three-dimensional image 70. Specifically, when the actual scale of the X-ray image 80 is known, the control unit 21 calculates the ratio of the distance on the X-ray image 80 to the movement distance of the sensor 28 as the ratio information.
  • the control unit 21 based on the ratio information acquired in S612, associates a position on the X-ray image 80 that is a distance away from the first position L1 by a distance corresponding to the distance of the movement line 74 with the other end position of the movement line 74 as the second position L2.
  • the control unit 21 receives a notification from the MDU that drives the catheter 26 via the communication unit 23 regarding the position of the sensor 28 in the longitudinal direction of the catheter 26 when the sensor 28 is at the second point P2.
  • the control unit 21 specifies the second sensor position V2 specified in S5 in the cross section that exists at the position notified by the MDU in the three-dimensional image 70 as the position of the second sensor position V2 in the three-dimensional image 70.
  • the control unit 21 calculates the movement distance when the sensor 28 moves in the section from the first point P1 to the second point P2 based on the information notified by the MDU.
  • the control unit 21 converts the calculated movement distance into a distance on the X-ray image 80 according to the ratio calculated in S612.
  • the control unit 21 stores in the storage unit 22 a position that is a converted distance away from the first position L1 specified in S611 as the second position L2, and a position in the three-dimensional image 70 of the second sensor position V2 as the other end position of the movement line 74, in association with each other.
  • the direction in which the second position L2 exists relative to the first position L1 may be specified manually, or may be automatically determined according to the position of the axis 27 of the catheter 26 on the X-ray image 80.
  • Steps S614 and S615 are similar to steps S603 and S604 shown in FIG. 8, so a description of these steps will be omitted.
  • step S6 a third example of the detailed procedure for step S6 is described.
  • Steps S621 and S622 are similar to steps S601 and S602 shown in FIG. 8, respectively, and therefore will not be described.
  • Step S622 may be replaced with steps S612 and S613 shown in FIG. 11. In such a modified example, the operation of manually specifying the second position L2 becomes unnecessary.
  • control unit 21 sets the shape of the movement line 74 to a shape corresponding to the first position L1, the second position L2, and the connecting line 82 connecting the at least one position, in response to an operation of manually specifying at least one position on the X-ray image 80 that is different from the first position L1 and the second position L2.
  • control unit 21 accepts an operation of clicking or touching, via the input unit 24, an arbitrary position of the shaft 27 of the catheter 26 other than the first position L1 and the second position L2 on the X-ray image 80 displayed on the screen 51 as a third position L3 using the input device 40.
  • the control unit 21 further accepts an operation of clicking or touching, via the input unit 24, an arbitrary position of the shaft 27 of the catheter 26 other than the first position L1, the second position L2, and the third position L3 on the X-ray image 80 displayed on the screen 51 as a fourth position L4 using the input device 40.
  • the control unit 21 places marks such as circles at the first position L1, the second position L2, the third position L3, and the fourth position L4 on the X-ray image 80 displayed on the screen 51, and draws a straight line connecting all the placed marks as a connecting line 82.
  • the control unit 21 may further accept an operation of clicking or touching any position of the axis 27 of the catheter 26 other than the first position L1, the second position L2, the third position L3, and the fourth position L4 on the X-ray image 80 displayed on the screen 51 with the input device 40 via the input unit 24. Alternatively, the control unit 21 may not accept an operation of clicking or touching the fourth position L4.
  • the control unit 21 adjusts the relative position and size of the three-dimensional image 70 displayed on the display 50 with respect to the X-ray image 80 so that the position and length of the movement line 74 match the position and length of the connection line 82. Specifically, the control unit 21 adjusts the relative position and size of the three-dimensional image 70 displayed on the display 50 with respect to the X-ray image 80 so that the positions of both ends of the movement line 74 stored in the memory unit 22 match the first position L1 and second position L2 stored in the memory unit 22 in association with them.
  • the control unit 21 automatically changes the shape of the connecting line 82 each time a position other than the first position L1 and the second position L2 is specified, and changes the shape of the movement line 74 accordingly. Specifically, each time a position other than the first position L1 and the second position L2 is clicked or touched, the control unit 21 places a new mark such as a circle on the X-ray image 80 displayed on the screen 51 at the clicked or touched position, and updates the connecting line 82 so that it passes through the newly placed mark. The control unit 21 then adjusts the shape of the movement line 74 so that it matches the updated shape of the connecting line 82.
  • step S7 when step S7 is executed, for example, the control unit 21 updates the screen 51 displayed on the display 50 via the output unit 25 as shown in FIG. 13.
  • step S6 a fourth example of the detailed procedure for step S6 is described.
  • Steps S631 and S632 are similar to steps S601 and S602 shown in FIG. 8, respectively, and therefore will not be described.
  • Step S632 may be replaced with steps S612 and S613 shown in FIG. 11. In such a modified example, the operation of manually specifying the second position L2 becomes unnecessary.
  • control unit 21 automatically detects an image of the shaft 27 of the catheter 26 from the X-ray image 80.
  • a known image recognition technique can be used as a method for detecting the image of the shaft 27 of the catheter 26.
  • Machine learning such as deep learning may also be used.
  • the control unit 21 sets the shape of the movement line 74 based on the image detected in S633. Specifically, the control unit 21 adjusts the relative position and size of the three-dimensional image 70 displayed on the display 50 with respect to the X-ray image 80 so that the positions of both ends of the movement line 74 stored in the memory unit 22 match the first position L1 and second position L2 stored in the memory unit 22 in association with them. The control unit 21 then adjusts the shape of the movement line 74 so that it matches the shape of the image detected in S633.
  • step S6 a fifth example of the detailed procedure for step S6 is described.
  • step S632 in the fourth example is replaced with steps S612 and S613 shown in FIG. 11.
  • Step S641 is similar to step S601 shown in FIG. 8, so a description will be omitted.
  • Steps S642 and S643 are similar to steps S612 and S613 shown in FIG. 11, respectively, so a description will be omitted.
  • Steps S644 and S645 are similar to steps S633 and S634 shown in FIG. 14, respectively, so a description will be omitted.
  • the control unit 21 may automatically detect the first position L1 when the sensor 28 is at the first point P1 and correspond the first position L1 to the position of one end of the moving line 74. In such a modified example, the control unit 21 automatically detects the position where the sensor 28 is captured on the X-ray image taken by the X-ray imaging device 30 when the sensor 28 is at the first point P1.
  • a known image recognition technique can be used as a method for detecting the position where the sensor 28 is captured.
  • Machine learning such as deep learning may also be used.
  • the control unit 21 receives a notification from the MDU that drives the catheter 26 via the communication unit 23 about the position of the sensor 28 in the longitudinal direction of the catheter 26 when the sensor 28 is at the first point P1.
  • the control unit 21 identifies the first sensor position V1 identified in S5 in the cross section present at the position notified by the MDU in the three-dimensional image 70 as the position of the first sensor position V1 in the three-dimensional image 70.
  • the control unit 21 stores the automatically detected position as the first position L1 and the position of the first sensor position V1 in the three-dimensional image 70 as the position of one end of the movement line 74 in the memory unit 22 in association with each other.
  • control unit 21 may automatically detect the second position L2 when the sensor 28 is at the second point P2 and correspond the second position L2 to the other end position of the moving line 74, instead of accepting an operation to manually specify the second position L2 when the sensor 28 is at the second point P2.
  • control unit 21 automatically detects the position where the sensor 28 is captured on the X-ray image taken by the X-ray imaging device 30 when the sensor 28 is at the second point P2.
  • a known image recognition technique can be used as a method for detecting the position where the sensor 28 is captured.
  • Machine learning such as deep learning may also be used.
  • the control unit 21 receives a notification from the MDU that drives the catheter 26 via the communication unit 23 about the position of the sensor 28 in the longitudinal direction of the catheter 26 when the sensor 28 is at the second point P2.
  • the control unit 21 identifies the second sensor position V2 identified in S5 in the cross section present at the position notified by the MDU in the three-dimensional image 70 as the position of the second sensor position V2 in the three-dimensional image 70.
  • the control unit 21 stores the automatically detected position as the second position L2 and the position of the second sensor position V2 in the three-dimensional image 70 as the position of the other end of the movement line 74 in the memory unit 22 in association with each other.
  • steps S1A to S7A shown in FIG. 16 the description of the same processes as steps S1 to S7 shown in FIG. 2 will be omitted or simplified as appropriate.
  • X-ray images are continuously taken during the pull-back operation, which is the operation of pulling the sensor 28 toward the user, and each time a two-dimensional image is generated, that is, for each frame, the position of the sensor 28 on the corresponding X-ray image is continuously captured.
  • a curved three-dimensional image 70 can be constructed in real time.
  • i is set to "1" when steps S1A to S7A are executed for the first time
  • i is set to "2" when steps S1A to S7A are executed for the last time
  • i is set to "3" or greater when steps S1A to S7A are executed for the second or subsequent time excluding the last time, and is incremented by 1 each time. For example, if steps S1A to S7A are executed a total of four times, i will have the values "1", "3", "4", and "2" in that order. When i is "1", steps S3A, S4A, S6A, and S7A may be skipped. After S7A, steps S1A and onward are repeatedly executed until some end operation is performed, such as pressing the end button or ending the pullback.
  • the control unit 21 acquires an X-ray image taken by the X-ray imaging device 30 when the sensor 28 is located at the i-th point Pi in the living body lumen. Specifically, the control unit 21 receives, via the communication unit 23, the X-ray image taken when the sensor 28 is located at the i-th point Pi from the X-ray imaging device 30. This X-ray image needs to include at least an image of the sensor 28, and does not need to include an image of the shaft 27 of the catheter 26.
  • the control unit 21 acquires a two-dimensional image obtained by the sensor 28 when the sensor 28 is located at the i-th point Pi. Specifically, the control unit 21 receives reflected wave information from the sensor 28 via the communication unit 23 regarding the reflected wave received by the sensor 28 when the sensor 28 is located at the first point P1. The control unit 21 generates a cross-sectional image corresponding to the first point P1 as a two-dimensional image by imaging the cross-sectional structure of the biological lumen based on the received reflected wave information. Alternatively, the control unit 21 may receive a cross-sectional image generated by a separately provided IVUS device based on the reflected wave information corresponding to the first point P1 as a two-dimensional image from the IVUS device via the communication unit 23.
  • Step S1A may be performed before S2A, simultaneously with S2A, or after S2A.
  • control unit 21 In S3A, the control unit 21 generates a three-dimensional image 70 by imaging the three-dimensional structure of the biological lumen based on the two-dimensional image acquired in S2A and, if any, one or more two-dimensional images acquired earlier. Specifically, the control unit 21 generates the three-dimensional image 70 by stacking the cross-sectional image generated or received in S2A and, if any, one or more cross-sectional images generated or received earlier.
  • control unit 21 causes the display 50 to display the three-dimensional image 70 generated in S3A superimposed on the X-ray image acquired in S1A.
  • control unit 21 identifies the position of the sensor 28 as the sensor position for the two-dimensional image acquired in S2A. Specifically, the control unit 21 identifies the position of the center of the two-dimensional image acquired by the sensor 28 when the sensor 28 is located at the i-th point Pi as the i-th sensor position Vi.
  • the control unit 21 sets at least a portion of the movement line 74 in the three-dimensional image 70 generated in S3A.
  • the movement line 74 is a line that extends from the position of the first sensor position V1 in the three-dimensional image 70 in a shape corresponding to the shape of the shaft 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen.
  • the shape of the shaft 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen is identified using multiple X-ray images acquired in S1A up to when i becomes "2". If i is not "2", the shape of the shaft 27 of the catheter 26 from the first point P1 to partway through the section is identified using the X-ray images acquired in S1A up to that point.
  • control unit 21 automatically detects an image of the sensor 28 from the X-ray image acquired in S1A. That is, the control unit 21 automatically detects the position where the sensor 28 is imaged on the X-ray image acquired in S1A.
  • a known image recognition technique can be used as a method for detecting the position where the sensor 28 is imaged.
  • Machine learning such as deep learning may also be used.
  • the control unit 21 receives a notification from the MDU driving the catheter 26 via the communication unit 23 regarding the position of the sensor 28 in the longitudinal direction of the catheter 26 when the sensor 28 is present at the i-th point Pi.
  • the control unit 21 identifies the i-th sensor position Vi identified in S5 within the cross section present at the position notified by the MDU in the three-dimensional image 70 as the position of the i-th sensor position Vi in the three-dimensional image 70.
  • the control unit 21 stores the automatically detected position as the i-th position Li and the position of the i-th sensor position Vi in the 3D image 70 as the i-th set position of the moving line 74 in the storage unit 22 in association with each other.
  • the first set position of the moving line 74 corresponds to the position of one end of the moving line 74.
  • the second set position of the moving line 74 corresponds to the position of the other end of the moving line 74.
  • the control unit 21 adjusts the shape of the three-dimensional image 70 generated in S3A to match the shape of the axis 27 of the catheter 26 in the section from the first point P1 to the second point P2 in the biological lumen, which was identified using the multiple X-ray images acquired in S1A up to when i becomes "2". If i is not "2", the control unit 21 adjusts the shape of the three-dimensional image 70 generated in S3A to match the shape of the axis 27 of the catheter 26 from the first point P1 to the middle of the section, which was identified using the X-ray images acquired in S1A up to that point.
  • control unit 21 adjusts the shape of the three-dimensional image 70 generated in S3A by placing the sensor position identified in S5A up to that point on the portion of the movement line 74 that was set in S6A up to that point. More specifically, the control unit 21 adjusts the relative position and size of the three-dimensional image 70 displayed on the display 50 with respect to the X-ray image 80, as well as the shape of the three-dimensional image 70, so that each set position of the moving line 74 stored in the memory unit 22 matches a position on the X-ray image 80 displayed on the screen 51 that has already been associated with it and stored in the memory unit 22.
  • Steps S5A to S7A may be performed before S4A.
  • the control unit 21 associates a first position L1 corresponding to the first point P1 on an X-ray image taken by the X-ray imaging device 30 when the sensor 28 is at a first point P1 in the living body lumen with one end position of the moving line 74.
  • the control unit 21 associates a second position L2 corresponding to the second point P2 on an X-ray image taken by the X-ray imaging device 30 when the sensor 28 is at a second point P2 in the living body lumen with the other end position of the moving line 74.
  • the control unit 21 automatically detects an image of the sensor 28 from each of the multiple X-ray images taken by the X-ray imaging device 30 while the sensor 28 moves through the section from the first point P1 to the second point P2 in the living body lumen.
  • the control unit 21 sets the shape of the moving line 74 based on the detected images.
  • a curved three-dimensional image 70 can be constructed in real time. Although a corresponding X-ray image is required for each cross-sectional image, it is sufficient that at least the sensor 28 is visible in each X-ray image, and the axis 27 of the catheter 26 does not have to be visible.
  • the present disclosure is not limited to the above-described embodiment.
  • two or more blocks shown in the block diagram may be integrated, or one block may be divided.
  • the steps may be executed in parallel or in a different order depending on the processing capacity of the device executing each step, or as necessary.
  • Other modifications are possible without departing from the spirit of the present disclosure.
  • the control unit 21 may not display the X-ray image 80 on the display 50 in S4.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

生体管腔内に挿入されたカテーテルに設けられたセンサが前記カテーテルの軸に沿って前記生体管腔内の第１点から第２点までの区間を移動することにより得られた複数の２次元画像に基づき、前記生体管腔の立体構造を画像化して３次元画像を生成する画像処理装置が、前記生体管腔を透視するＸ線撮影装置により撮影された、前記カテーテルの少なくとも一部の画像を含む少なくとも１つのＸ線画像を用いて特定された、前記区間における前記カテーテルの軸の形状に合わせて、前記３次元画像の形状を調整する制御部を備える。

Description

画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
　本開示は、画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラムに関する。
　特許文献１には、超音波カテーテルの振動子により取得される２次元超音波画像をもとに生体組織の３次元画像を生成して表示する際に、その３次元画像における患者の腹側の方向を特定するための方法が開示されている。
国際公開第２０２２／０４５１８２号
　ステントグラフト留置手技などのカテーテル手術の際、Ｘ線被ばくの低減又はカテーテル操作の補助のために、術前に撮影しておいた３次元ＣＴ画像あるいは術中に撮影したＤＳＡ画像を、リアルタイムに生成されるＸ線画像にマージして表示することが考えられる。「ＣＴ」は、computed tomographyの略語である。「ＤＳＡ」は、digital subtraction angiographyの略語である。ＤＳＡ画像は、造影剤投与後に血管をＸ線透視したコントラスト画像から、造影剤投与前に血管を透視したマスクとなるＸ線画像を差し引いたものである。３次元ＣＴ画像あるいはＤＳＡ画像をＸ線画像にマージすることで、血管の細かい形状とリアルタイムの状態とを同時に確認できるようになる。しかし、固いガイドワイヤ又はカテーテルが血管に入ると、血管が延ばされ、３次元ＣＴ画像と実際の臓器の形状とに大きなギャップが生じ得る。３次元ＣＴ画像の撮影時のＸ線被ばくも課題になり得る。ＤＳＡ画像においては、多量の造影剤を用いるため、造影剤腎症が発生し得る。
　そこで、術前に撮影した３次元ＣＴ画像を表示する代わりに、術中に、特許文献１に開示されているような、Ｘ線被ばくを伴わない方法で生成した３次元画像を表示することが考えられる。しかし、血管が蛇行している場合など、単に２次元超音波画像を積層するだけでは、血管の形状を３次元画像で再現できない場合がある。
　本開示の目的は、生体管腔の立体構造を画像化して３次元画像を生成する際に、生体管腔の形状を３次元画像で再現しやすくすることである。
　本開示の幾つかの態様を以下に示す。
［１］
　生体管腔内に挿入されたカテーテルに設けられたセンサが前記カテーテルの軸に沿って前記生体管腔内の第１点から第２点までの区間を移動することにより得られた複数の２次元画像に基づき、前記生体管腔の立体構造を画像化して３次元画像を生成する画像処理装置であって、
　前記生体管腔を透視するＸ線撮影装置により撮影された、前記カテーテルの少なくとも一部の画像を含む少なくとも１つのＸ線画像を用いて特定された、前記区間における前記カテーテルの軸の形状に合わせて、前記３次元画像の形状を調整する制御部を備える画像処理装置。
［２］
　前記制御部は、
　前記複数の２次元画像に含まれる各２次元画像について、前記センサの位置をセンサ位置として特定し、
　前記センサが前記第１点に存在するときに前記センサにより得られた２次元画像について特定したセンサ位置の前記３次元画像中での位置から、前記区間における前記カテーテルの軸の形状に対応する形状で延びる移動ラインを前記３次元画像中に設定し、
　特定した各センサ位置を、設定した移動ライン上に配置することで、前記３次元画像の形状を調整する、［１］に記載の画像処理装置。
［３］
　前記制御部は、
　前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を前記移動ラインの一端の位置に対応付け、
　前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を前記移動ラインの他端の位置に対応付け、
　前記少なくとも１つのＸ線画像上で、前記第１位置及び前記第２位置を結ぶ連結ラインを設定し、
　設定した連結ラインの形状を手動で変更する操作に応じて、前記移動ラインの形状を設定する、［２］に記載の画像処理装置。
［４］
　前記制御部は、
　前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を前記移動ラインの一端の位置に対応付け、
　前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を前記移動ラインの他端の位置に対応付け、
　前記少なくとも１つのＸ線画像上で、前記第１位置及び前記第２位置とは異なる少なくとも１つの位置を手動で指定する操作に応じて、前記移動ラインの形状を、前記第１位置、前記第２位置、及び前記少なくとも１つの位置を結ぶ連結ラインに対応する形状に設定する、［２］に記載の画像処理装置。
［５］
　前記制御部は、
　前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を前記移動ラインの一端の位置に対応付け、
　前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を前記移動ラインの他端の位置に対応付け、
　前記少なくとも１つのＸ線画像から前記カテーテルの軸の画像を自動で検出し、
　検出した画像に基づき、前記移動ラインの形状を設定する、［２］に記載の画像処理装置。
［６］
　前記制御部は、
　前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を前記移動ラインの一端の位置に対応付け、
　前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を前記移動ラインの他端の位置に対応付け、
　前記センサが前記区間を移動する間に前記Ｘ線撮影装置により撮影された複数のＸ線画像に含まれる各Ｘ線画像から前記センサの画像を自動で検出し、
　検出した画像に基づき、前記移動ラインの形状を設定する、［２］に記載の画像処理装置。
［７］
　前記制御部は、前記センサが前記第１点に存在するときに前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を手動で指定する操作に応じて、前記第１位置を前記移動ラインの一端の位置に対応付ける、［２］から［６］のいずれかに記載の画像処理装置。
［８］
　前記制御部は、前記センサが前記第２点に存在するときに前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を手動で指定する操作に応じて、前記第２位置を前記移動ラインの他端の位置に対応付ける、［７］に記載の画像処理装置。
［９］
　前記制御部は、
　前記３次元画像の寸法に対する前記少なくとも１つのＸ線画像の寸法の比率を示す比率情報を取得し、
　取得した比率情報に基づき、前記少なくとも１つのＸ線画像上で、前記第１位置から前記移動ラインの距離に対応する距離だけ離れた位置を前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置として前記移動ラインの他端の位置に対応付ける、［７］に記載の画像処理装置。
［１０］
　前記制御部は、前記センサが前記第１点に存在するときに前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を自動で検出して、前記第１位置を前記移動ラインの一端の位置に対応付ける、［２］から［６］のいずれかに記載の画像処理装置。
［１１］
　前記制御部は、前記センサが前記第２点に存在するときに前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を自動で検出して、前記第２位置を前記移動ラインの他端の位置に対応付ける、［１０］に記載の画像処理装置。
［１２］
　前記制御部は、前記３次元画像を前記少なくとも１つのＸ線画像に重ねてディスプレイに表示させる、［２］から［１１］のいずれかに記載の画像処理装置。
［１３］
　前記制御部は、前記移動ラインの設定中、前記移動ラインの変化に応じて、前記３次元画像を更新する、［１２］に記載の画像処理装置。
［１４］
　［１］から［１３］のいずれかに記載の画像処理装置と、
　前記３次元画像及び前記少なくとも１つのＸ線画像を表示するディスプレイと
を備える画像処理システム。
［１５］
　生体管腔内に挿入されたカテーテルに設けられたセンサが前記カテーテルの軸に沿って前記生体管腔内の第１点から第２点までの区間を移動することにより得られた複数の２次元画像に基づき、前記生体管腔の立体構造を画像化して３次元画像を生成する画像処理方法であって、
　制御部が、前記生体管腔を透視するＸ線撮影装置により撮影された、前記カテーテルの少なくとも一部の画像を含む少なくとも１つのＸ線画像を用いて特定された、前記区間における前記カテーテルの軸の形状に合わせて、前記３次元画像の形状を調整することを含む画像処理方法。
［１６］
　生体管腔内に挿入されたカテーテルに設けられたセンサが前記カテーテルの軸に沿って前記生体管腔内の第１点から第２点までの区間を移動することにより得られた複数の２次元画像に基づき、前記生体管腔の立体構造を画像化して３次元画像を生成するコンピュータに、
　前記生体管腔を透視するＸ線撮影装置により撮影された、前記カテーテルの少なくとも一部の画像を含む少なくとも１つのＸ線画像を用いて特定された、前記区間における前記カテーテルの軸の形状に合わせて、前記３次元画像の形状を調整することを含む動作を実行させる画像処理プログラム。
　本開示によれば、生体管腔の立体構造を画像化して３次元画像を生成する際に、生体管腔の形状を３次元画像で再現しやすくなる。
本開示の実施形態に係る画像処理システムの構成を示すブロック図である。 本開示の実施形態に係る画像処理装置の動作を示すフローチャートである。 本開示の実施形態に係るディスプレイに表示される画面の例を示す図である。 本開示の実施形態に係るディスプレイに表示される画面の、Ｓ４のステップによる更新の例を示す図である。 本開示の実施形態に係る画像処理装置により生成される３次元画像の例を示す図である。 本開示の実施形態に係る画像処理装置により生成される３次元画像の、Ｓ７のステップによる形状調整の例を示す図である。 本開示の実施形態に係るディスプレイに表示される画面の、Ｓ７のステップによる更新の例を示す図である。 Ｓ６のステップの詳細な手順の第１例を示すフローチャートである。 本開示の実施形態に係るディスプレイに表示される画面の、Ｓ６０３のステップによる更新の例を示す図である。 本開示の実施形態に係るディスプレイに表示される画面の、Ｓ６０４のステップによる更新の例を示す図である。 Ｓ６のステップの詳細な手順の第２例を示すフローチャートである。 Ｓ６のステップの詳細な手順の第３例を示すフローチャートである。 本開示の実施形態に係るディスプレイに表示される画面の、Ｓ６２３のステップによる更新の例を示す図である。 Ｓ６のステップの詳細な手順の第４例を示すフローチャートである。 Ｓ６のステップの詳細な手順の第５例を示すフローチャートである。 本開示の実施形態に係る画像処理装置の動作の変形例を示すフローチャートである。
　以下、本開示の一実施形態について、図を参照して説明する。
　各図中、同一又は相当する部分には、同一符号を付している。本実施形態の説明において、同一又は相当する部分については、説明を適宜省略又は簡略化する。
　図１を参照して、本実施形態に係る画像処理システム１０の構成を説明する。
　画像処理システム１０は、画像処理装置２０と、センサ２８と、Ｘ線撮影装置３０と、入力機器４０と、ディスプレイ５０とを備える。画像処理装置２０は、ケーブル若しくはネットワークを介して、又は無線でセンサ２８、Ｘ線撮影装置３０、入力機器４０、及びディスプレイ５０と接続される。
　画像処理装置２０は、例えば、ＰＣなどの汎用コンピュータ、クラウドサーバなどのサーバコンピュータ、又は専用コンピュータである。「ＰＣ」は、personal computerの略語である。画像処理装置２０は、病院などの医療施設に設置されてもよいし、又はデータセンタなど、医療施設とは別の施設に設置されてもよい。
　センサ２８は、例えば、ＩＶＵＳで用いられる超音波振動子である。「ＩＶＵＳ」は、intravascular ultrasoundの略語である。センサ２８は、図３に示したような、血管などの生体管腔内に挿入されたカテーテル２６の軸２７に沿って移動しながら超音波を送信し、送信した超音波の反射波を受信する。
　Ｘ線撮影装置３０は、例えば、Ｃアームである。Ｘ線撮影装置３０は、医療施設に設置され、生体管腔を透視する。
　入力機器４０は、例えば、マウスなどのポインティングデバイス、キーボード、又はディスプレイ５０と一体的に設けられたタッチスクリーンである。入力機器４０は、医療施設に設置され、医師又は臨床工学技士などの操作者によって、ディスプレイ５０への、画像を含む各種情報の表示を制御する操作のために使用される。
　ディスプレイ５０は、例えば、ＬＣＤ又は有機ＥＬディスプレイである。「ＬＣＤ」は、liquid crystal displayの略語である。「ＥＬ」は、electro luminescentの略語である。ディスプレイ５０は、医療施設に設置され、操作者に向けて、ステントグラフト留置手技などのカテーテル手術を支援するための、画像を含む各種情報を表示する。
　図１を参照して、本実施形態に係る画像処理装置２０の構成を説明する。
　画像処理装置２０は、制御部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５とを備える。
　制御部２１は、少なくとも１つのプロセッサ、少なくとも１つのプログラマブル回路、少なくとも１つの専用回路、又はこれらの任意の組合せを含む。プロセッサは、ＣＰＵ若しくはＧＰＵなどの汎用プロセッサ、又は特定の処理に特化した専用プロセッサである。「ＣＰＵ」は、central processing unitの略語である。「ＧＰＵ」は、graphics processing unitの略語である。プログラマブル回路は、例えば、ＦＰＧＡである。「ＦＰＧＡ」は、field-programmable gate arrayの略語である。専用回路は、例えば、ＡＳＩＣである。「ＡＳＩＣ」は、application specific integrated circuitの略語である。制御部２１は、画像処理装置２０の各部を制御しながら、画像処理装置２０の動作に関わる処理を実行する。
　記憶部２２は、少なくとも１つの半導体メモリ、少なくとも１つの磁気メモリ、少なくとも１つの光メモリ、又はこれらの任意の組合せを含む。半導体メモリは、例えば、ＲＡＭ、ＲＯＭ、又はフラッシュメモリである。「ＲＡＭ」は、random access memoryの略語である。「ＲＯＭ」は、read only memoryの略語である。ＲＡＭは、例えば、ＳＲＡＭ又はＤＲＡＭである。「ＳＲＡＭ」は、static random access memoryの略語である。「ＤＲＡＭ」は、dynamic random access memoryの略語である。ＲＯＭは、例えば、ＥＥＰＲＯＭである。「ＥＥＰＲＯＭ」は、electrically erasable programmable read only memoryの略語である。フラッシュメモリは、例えば、ＳＳＤである。「ＳＳＤ」は、solid-state driveの略語である。磁気メモリは、例えば、ＨＤＤである。「ＨＤＤ」は、hard disk driveの略語である。記憶部２２は、例えば、主記憶装置、補助記憶装置、又はキャッシュメモリとして機能する。記憶部２２には、画像処理装置２０の動作に用いられるデータと、画像処理装置２０の動作によって得られたデータとが記憶される。
　通信部２３は、少なくとも１つの通信モジュールを含む。通信モジュールは、例えば、Ethernet（登録商標）などの有線ＬＡＮ通信規格、又はＩＥＥＥ８０２．１１などの無線ＬＡＮ通信規格に対応したモジュールである。「ＩＥＥＥ」は、Institute of Electrical and Electronics Engineersの略称である。通信部２３は、画像処理装置２０の動作に用いられるデータを受信し、また画像処理装置２０の動作によって得られるデータを送信する。通信部２３は、センサ２８及びＸ線撮影装置３０に接続される。なお、通信部２３は、センサ２８及びＸ線撮影装置３０から画像信号を受信できるものであれば、上記のような通信モジュールでなくてもよい。
　入力部２４は、少なくとも１つの入力用インタフェースを含む。入力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。「ＵＳＢ」は、Universal Serial Busの略語である。「ＨＤＭＩ（登録商標）」は、High-Definition Multimedia Interfaceの略語である。入力部２４は、画像処理装置２０の動作に用いられるデータを入力する操作を受け付ける。入力部２４は、入力機器４０に接続される。
　出力部２５は、少なくとも１つの出力用インタフェースを含む。出力用インタフェースは、例えば、ＵＳＢインタフェース、ＨＤＭＩ（登録商標）インタフェース、又はBluetooth（登録商標）などの近距離無線通信規格に対応したインタフェースである。出力部２５は、画像処理装置２０の動作によって得られるデータを出力する。出力部２５は、ディスプレイ５０に接続される。
　画像処理装置２０の機能は、本実施形態に係る画像処理プログラムを、制御部２１としてのプロセッサで実行することにより実現される。すなわち、画像処理装置２０の機能は、ソフトウェアにより実現される。画像処理プログラムは、画像処理装置２０の動作をコンピュータに実行させることで、コンピュータを画像処理装置２０として機能させる。すなわち、コンピュータは、画像処理プログラムに従って画像処理装置２０の動作を実行することにより画像処理装置２０として機能する。
　プログラムは、非一時的なコンピュータ読取り可能な媒体に記憶しておくことができる。非一時的なコンピュータ読取り可能な媒体は、例えば、フラッシュメモリ、磁気記録装置、光ディスク、光磁気記録媒体、又はＲＯＭである。プログラムの流通は、例えば、プログラムを記憶したＳＤカード、ＤＶＤ、又はＣＤ－ＲＯＭなどの可搬型媒体を販売、譲渡、又は貸与することによって行う。「ＳＤ」は、Secure Digitalの略語である。「ＤＶＤ」は、digital versatile discの略語である。「ＣＤ－ＲＯＭ」は、compact disc read only memoryの略語である。プログラムをサーバのストレージに格納しておき、サーバから他のコンピュータにプログラムを転送することにより、プログラムを流通させてもよい。プログラムをプログラムプロダクトとして提供してもよい。
　コンピュータは、例えば、可搬型媒体に記憶されたプログラム又はサーバから転送されたプログラムを、一旦、主記憶装置に格納する。そして、コンピュータは、主記憶装置に格納されたプログラムをプロセッサで読み取り、読み取ったプログラムに従った処理をプロセッサで実行する。コンピュータは、可搬型媒体から直接プログラムを読み取り、プログラムに従った処理を実行してもよい。コンピュータは、コンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行してもよい。サーバからコンピュータへのプログラムの転送は行わず、実行指示及び結果取得のみによって機能を実現する、いわゆるＡＳＰ型のサービスによって処理を実行してもよい。「ＡＳＰ」は、application service providerの略語である。プログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるものが含まれる。例えば、コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータは、「プログラムに準ずるもの」に該当する。
　画像処理装置２０の一部又は全ての機能が、制御部２１としてのプログラマブル回路又は専用回路により実現されてもよい。すなわち、画像処理装置２０の一部又は全ての機能が、ハードウェアにより実現されてもよい。
　図２を参照して、本実施形態に係る画像処理装置２０の動作を説明する。以下に説明する動作は、本実施形態に係る画像処理方法に相当する。すなわち、本実施形態に係る画像処理方法は、図２に示したＳ１からＳ７のステップを含む。
　Ｓ１において、制御部２１は、Ｘ線撮影装置３０により撮影された１つ以上のＸ線画像を取得する。具体的には、制御部２１は、通信部２３を介して、１つ以上のＸ線画像をＸ線撮影装置３０から受信する。
　Ｓ２において、制御部２１は、センサ２８が生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間を移動する間にセンサ２８により得られた複数の２次元画像を取得する。具体的には、制御部２１は、通信部２３を介して、センサ２８が生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間を移動する間にセンサ２８により受信された反射波に関する反射波情報をセンサ２８から受信する。制御部２１は、受信した反射波情報をもとに生体管腔の断面構造を画像化することで、複数の断面画像を複数の２次元画像として生成する。あるいは、制御部２１は、通信部２３を介して、別個に設けられたＩＶＵＳ装置により反射波情報をもとに生成された複数の断面画像を複数の２次元画像としてＩＶＵＳ装置から受信してもよい。
　Ｓ１のステップは、Ｓ２の前に実行されてもよいし、Ｓ２の間に実行されてもよいし、又はＳ２の後に実行されてもよい。遅くともＳ１及びＳ２の両方のステップが完了するまでに、制御部２１は、出力部２５を介して、図３に示したような画面５１をディスプレイ５０に表示させる。
　画面５１は、第１領域５２と、第１領域５２に隣接する第２領域５３とを含む。図３に示した例では、第１領域５２の右側に第２領域５３が配置されているが、第１領域５２の左側に第２領域５３が配置されていてもよい。
　第１領域５２には、Ｓ２で取得された複数の２次元画像のうち、最新の２次元画像６０と、人体モデル画像６１とが表示される。人体モデル画像６１は、２次元画像６０と向きが揃うように表示される。図３に示した例では、カテーテル２６が手術対象者の脚の付け根から挿入されており、２次元画像６０の上側が手術対象者の腹がある側、２次元画像６０の下側が手術対象者の背中がある側に対応しているものとする。そのため、人体モデル画像６１は、底面が見えるように、かつ腹が上向き、背中が下向きになるように表示されている。図３に示した例では、２次元画像６０の左上に人体モデル画像６１が配置されているが、２次元画像６０の近傍であれば、どのような位置に人体モデル画像６１が配置されていてもよい。人体モデル画像６１の配置は固定であってもよいし、又は任意に変更可能であってもよい。
　第１領域５２には、スライダー５４が更に表示される。スライダー５４は、センサ２８の、カテーテル２６の長軸方向の位置を示す。スライダー５４は、第１領域５２の、第２領域５３に近いほうの端に配置される。そのため、図３に示した例では、スライダー５４は、第１領域５２の右端に配置されている。
　第２領域５３には、Ｓ１で取得されたＸ線画像８０が表示される。Ｘ線画像８０は、カテーテル２６の軸２７が少なくとも生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間にわたって存在するときにＸ線撮影装置３０により撮影されたものである。Ｘ線画像８０は、カテーテル２６の少なくとも一部の画像、具体的には、カテーテル２６の軸２７の画像と、センサ２８の画像とを含む。図３に示した例では、Ｘ線画像８０は、ガイドワイヤ２９の画像を更に含む。
　Ｓ３において、制御部２１は、Ｓ２で取得した複数の２次元画像に基づき、生体管腔の立体構造を画像化して、図５に示したような３次元画像７０を生成する。具体的には、制御部２１は、Ｓ２で生成又は受信した複数の断面画像を積層して３次元画像７０を生成する。
　Ｓ４において、制御部２１は、Ｓ３で生成した３次元画像７０を、Ｓ１で取得したＸ線画像８０に重ねてディスプレイ５０に表示させる。例えば、制御部２１は、図４に示したように、出力部２５を介して、ディスプレイ５０に表示されている画面５１を更新する。
　第２領域５３には、Ｓ１で取得されたＸ線画像８０に重ねて、Ｓ３で生成された３次元画像７０と、人体モデル画像７１とが表示される。図４に示した例では、３次元画像７０の角度が手術対象者を正面から見た角度、３次元画像７０の上側が手術対象者の頭がある側、３次元画像７０の下側が手術対象者の足がある側に対応しているものとする。そのため、人体モデル画像７１は、正面が見えるように、かつ頭が上向き、足が下向きになるように表示されている。図４に示した例では、３次元画像７０の左上に人体モデル画像７１が配置されているが、３次元画像７０の近傍であれば、どのような位置に人体モデル画像７１が配置されていてもよい。人体モデル画像７１の配置は固定であってもよいし、又は任意に変更可能であってもよい。３次元画像７０は、生体管腔の内部構造を観察できるように、カテーテル２６の長軸方向に沿って一部を切り取り、切り取った部分を非表示にすることができてもよい。
　第２領域５３には、断面画像７２が更に表示される。断面画像７２は、第１領域５２に表示されている２次元画像６０と同じ画像を縮小したものである。断面画像７２の縁には、視点の位置を示すカメラアイコン７３が配置される。そのため、第２領域５３に表示されている３次元画像７０が、断面画像７２において、どの方向から見た状態になっているのかわかりやすい。
　３次元画像７０がディスプレイ５０に表示される画像表示向きは、Ｘ線画像８０がＸ線撮影装置３０により撮影された撮影角度に対応する視点から見える向きに手動又は自動で調整される。Ｘ線画像８０に対して、３次元画像７０がディスプレイ５０に表示される相対的な位置及び大きさは、図４に示した例では既に調整されているが、実際にはまだ調整されていなくてもよい。図４では、Ｘ線画像８０上の、第１点Ｐ１に対応する第１位置Ｌ１と、第２点Ｐ２に対応する第２位置Ｌ２とを示しているが、第１位置Ｌ１及び第２位置Ｌ２は、Ｓ６までに手動で指定又は自動で検出されればよい。
　Ｓ５において、制御部２１は、Ｓ２で取得した複数の２次元画像に含まれる各２次元画像について、センサ２８の位置をセンサ位置として特定する。具体的には、制御部２１は、センサ２８が第１点Ｐ１に存在するときにセンサ２８により得られた２次元画像６０の中心の位置を第１センサ位置Ｖ１として特定する。制御部２１は、センサ２８が第２点Ｐ２に存在するときにセンサ２８により得られた２次元画像６０の中心の位置を第２センサ位置Ｖ２として特定する。制御部２１は、センサ２８が第１点Ｐ１及び第２点Ｐ２とは異なる第３点Ｐ３及び第４点Ｐ４に存在するときにセンサ２８により得られた２次元画像６０の中心の位置をそれぞれ第３センサ位置Ｖ３及び第４センサ位置Ｖ４として特定する。制御部２１は、センサ２８が第１点Ｐ１、第２点Ｐ２、第３点Ｐ３、及び第４点Ｐ４とは異なる点に存在するときにセンサ２８により得られた２次元画像６０の中心の位置をセンサ位置として更に特定してもよい。あるいは、制御部２１は、第４センサ位置Ｖ４を特定しなくてもよい。
　Ｓ６において、制御部２１は、図６に示したような移動ライン７４を、Ｓ３で生成した３次元画像７０中に設定する。移動ライン７４は、Ｓ５で特定された第１センサ位置Ｖ１の３次元画像７０中での位置から、生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間におけるカテーテル２６の軸２７の形状に対応する形状で延びる線である。生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間におけるカテーテル２６の軸２７の形状は、Ｓ１で取得された少なくとも１つのＸ線画像を用いて特定される。具体的には、Ｓ１で取得されたＸ線画像８０上の、第１位置Ｌ１から第２位置Ｌ２までのカテーテル２６の軸２７の形状が、生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間におけるカテーテル２６の軸２７の形状として特定される。
　Ｓ７において、制御部２１は、少なくとも１つのＸ線画像を用いて特定された、生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間におけるカテーテル２６の軸２７の形状に合わせて、Ｓ３で生成した３次元画像７０の形状を調整する。具体的には、制御部２１は、図６に示したように、Ｓ５で特定した各センサ位置を、Ｓ６で設定した移動ライン７４上に配置することで、Ｓ３で生成した３次元画像７０の形状を調整する。例えば、制御部２１は、図７に示したように、出力部２５を介して、ディスプレイ５０に表示されている画面５１を更新する。
　Ｓ７のステップは、Ｓ６の後に実行されてもよいが、Ｓ６と同時に実行されることが望ましい。すなわち、制御部２１は、移動ライン７４の設定中、移動ライン７４の変化に応じて、３次元画像７０を更新することが望ましい。
　Ｓ７で３次元画像７０の形状を調整する際の計算量を減らすために、制御部２１は、Ｓ３で３次元画像７０を生成する際に、３次元画像７０のボクセルデータを三角形又は四角形のメッシュデータに変換することが望ましい。ボクセルデータをメッシュデータに変換する手法としては、マーチングキューブ法、Surface Nets、又はドロネー三角形分割などの任意の手法を用いることができる。３次元画像７０の形状を調整する際にメッシュデータを変形させる手法としては、ＲＭＦ又はFrenet-Serret式などの任意の手法を用いることができる。「ＲＭＦ」は、rotation minimizing framesの略語である。
　本実施形態の一変形例として、制御部２１は、Ｓ４で３次元画像７０とＸ線画像８０とを別々にディスプレイ５０に表示させてもよい。別の変形例として、制御部２１は、Ｓ１で、Ｘ線画像８０とは異なる角度でＸ線撮影装置３０により撮影された別のＸ線画像を更に取得し、Ｓ４からＳ７で、その別のＸ線画像を用いて３次元画像７０の奥行方向の形状を更に調整してもよい。
　上述したように、本実施形態では、制御部２１は、生体管腔内に挿入されたカテーテル２６に設けられたセンサ２８がカテーテル２６の軸２７に沿って生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間を移動することにより得られた複数の２次元画像６０に基づき、生体管腔の立体構造を画像化して３次元画像７０を生成する。制御部２１は、生体管腔を透視するＸ線撮影装置３０により撮影された、センサ２８の画像を含む少なくとも１つのＸ線画像を用いて特定された、生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間におけるカテーテル２６の軸２７の形状に合わせて、３次元画像７０の形状を調整する。
　したがって、本実施形態によれば、生体管腔の立体構造を画像化して３次元画像７０を生成する際に、生体管腔の形状を３次元画像７０で再現しやすくなる。例えば、血管が蛇行していても、血管の形状を３次元画像７０で再現しやすくなる。
　図８を参照して、Ｓ６のステップの詳細な手順の第１例を説明する。
　Ｓ６０１において、制御部２１は、センサ２８が第１点Ｐ１に存在するときに第１位置Ｌ１を手動で指定する操作に応じて、第１位置Ｌ１を移動ライン７４の一端の位置に対応付ける。具体的には、制御部２１は、入力部２４を介して、センサ２８が第１点Ｐ１に存在するときにＸ線撮影装置３０により撮影されたＸ線画像上でセンサ２８が写っている位置を入力機器４０によりクリック又はタッチする操作を受け付ける。制御部２１は、通信部２３を介して、センサ２８が第１点Ｐ１に存在するときのセンサ２８の、カテーテル２６の長軸方向の位置について、カテーテル２６を駆動するＭＤＵから通知を受ける。「ＭＤＵ」は、motor drive unitの略語である。制御部２１は、３次元画像７０中で、ＭＤＵから通知された位置に存在する断面内の、Ｓ５で特定した第１センサ位置Ｖ１を、第１センサ位置Ｖ１の３次元画像７０中での位置として特定する。制御部２１は、クリック又はタッチされた位置を第１位置Ｌ１、第１センサ位置Ｖ１の３次元画像７０中での位置を移動ライン７４の一端の位置として、互いに対応付けて記憶部２２に記憶させる。
　Ｓ６０２において、制御部２１は、センサ２８が第２点Ｐ２に存在するときに第２位置Ｌ２を手動で指定する操作に応じて、第２位置Ｌ２を移動ライン７４の他端の位置に対応付ける。具体的には、制御部２１は、入力部２４を介して、センサ２８が第２点Ｐ２に存在するときにＸ線撮影装置３０により撮影されたＸ線画像上でセンサ２８が写っている位置を入力機器４０によりクリック又はタッチする操作を受け付ける。制御部２１は、通信部２３を介して、センサ２８が第２点Ｐ２に存在するときのセンサ２８の、カテーテル２６の長軸方向の位置について、カテーテル２６を駆動するＭＤＵから通知を受ける。制御部２１は、３次元画像７０中で、ＭＤＵから通知された位置に存在する断面内の、Ｓ５で特定した第２センサ位置Ｖ２を、第２センサ位置Ｖ２の３次元画像７０中での位置として特定する。制御部２１は、クリック又はタッチされた位置を第２位置Ｌ２、第２センサ位置Ｖ２の３次元画像７０中での位置を移動ライン７４の他端の位置として、互いに対応付けて記憶部２２に記憶させる。
　Ｓ６０３において、制御部２１は、Ｘ線画像８０上で、図９に示したような連結ライン８２を設定する。連結ライン８２は、第１位置Ｌ１及び第２位置Ｌ２を結ぶ線である。例えば、制御部２１は、図９に示したように、画面５１に表示されているＸ線画像８０上で、丸などのマークを第１位置Ｌ１及び第２位置Ｌ２のそれぞれに配置するとともに、配置したマーク同士を結ぶ直線を連結ライン８２として描画する。Ｘ線画像８０は、図９に示した例では、センサ２８が第１点Ｐ１に存在するときに撮影されたものであるが、カテーテル２６の軸２７が少なくとも生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間にわたって存在するときに撮影されたものであれば、任意の時点に撮影されたものでよい。
　制御部２１は、移動ライン７４の位置及び長さが連結ライン８２の位置及び長さと一致するように、Ｘ線画像８０に対して、３次元画像７０がディスプレイ５０に表示される相対的な位置及び大きさを調整する。具体的には、制御部２１は、記憶部２２に記憶された移動ライン７４の両端の位置がそれらと対応付けて記憶部２２に記憶された第１位置Ｌ１及び第２位置Ｌ２と一致するように、Ｘ線画像８０に対して、３次元画像７０がディスプレイ５０に表示される相対的な位置及び大きさを調整する。
　Ｓ６０４において、制御部２１は、Ｓ６０３で設定した連結ライン８２の形状を手動で変更する操作に応じて、移動ライン７４の形状を設定する。具体的には、制御部２１は、入力部２４を介して、画面５１に表示されているＸ線画像８０上で、連結ライン８２の、、第１位置Ｌ１及び第２位置Ｌ２以外の任意の位置を入力機器４０によりドラッグして連結ライン８２を曲げる操作を受け付ける。制御部２１は、連結ライン８２が曲げられる度に、移動ライン７４の形状を、連結ライン８２の曲げられた形状と一致するように調整する。
　Ｓ６０４の後、Ｓ７のステップが実行されると、例えば、制御部２１は、図１０に示したように、出力部２５を介して、ディスプレイ５０に表示されている画面５１を更新する。
　図１１を参照して、Ｓ６のステップの詳細な手順の第２例を説明する。
　Ｓ６１１のステップについては、図８に示したＳ６０１のステップと同様であるため、説明を省略する。
　Ｓ６１２において、制御部２１は、３次元画像７０の寸法に対するＸ線画像８０の寸法の比率を示す比率情報を取得する。具体的には、Ｘ線画像８０の実スケールが既知であるとき、制御部２１は、センサ２８の移動距離に対するＸ線画像８０上の距離の比率を比率情報として算出する。
　Ｓ６１３において、制御部２１は、Ｓ６１２で取得した比率情報に基づき、Ｘ線画像８０上で、第１位置Ｌ１から移動ライン７４の距離に対応する距離だけ離れた位置を第２位置Ｌ２として移動ライン７４の他端の位置に対応付ける。具体的には、制御部２１は、通信部２３を介して、センサ２８が第２点Ｐ２に存在するときのセンサ２８の、カテーテル２６の長軸方向の位置について、カテーテル２６を駆動するＭＤＵから通知を受ける。制御部２１は、３次元画像７０中で、ＭＤＵから通知された位置に存在する断面内の、Ｓ５で特定した第２センサ位置Ｖ２を、第２センサ位置Ｖ２の３次元画像７０中での位置として特定する。制御部２１は、ＭＤＵから通知された情報をもとにセンサ２８が第１点Ｐ１から第２点Ｐ２までの区間を移動したときの移動距離を算出する。制御部２１は、Ｓ６１２で算出した比率に応じて、算出した移動距離をＸ線画像８０上の距離に換算する。制御部２１は、Ｓ６１１で指定された第１位置Ｌ１から、換算した距離だけ離れた位置を第２位置Ｌ２、第２センサ位置Ｖ２の３次元画像７０中での位置を移動ライン７４の他端の位置として、互いに対応付けて記憶部２２に記憶させる。第２位置Ｌ２が第１位置Ｌ１に対してどの方向に存在するかは、手動で指定されてもよいし、又はＸ線画像８０上のカテーテル２６の軸２７の位置に合わせて自動で特定されてもよい。
　Ｓ６１４及びＳ６１５のステップについては、それぞれ図８に示したＳ６０３及びＳ６０４のステップと同様であるため、説明を省略する。
　図１２を参照して、Ｓ６のステップの詳細な手順の第３例を説明する。
　Ｓ６２１及びＳ６２２のステップについては、それぞれ図８に示したＳ６０１及びＳ６０２のステップと同様であるため、説明を省略する。Ｓ６２２のステップは、図１１に示したＳ６１２及びＳ６１３のステップに置き換えられてもよい。そのような変形例では、第２位置Ｌ２を手動で指定する操作が不要になる。
　Ｓ６２３において、制御部２１は、Ｘ線画像８０上で、第１位置Ｌ１及び第２位置Ｌ２とは異なる少なくとも１つの位置を手動で指定する操作に応じて、移動ライン７４の形状を、第１位置Ｌ１、第２位置Ｌ２、及び当該少なくとも１つの位置を結ぶ連結ライン８２に対応する形状に設定する。具体的には、制御部２１は、入力部２４を介して、画面５１に表示されているＸ線画像８０上で、カテーテル２６の軸２７の、第１位置Ｌ１及び第２位置Ｌ２以外の任意の位置を第３位置Ｌ３として入力機器４０によりクリック又はタッチする操作を受け付ける。制御部２１は、入力部２４を介して、画面５１に表示されているＸ線画像８０上で、カテーテル２６の軸２７の、第１位置Ｌ１、第２位置Ｌ２、及び第３位置Ｌ３以外の任意の位置を第４位置Ｌ４として入力機器４０によりクリック又はタッチする操作を更に受け付ける。例えば、制御部２１は、図１３に示したように、画面５１に表示されているＸ線画像８０上で、丸などのマークを第１位置Ｌ１、第２位置Ｌ２、第３位置Ｌ３、及び第４位置Ｌ４のそれぞれに配置するとともに、配置したマーク全てを結ぶ直線を連結ライン８２として描画する。制御部２１は、入力部２４を介して、画面５１に表示されているＸ線画像８０上で、カテーテル２６の軸２７の、第１位置Ｌ１、第２位置Ｌ２、第３位置Ｌ３、及び第４位置Ｌ４以外の任意の位置を入力機器４０によりクリック又はタッチする操作を更に受け付けてもよい。あるいは、制御部２１は、第４位置Ｌ４をクリック又はタッチする操作を受け付けなくてもよい。
　制御部２１は、移動ライン７４の位置及び長さが連結ライン８２の位置及び長さと一致するように、Ｘ線画像８０に対して、３次元画像７０がディスプレイ５０に表示される相対的な位置及び大きさを調整する。具体的には、制御部２１は、記憶部２２に記憶された移動ライン７４の両端の位置がそれらと対応付けて記憶部２２に記憶された第１位置Ｌ１及び第２位置Ｌ２と一致するように、Ｘ線画像８０に対して、３次元画像７０がディスプレイ５０に表示される相対的な位置及び大きさを調整する。
　制御部２１は、第１位置Ｌ１及び第２位置Ｌ２以外の位置が指定される度に、連結ライン８２の形状を自動で変更し、その変更に合わせて、移動ライン７４の形状を変更する。具体的には、制御部２１は、第１位置Ｌ１及び第２位置Ｌ２以外の位置がクリック又はタッチされる度に、画面５１に表示されているＸ線画像８０上で、丸などのマークをクリック又はタッチされた位置に新たに配置するとともに、新たに配置したマークを通るように連結ライン８２を更新する。そして、制御部２１は、移動ライン７４の形状を、連結ライン８２の更新後の形状と一致するように調整する。
　Ｓ６２３の後、Ｓ７のステップが実行されると、例えば、制御部２１は、図１３に示したように、出力部２５を介して、ディスプレイ５０に表示されている画面５１を更新する。
　図１４を参照して、Ｓ６のステップの詳細な手順の第４例を説明する。
　Ｓ６３１及びＳ６３２のステップについては、それぞれ図８に示したＳ６０１及びＳ６０２のステップと同様であるため、説明を省略する。Ｓ６３２のステップは、図１１に示したＳ６１２及びＳ６１３のステップに置き換えられてもよい。そのような変形例では、第２位置Ｌ２を手動で指定する操作が不要になる。
　Ｓ６３３において、制御部２１は、Ｘ線画像８０からカテーテル２６の軸２７の画像を自動で検出する。カテーテル２６の軸２７の画像を検出する手法としては、既知の画像認識技術を用いることができる。深層学習などの機械学習が用いられてもよい。
　Ｓ６３４において、制御部２１は、Ｓ６３３で検出した画像に基づき、移動ライン７４の形状を設定する。具体的には、制御部２１は、記憶部２２に記憶された移動ライン７４の両端の位置がそれらと対応付けて記憶部２２に記憶された第１位置Ｌ１及び第２位置Ｌ２と一致するように、Ｘ線画像８０に対して、３次元画像７０がディスプレイ５０に表示される相対的な位置及び大きさを調整する。そして、制御部２１は、移動ライン７４の形状を、Ｓ６３３で検出した画像の形状と一致するように調整する。
　図１５を参照して、Ｓ６のステップの詳細な手順の第５例を説明する。
　この例は、第４例において、Ｓ６３２のステップを、図１１に示したＳ６１２及びＳ６１３のステップに置き換えたものである。Ｓ６４１のステップについては、図８に示したＳ６０１のステップと同様であるため、説明を省略する。Ｓ６４２及びＳ６４３のステップについては、それぞれ図１１に示したＳ６１２及びＳ６１３のステップと同様であるため、説明を省略する。Ｓ６４４及びＳ６４５のステップについては、それぞれ図１４に示したＳ６３３及びＳ６３４のステップと同様であるため、説明を省略する。
　第１例から第５例において、制御部２１は、センサ２８が第１点Ｐ１に存在するときに第１位置Ｌ１を手動で指定する操作を受け付ける代わりに、センサ２８が第１点Ｐ１に存在するときに第１位置Ｌ１を自動で検出して、第１位置Ｌ１を移動ライン７４の一端の位置に対応付けてもよい。そのような変形例において、制御部２１は、センサ２８が第１点Ｐ１に存在するときにＸ線撮影装置３０により撮影されたＸ線画像上でセンサ２８が写っている位置を自動で検出する。センサ２８が写っている位置を検出する手法としては、既知の画像認識技術を用いることができる。深層学習などの機械学習が用いられてもよい。制御部２１は、通信部２３を介して、センサ２８が第１点Ｐ１に存在するときのセンサ２８の、カテーテル２６の長軸方向の位置について、カテーテル２６を駆動するＭＤＵから通知を受ける。制御部２１は、３次元画像７０中で、ＭＤＵから通知された位置に存在する断面内の、Ｓ５で特定した第１センサ位置Ｖ１を、第１センサ位置Ｖ１の３次元画像７０中での位置として特定する。制御部２１は、自動で検出した位置を第１位置Ｌ１、第１センサ位置Ｖ１の３次元画像７０中での位置を移動ライン７４の一端の位置として、互いに対応付けて記憶部２２に記憶させる。
　第１例、第３例、及び第５例において、制御部２１は、センサ２８が第２点Ｐ２に存在するときに第２位置Ｌ２を手動で指定する操作を受け付ける代わりに、センサ２８が第２点Ｐ２に存在するときに第２位置Ｌ２を自動で検出して、第２位置Ｌ２を移動ライン７４の他端の位置に対応付けてもよい。そのような変形例において、制御部２１は、センサ２８が第２点Ｐ２に存在するときにＸ線撮影装置３０により撮影されたＸ線画像上でセンサ２８が写っている位置を自動で検出する。センサ２８が写っている位置を検出する手法としては、既知の画像認識技術を用いることができる。深層学習などの機械学習が用いられてもよい。制御部２１は、通信部２３を介して、センサ２８が第２点Ｐ２に存在するときのセンサ２８の、カテーテル２６の長軸方向の位置について、カテーテル２６を駆動するＭＤＵから通知を受ける。制御部２１は、３次元画像７０中で、ＭＤＵから通知された位置に存在する断面内の、Ｓ５で特定した第２センサ位置Ｖ２を、第２センサ位置Ｖ２の３次元画像７０中での位置として特定する。制御部２１は、自動で検出した位置を第２位置Ｌ２、第２センサ位置Ｖ２の３次元画像７０中での位置を移動ライン７４の他端の位置として、互いに対応付けて記憶部２２に記憶させる。
　図１６を参照して、図２に示した動作の変形例を説明する。図１６に示したＳ１ＡからＳ７Ａのステップのそれぞれに関して、図２に示したＳ１からＳ７のステップと同様の処理については、説明を適宜省略又は簡略化する。
　この変形例では、センサ２８を手元側に引く操作であるプルバックの最中にＸ線画像が撮られ続け、２次元画像が生成される度に、すなわち、１フレームごとに、対応するＸ線画像上の、センサ２８が写っている位置が捉えられ続ける。その結果、リアルタイムで曲がった３次元画像７０を構築することができる。
　以下では、Ｓ１ＡからＳ７Ａのステップが最初に実行されるときのｉが「１」、Ｓ１ＡからＳ７Ａのステップが最後に実行されるときのｉが「２」、Ｓ１ＡからＳ７Ａのステップが最後を除く２回目以降に実行されるときのｉが「３」以上、かつ毎回１ずつインクリメントされるものとする。例えば、Ｓ１ＡからＳ７Ａのステップが合計４回実行されるとすると、ｉは順番に「１」、「３」、「４」、「２」という値になる。ｉが「１」のときは、Ｓ３Ａ、Ｓ４Ａ、Ｓ６Ａ、及びＳ７Ａのステップがスキップされてもよい。Ｓ７Ａの後、終了ボタンが押下されるか、又はプルバックが終了するなど、何らかの終了操作が行われるまでは、Ｓ１Ａ以降のステップが繰り返し実行される。
　Ｓ１Ａにおいて、制御部２１は、センサ２８が生体管腔内の第ｉ点Ｐｉに存在するときにＸ線撮影装置３０により撮影されたＸ線画像を取得する。具体的には、制御部２１は、通信部２３を介して、センサ２８が第ｉ点Ｐｉに存在するときに撮影されたＸ線画像をＸ線撮影装置３０から受信する。このＸ線画像は、少なくともセンサ２８の画像を含んでいればよく、カテーテル２６の軸２７の画像を含んでいなくてもよい。
　Ｓ２Ａにおいて、制御部２１は、センサ２８が第ｉ点Ｐｉに存在するときにセンサ２８により得られた２次元画像を取得する。具体的には、制御部２１は、通信部２３を介して、センサ２８が第１点Ｐ１に存在するときにセンサ２８により受信された反射波に関する反射波情報をセンサ２８から受信する。制御部２１は、受信した反射波情報をもとに生体管腔の断面構造を画像化することで、第１点Ｐ１に対応する断面画像を２次元画像として生成する。あるいは、制御部２１は、通信部２３を介して、別個に設けられたＩＶＵＳ装置により第１点Ｐ１に対応する反射波情報をもとに生成された断面画像を２次元画像としてＩＶＵＳ装置から受信してもよい。
　Ｓ１Ａのステップは、Ｓ２Ａの前に実行されてもよいし、Ｓ２Ａと同時に実行されてもよいし、又はＳ２Ａの後に実行されてもよい。
　Ｓ３Ａにおいて、制御部２１は、Ｓ２Ａで取得した２次元画像と、もしあれば、それよりも前に取得した１つ以上の２次元画像とに基づき、生体管腔の立体構造を画像化して３次元画像７０を生成する。具体的には、制御部２１は、Ｓ２Ａで生成又は受信した断面画像と、もしあれば、それよりも前に生成又は受信した１つ以上の断面画像とを積層して３次元画像７０を生成する。
　Ｓ４Ａにおいて、制御部２１は、Ｓ３Ａで生成した３次元画像７０を、Ｓ１Ａで取得したＸ線画像に重ねてディスプレイ５０に表示させる。
　Ｓ５Ａにおいて、制御部２１は、Ｓ２Ａで取得した２次元画像について、センサ２８の位置をセンサ位置として特定する。具体的には、制御部２１は、センサ２８が第ｉ点Ｐｉに存在するときにセンサ２８により得られた２次元画像の中心の位置を第ｉセンサ位置Ｖｉとして特定する。
　Ｓ６Ａにおいて、制御部２１は、移動ライン７４の少なくとも一部を、Ｓ３Ａで生成した３次元画像７０中に設定する。移動ライン７４は、第１センサ位置Ｖ１の３次元画像７０中での位置から、生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間におけるカテーテル２６の軸２７の形状に対応する形状で延びる線である。生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間におけるカテーテル２６の軸２７の形状は、ｉが「２」になるまでのＳ１Ａで取得された複数のＸ線画像を用いて特定される。ｉが「２」になっていない場合は、第１点Ｐ１から区間の途中までのカテーテル２６の軸２７の形状が、それまでのＳ１Ａで取得されたＸ線画像を用いて特定される。
　具体的には、制御部２１は、Ｓ１Ａで取得したＸ線画像からセンサ２８の画像を自動で検出する。すなわち、制御部２１は、Ｓ１Ａで取得したＸ線画像上でセンサ２８が写っている位置を自動で検出する。センサ２８が写っている位置を検出する手法としては、既知の画像認識技術を用いることができる。深層学習などの機械学習が用いられてもよい。制御部２１は、通信部２３を介して、センサ２８が第ｉ点Ｐｉに存在するときのセンサ２８の、カテーテル２６の長軸方向の位置について、カテーテル２６を駆動するＭＤＵから通知を受ける。制御部２１は、３次元画像７０中で、ＭＤＵから通知された位置に存在する断面内の、Ｓ５で特定した第ｉセンサ位置Ｖｉを、第ｉセンサ位置Ｖｉの３次元画像７０中での位置として特定する。制御部２１は、自動で検出した位置を第ｉ位置Ｌｉ、第ｉセンサ位置Ｖｉの３次元画像７０中での位置を移動ライン７４の第ｉ設定位置として、互いに対応付けて記憶部２２に記憶させる。移動ライン７４の第１設定位置は、移動ライン７４の一端の位置に相当する。移動ライン７４の第２設定位置は、移動ライン７４の他端の位置に相当する。
　Ｓ７Ａにおいて、制御部２１は、ｉが「２」になるまでのＳ１Ａで取得された複数のＸ線画像を用いて特定された、生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間におけるカテーテル２６の軸２７の形状に合わせて、Ｓ３Ａで生成した３次元画像７０の形状を調整する。ｉが「２」になっていない場合は、制御部２１は、それまでのＳ１Ａで取得されたＸ線画像を用いて特定された、第１点Ｐ１から区間の途中までのカテーテル２６の軸２７の形状に合わせて、Ｓ３Ａで生成した３次元画像７０の形状を調整する。具体的には、制御部２１は、それまでのＳ５Ａで特定したセンサ位置を、移動ライン７４の、それまでのＳ６Ａで設定した部分上に配置することで、Ｓ３Ａで生成した３次元画像７０の形状を調整する。より具体的には、制御部２１は、記憶部２２に記憶された移動ライン７４の各設定位置がそれと既に対応付けて記憶部２２に記憶された、画面５１に表示されているＸ線画像８０上の位置と一致するように、Ｘ線画像８０に対して、３次元画像７０がディスプレイ５０に表示される相対的な位置及び大きさ、並びに３次元画像７０の形状を調整する。
　Ｓ５ＡからＳ７Ａのステップは、Ｓ４Ａの前に実行されてもよい。
　上述したように、この変形例では、制御部２１は、センサ２８が生体管腔内の第１点Ｐ１に存在するときにＸ線撮影装置３０により撮影されたＸ線画像上の、第１点Ｐ１に対応する第１位置Ｌ１を移動ライン７４の一端の位置に対応付ける。制御部２１は、センサ２８が生体管腔内の第２点Ｐ２に存在するときにＸ線撮影装置３０により撮影されたＸ線画像上の、第２点Ｐ２に対応する第２位置Ｌ２を移動ライン７４の他端の位置に対応付ける。制御部２１は、センサ２８が生体管腔内の第１点Ｐ１から第２点Ｐ２までの区間を移動する間にＸ線撮影装置３０により撮影された複数のＸ線画像に含まれる各Ｘ線画像からセンサ２８の画像を自動で検出する。制御部２１は、検出した画像に基づき、移動ライン７４の形状を設定する。
　したがって、本実施形態によれば、リアルタイムで曲がった３次元画像７０を構築することができる。断面画像ごとに、対応するＸ線画像が必要にはなるものの、各Ｘ線画像に少なくともセンサ２８が写っていればよく、カテーテル２６の軸２７が写っていなくてもよい。
　本開示は上述の実施形態に限定されるものではない。例えば、ブロック図に記載の２つ以上のブロックを統合してもよいし、又は１つのブロックを分割してもよい。フローチャートに記載の２つ以上のステップを記述に従って時系列に実行する代わりに、各ステップを実行する装置の処理能力に応じて、又は必要に応じて、並列的に又は異なる順序で実行してもよい。その他、本開示の趣旨を逸脱しない範囲での変更が可能である。例えば、制御部２１は、実際の血管走行と合った３次元画像７０のみをディスプレイ５０に表示させる場合、Ｓ４でＸ線画像８０をディスプレイ５０に表示させなくてもよい。
　１０　画像処理システム
　２０　画像処理装置
　２１　制御部
　２２　記憶部
　２３　通信部
　２４　入力部
　２５　出力部
　２６　カテーテル
　２７　軸
　２８　センサ
　２９　ガイドワイヤ
　３０　Ｘ線撮影装置
　４０　入力機器
　５０　ディスプレイ
　５１　画面
　５２　第１領域
　５３　第２領域
　５４　スライダー
　６０　２次元画像
　６１　人体モデル画像
　７０　３次元画像
　７１　人体モデル画像
　７２　断面画像
　７３　カメラアイコン
　７４　移動ライン
　８０　Ｘ線画像
　８２　連結ライン

Claims (16)

  1. 　生体管腔内に挿入されたカテーテルに設けられたセンサが前記カテーテルの軸に沿って前記生体管腔内の第１点から第２点までの区間を移動することにより得られた複数の２次元画像に基づき、前記生体管腔の立体構造を画像化して３次元画像を生成する画像処理装置であって、
    　前記生体管腔を透視するＸ線撮影装置により撮影された、前記カテーテルの少なくとも一部の画像を含む少なくとも１つのＸ線画像を用いて特定された、前記区間における前記カテーテルの軸の形状に合わせて、前記３次元画像の形状を調整する制御部を備える画像処理装置。
  2. 　前記制御部は、
    　前記複数の２次元画像に含まれる各２次元画像について、前記センサの位置をセンサ位置として特定し、
    　前記センサが前記第１点に存在するときに前記センサにより得られた２次元画像について特定したセンサ位置の前記３次元画像中での位置から、前記区間における前記カテーテルの軸の形状に対応する形状で延びる移動ラインを前記３次元画像中に設定し、
    　特定した各センサ位置を、設定した移動ライン上に配置することで、前記３次元画像の形状を調整する、請求項１に記載の画像処理装置。
  3. 　前記制御部は、
    　前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を前記移動ラインの一端の位置に対応付け、
    　前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を前記移動ラインの他端の位置に対応付け、
    　前記少なくとも１つのＸ線画像上で、前記第１位置及び前記第２位置を結ぶ連結ラインを設定し、
    　設定した連結ラインの形状を手動で変更する操作に応じて、前記移動ラインの形状を設定する、請求項２に記載の画像処理装置。
  4. 　前記制御部は、
    　前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を前記移動ラインの一端の位置に対応付け、
    　前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を前記移動ラインの他端の位置に対応付け、
    　前記少なくとも１つのＸ線画像上で、前記第１位置及び前記第２位置とは異なる少なくとも１つの位置を手動で指定する操作に応じて、前記移動ラインの形状を、前記第１位置、前記第２位置、及び前記少なくとも１つの位置を結ぶ連結ラインに対応する形状に設定する、請求項２に記載の画像処理装置。
  5. 　前記制御部は、
    　前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を前記移動ラインの一端の位置に対応付け、
    　前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を前記移動ラインの他端の位置に対応付け、
    　前記少なくとも１つのＸ線画像から前記カテーテルの軸の画像を自動で検出し、
    　検出した画像に基づき、前記移動ラインの形状を設定する、請求項２に記載の画像処理装置。
  6. 　前記制御部は、
    　前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を前記移動ラインの一端の位置に対応付け、
    　前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を前記移動ラインの他端の位置に対応付け、
    　前記センサが前記区間を移動する間に前記Ｘ線撮影装置により撮影された複数のＸ線画像に含まれる各Ｘ線画像から前記センサの画像を自動で検出し、
    　検出した画像に基づき、前記移動ラインの形状を設定する、請求項２に記載の画像処理装置。
  7. 　前記制御部は、前記センサが前記第１点に存在するときに前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を手動で指定する操作に応じて、前記第１位置を前記移動ラインの一端の位置に対応付ける、請求項２に記載の画像処理装置。
  8. 　前記制御部は、前記センサが前記第２点に存在するときに前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を手動で指定する操作に応じて、前記第２位置を前記移動ラインの他端の位置に対応付ける、請求項７に記載の画像処理装置。
  9. 　前記制御部は、
    　前記３次元画像の寸法に対する前記少なくとも１つのＸ線画像の寸法の比率を示す比率情報を取得し、
    　取得した比率情報に基づき、前記少なくとも１つのＸ線画像上で、前記第１位置から前記移動ラインの距離に対応する距離だけ離れた位置を前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置として前記移動ラインの他端の位置に対応付ける、請求項７に記載の画像処理装置。
  10. 　前記制御部は、前記センサが前記第１点に存在するときに前記少なくとも１つのＸ線画像上の、前記第１点に対応する第１位置を自動で検出して、前記第１位置を前記移動ラインの一端の位置に対応付ける、請求項２に記載の画像処理装置。
  11. 　前記制御部は、前記センサが前記第２点に存在するときに前記少なくとも１つのＸ線画像上の、前記第２点に対応する第２位置を自動で検出して、前記第２位置を前記移動ラインの他端の位置に対応付ける、請求項１０に記載の画像処理装置。
  12. 　前記制御部は、前記３次元画像を前記少なくとも１つのＸ線画像に重ねてディスプレイに表示させる、請求項２に記載の画像処理装置。
  13. 　前記制御部は、前記移動ラインの設定中、前記移動ラインの変化に応じて、前記３次元画像を更新する、請求項１２に記載の画像処理装置。
  14. 　請求項１から請求項１３のいずれか１項に記載の画像処理装置と、
    　前記３次元画像及び前記少なくとも１つのＸ線画像を表示するディスプレイと
    を備える画像処理システム。
  15. 　生体管腔内に挿入されたカテーテルに設けられたセンサが前記カテーテルの軸に沿って前記生体管腔内の第１点から第２点までの区間を移動することにより得られた複数の２次元画像に基づき、前記生体管腔の立体構造を画像化して３次元画像を生成する画像処理方法であって、
    　制御部が、前記生体管腔を透視するＸ線撮影装置により撮影された、前記カテーテルの少なくとも一部の画像を含む少なくとも１つのＸ線画像を用いて特定された、前記区間における前記カテーテルの軸の形状に合わせて、前記３次元画像の形状を調整することを含む画像処理方法。
  16. 　生体管腔内に挿入されたカテーテルに設けられたセンサが前記カテーテルの軸に沿って前記生体管腔内の第１点から第２点までの区間を移動することにより得られた複数の２次元画像に基づき、前記生体管腔の立体構造を画像化して３次元画像を生成するコンピュータに、
    　前記生体管腔を透視するＸ線撮影装置により撮影された、前記カテーテルの少なくとも一部の画像を含む少なくとも１つのＸ線画像を用いて特定された、前記区間における前記カテーテルの軸の形状に合わせて、前記３次元画像の形状を調整することを含む動作を実行させる画像処理プログラム。
PCT/JP2024/034284 2023-09-29 2024-09-25 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム Pending WO2025070545A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023169236 2023-09-29
JP2023-169236 2023-09-29

Publications (1)

Publication Number Publication Date
WO2025070545A1 true WO2025070545A1 (ja) 2025-04-03

Family

ID=95201554

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/034284 Pending WO2025070545A1 (ja) 2023-09-29 2024-09-25 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
WO (1) WO2025070545A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148095A (en) * 1997-09-08 2000-11-14 University Of Iowa Research Foundation Apparatus and method for determining three-dimensional representations of tortuous vessels
US20070093710A1 (en) * 2005-10-20 2007-04-26 Michael Maschke Cryocatheter for introduction into a body vessel together with medical investigation and treatment equipment
JP2010526556A (ja) * 2006-11-22 2010-08-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｘ線の経脈管的に収集されたデータとの結合
WO2015045368A1 (ja) * 2013-09-26 2015-04-02 テルモ株式会社 画像処理装置、画像表示システム、撮影システム、画像処理方法及びプログラム
JP2017131348A (ja) * 2016-01-26 2017-08-03 テルモ株式会社 画像表示装置およびその制御方法、ｘ線不透過マーカ検出方法
US20180168732A1 (en) * 2016-12-16 2018-06-21 General Electric Company Combination Of 3D Ultrasound And Computed Tomography For Guidance In Interventional Medical Procedures
US20220087752A1 (en) * 2017-12-05 2022-03-24 Covidien Lp Multi-rigid registration of magnetic navigation to a computed tomography volume
JP2022523445A (ja) * 2019-03-14 2022-04-22 コーニンクレッカ フィリップス エヌ ヴェ 動的な介入的３次元モデル変形

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148095A (en) * 1997-09-08 2000-11-14 University Of Iowa Research Foundation Apparatus and method for determining three-dimensional representations of tortuous vessels
US20070093710A1 (en) * 2005-10-20 2007-04-26 Michael Maschke Cryocatheter for introduction into a body vessel together with medical investigation and treatment equipment
JP2010526556A (ja) * 2006-11-22 2010-08-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｘ線の経脈管的に収集されたデータとの結合
WO2015045368A1 (ja) * 2013-09-26 2015-04-02 テルモ株式会社 画像処理装置、画像表示システム、撮影システム、画像処理方法及びプログラム
JP2017131348A (ja) * 2016-01-26 2017-08-03 テルモ株式会社 画像表示装置およびその制御方法、ｘ線不透過マーカ検出方法
US20180168732A1 (en) * 2016-12-16 2018-06-21 General Electric Company Combination Of 3D Ultrasound And Computed Tomography For Guidance In Interventional Medical Procedures
US20220087752A1 (en) * 2017-12-05 2022-03-24 Covidien Lp Multi-rigid registration of magnetic navigation to a computed tomography volume
JP2022523445A (ja) * 2019-03-14 2022-04-22 コーニンクレッカ フィリップス エヌ ヴェ 動的な介入的３次元モデル変形

Similar Documents

Publication Publication Date Title
JP5683065B2 (ja) 容積式位置揃えのための改良型システム及び方法
CN110393591B (zh) 多模态2d至3d成像导航
JP7671776B2 (ja) 複数の画像化モダリティにおける関心対象領域を識別するシステム及び方法
JP6453857B2 (ja) 超音波画像の３ｄ取得のためのシステムおよび方法
CN101579241B (zh) 图像处理装置
KR101716421B1 (ko) 정보 제공 방법 및 정보 제공을 위한 의료 진단 장치
US8345957B2 (en) Data processing apparatus, X-ray apparatus, and data processing method
JP5478328B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
US20130257910A1 (en) Apparatus and method for lesion diagnosis
CN105096306B (zh) 用于对医学图像进行配准的方法和设备
US11464571B2 (en) Virtual stent placement apparatus, virtual stent placement method, and virtual stent placement program
CN113853151A (zh) 用于在手术期间定向远程相机的用户界面元件
US20160095581A1 (en) Ultrasonic diagnosis apparatus
JP5415245B2 (ja) 医用画像表示装置および方法並びにプログラム
US20140055448A1 (en) 3D Image Navigation Method
CN112869761B (zh) 医用图像诊断支持系统、医用图像处理装置及方法
US11607273B2 (en) Virtual stent placement apparatus, virtual stent placement method, and virtual stent placement program
WO2025070545A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JPWO2019069867A1 (ja) 血管抽出装置および血管抽出方法
JP7075115B2 (ja) 医療画像処理システムおよび医療画像処理方法
JP2012147939A (ja) 画像処理装置
WO2025205679A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JP2023148901A (ja) 情報処理方法、プログラムおよび情報処理装置
KR20240059417A (ko) 요로위치 추정 시스템
JP7480010B2 (ja) 情報処理装置、プログラムおよび情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24872331

Country of ref document: EP

Kind code of ref document: A1