[go: up one dir, main page]

WO2024117129A1 - 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム - Google Patents

医用画像処理装置、治療システム、医用画像処理方法、およびプログラム Download PDF

Info

Publication number
WO2024117129A1
WO2024117129A1 PCT/JP2023/042555 JP2023042555W WO2024117129A1 WO 2024117129 A1 WO2024117129 A1 WO 2024117129A1 JP 2023042555 W JP2023042555 W JP 2023042555W WO 2024117129 A1 WO2024117129 A1 WO 2024117129A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
trajectory
marker
tracking
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/042555
Other languages
English (en)
French (fr)
Inventor
健太 梅根
幸辰 坂田
隆介 平井
慶子 岡屋
慎一郎 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Energy Systems and Solutions Corp
National Institutes For Quantum Science and Technology
Original Assignee
Toshiba Energy Systems and Solutions Corp
National Institutes For Quantum Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Energy Systems and Solutions Corp, National Institutes For Quantum Science and Technology filed Critical Toshiba Energy Systems and Solutions Corp
Priority to CN202380058889.6A priority Critical patent/CN119677560A/zh
Priority to JP2024561510A priority patent/JPWO2024117129A1/ja
Priority to KR1020257004286A priority patent/KR20250034994A/ko
Publication of WO2024117129A1 publication Critical patent/WO2024117129A1/ja
Priority to US19/052,024 priority patent/US20250186009A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/04Positioning of patients; Tiltable beds or the like
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/547Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/103Treatment planning systems
    • A61N5/1037Treatment planning systems taking into account the movement of the target, e.g. 4D-image based planning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1064Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1065Beam adjustment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1064Monitoring, verifying, controlling systems and methods for adjusting radiation treatment in response to monitoring
    • A61N5/1069Target adjustment, e.g. moving the patient support
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/10X-ray therapy; Gamma-ray therapy; Particle-irradiation therapy
    • A61N5/1048Monitoring, verifying, controlling systems and methods
    • A61N5/1049Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam
    • A61N2005/1051Monitoring, verifying, controlling systems and methods for verifying the position of the patient with respect to the radiation beam using an active marker

Definitions

  • Embodiments of the present invention relate to a medical image processing device, a treatment system, a medical image processing method, and a program.
  • Radiation therapy is a treatment method that destroys tumors (lesions) inside the patient's body by irradiating them with radiation.
  • it is necessary to accurately aim the radiation (treatment beam) irradiated to the tumor in order to reduce the effects of radiation on the patient's normal tissue.
  • the radiation treatment beam
  • respiratory-synchronized irradiation is used for such tumors, in which the treatment beam is irradiated in sync with the patient's breathing.
  • One technique for respiratory-synchronized irradiation is, for example, the marker tracking technique.
  • a marker metal marker
  • fluoroscopic images e.g., X-ray fluoroscopic images
  • irradiation of the treatment beam is controlled only when the marker projected on the fluoroscopic image is within a predetermined area (irradiation spot) set based on the position of the marker.
  • the marker tracking technique allows the tumor to be irradiated with the treatment beam at the appropriate timing, enabling appropriate radiation therapy to be performed.
  • marker tracking techniques uses template matching to detect and track metal markers from fluoroscopic images captured immediately before treatment for a time period equal to or longer than one breath of the patient (see, for example, Patent Document 1).
  • fluoroscopic images are captured from two directions, and the position of the marker is estimated in three dimensions using a triangulation technique.
  • conventional technology can grasp the position of the marker, which moves in sync with the patient's breathing, in three dimensions, and irradiate the tumor with a treatment beam at an optimal timing.
  • the user who performs radiation therapy such as a doctor or technician, visually checks the markers projected on the fluoroscopic image and selects the method for tracking the marker. For this reason, in conventional technology, the user must manually select the optimal template from multiple marker templates for tracking the marker they have visually checked.
  • markers may have low visual visibility due to, for example, the influence of organs and bones, or noise contained in the fluoroscopic image.
  • small markers such as needle-shaped markers with a diameter of 0.25 mm, are used as markers to reduce the burden on the patient when the markers are placed inside the body during surgery, and the markers are imaged overlapping large organs.
  • the markers projected on the fluoroscopic image move periodically in sync with the patient's breathing, it is not necessarily possible to see the entire marker for the entire period of one breath of the imaged patient, and there are cases in which visibility is reduced for some periods or for parts of the marker. In such cases, it is easy to imagine that it becomes even more difficult for the user to determine whether or not to perform respiratory-synchronized irradiation.
  • the problem that the present invention aims to solve is to provide a medical image processing device, a treatment system, a medical image processing method, and a program that can determine whether or not a treatment beam can be irradiated in a respiratory-synchronous manner based on a fluoroscopic image.
  • a medical image processing device has an image acquisition unit, a trajectory generation unit, and a selection unit.
  • the image acquisition unit acquires a plurality of fluoroscopic images of a patient.
  • the trajectory generation unit recognizes the position of a region of interest captured in each of the plurality of fluoroscopic images, and generates a trajectory of the region of interest as it moves based on the recognized position of the region of interest.
  • the selection unit selects a tracking method for tracking the region of interest based on the trajectory of the region of interest.
  • a medical image processing device a treatment system, a medical image processing method, and a program that can determine whether or not a treatment beam can be irradiated in a respiratory synchronization manner based on a fluoroscopic image.
  • FIG. 1 is a block diagram showing an example of the configuration of a treatment system including a medical image processing apparatus according to a first embodiment.
  • FIG. 1 is a block diagram showing an example of the configuration of a medical image processing apparatus according to a first embodiment.
  • 4 is a diagram showing an example of a template used for recognizing a marker in the medical image processing apparatus of the first embodiment.
  • 4 is a diagram showing an example of a template used for recognizing a marker in the medical image processing apparatus of the first embodiment.
  • 4 is a diagram showing an example of a template used for recognizing a marker in the medical image processing apparatus of the first embodiment.
  • 4 is a diagram showing an example of a template used for recognizing a marker in the medical image processing apparatus of the first embodiment.
  • 5A and 5B are diagrams illustrating an example of a process for recognizing the position of a marker in the medical image processing apparatus according to the first embodiment.
  • 5A and 5B are diagrams showing an example of a trajectory of a marker whose position is recognized in the medical image processing apparatus of the first embodiment.
  • 4A and 4B are diagrams showing an example of a trajectory of a marker whose position is recognized in the medical image processing apparatus of the first embodiment;
  • 4 is a flowchart showing the flow of operations in the medical image processing apparatus of the first embodiment.
  • 6 is a flowchart showing the flow of an operation of determining whether tracking is possible in a selection unit included in the medical image processing apparatus of the first embodiment.
  • FIG. 10 is a flowchart showing the flow of another operation of determining whether tracking is possible in a selection unit included in the medical image processing apparatus of the first embodiment.
  • FIG. 13 is a block diagram showing an example of the configuration of a medical image processing apparatus according to a second embodiment.
  • FIG. 1 is a diagram showing an example of a display image for presenting information in the medical image processing apparatus of the embodiment (part 1).
  • FIG. 2 is a diagram showing an example of a display image for presenting information in the medical image processing apparatus of the embodiment (part 2).
  • FIG. 11 is a diagram showing an example of a display image for presenting information in the medical image processing apparatus of the embodiment (part 3).
  • FIG. 4 is a diagram showing an example of a display image for presenting information in the medical image processing apparatus of the embodiment (part 4).
  • First Embodiment 1 is a block diagram showing an example of the configuration of a treatment system including a medical image processing device according to the first embodiment.
  • the treatment system 1 includes, for example, a treatment table 10, a bed controller 11, two radiation sources 20 (radiation source 20-1 and radiation source 20-2), two radiation detectors 30 (radiation detector 30-1 and radiation detector 30-2), a treatment beam irradiation gate 40, an irradiation controller 41, a display controller 50, a display device 51, and a medical image processing device 100.
  • the treatment table 10 is a bed on which a subject (patient) P is fixed to receive radiation therapy.
  • the bed control unit 11 controls the translation mechanism and rotation mechanism provided on the treatment table 10 to change the direction in which the treatment beam B is irradiated onto the patient P fixed to the treatment table 10.
  • the bed control unit 11 controls each of the translation mechanism and rotation mechanism of the treatment table 10, for example, in three axial directions, i.e., in six axial directions.
  • Radiation source 20-1 irradiates radiation r-1 from a predetermined angle to visualize the inside of the patient P's body.
  • Radiation source 20-2 irradiates radiation r-2 from a predetermined angle different from that of radiation source 20-1 to visualize the inside of the patient P's body.
  • Radiation r-1 and radiation r-2 are, for example, X-rays.
  • Figure 1 shows a case where X-ray imaging is performed from two directions on patient P who is fixed on treatment table 10.
  • a control unit that controls the irradiation of radiation r by radiation source 20 is not shown in Figure 1.
  • the radiation detector 30-1 detects radiation r-1 irradiated from the radiation source 20-1, which has passed through the body of the patient P and reached the patient, and generates a two-dimensional X-ray fluoroscopic image FI-1 that visualizes the state inside the patient P according to the magnitude of the energy of the detected radiation r-1.
  • the radiation detector 30-2 detects radiation r-2 irradiated from the radiation source 20-2, which has passed through the body of the patient P and reached the patient, and generates a two-dimensional X-ray fluoroscopic image FI-2 that visualizes the state inside the patient P according to the magnitude of the energy of the detected radiation r-2.
  • the radiation detectors 30-1 and 30-2 each generate the X-ray fluoroscopic image FI-1 and the X-ray fluoroscopic image FI-2 at the same time, that is, at the same time.
  • the radiation detector 30 has X-ray detectors arranged, for example, in a two-dimensional array, and generates a digital image, as the X-ray fluoroscopic image FI, which is an image of the magnitude of the energy of the radiation r that has reached each X-ray detector and is expressed as a digital value.
  • the radiation detector 30 is, for example, a flat panel detector (FPD), an image intensifier, or a color image intensifier. In the following description, it is assumed that each radiation detector 30 is an FPD.
  • the radiation detector 30 (FPD) outputs each generated X-ray fluoroscopic image FI to the medical image processing device 100. In FIG. 1, the control unit that controls the generation of the X-ray fluoroscopic image FI by the radiation detector 30 is not shown.
  • the medical image processing device 100 and the radiation detector 30 may be connected, for example, via a LAN (Local Area Network) or a WAN (Wide Area Network).
  • LAN Local Area Network
  • WAN Wide Area Network
  • FIG. 1 shows an imaging device that captures X-ray fluoroscopic images FI of a patient P from two different directions.
  • the X-ray fluoroscopic images FI are an example of a "fluoroscopic image.”
  • the fluoroscopic image may be any image, such as a CT image or a DRR image, in which a part of interest inside the patient P is projected.
  • the pair of the radiation source 20 and the radiation detector 30 is configured as one imaging device.
  • the positions of the radiation source 20 and the radiation detector 30 are fixed, so the direction in which the imaging device configured by the pair of the radiation source 20 and the radiation detector 30 captures images (relative direction to the fixed coordinate system of the treatment room) is fixed. Therefore, when three-dimensional coordinates are defined in the three-dimensional space in which the treatment system 1 is installed, the positions of the radiation source 20 and the radiation detector 30 can be expressed by coordinate values of three axes.
  • the information on the coordinate values of the three axes is called the geometry information of the imaging device configured by the pair of the radiation source 20 and the radiation detector 30.
  • the position of a tumor (lesion) in the body of the patient P located at any position in a specified three-dimensional coordinate system can be obtained from the position when the radiation irradiated from the radiation source 20 passes through the body of the patient P and reaches the radiation detector 30.
  • the position of the tumor in the body of the patient P in the specified three-dimensional coordinate system can be obtained as a projection matrix.
  • the geometry information can be obtained from the installation positions of the radiation source 20 and radiation detector 30 designed when the treatment system 1 was installed, and the inclination of the radiation source 20 and radiation detector 30 relative to a reference direction in the treatment room.
  • the geometry information can also be obtained from the installation positions of the radiation source 20 and radiation detector 30 measured using a three-dimensional measuring device or the like. By determining the projection matrix from the geometry information, the medical image processing device 100 can calculate at what position in the captured X-ray fluoroscopic image FI a tumor inside the body of patient P in three-dimensional space will be captured.
  • a projection matrix can be obtained for each pair of radiation source 20 and radiation detector 30. This makes it possible to calculate coordinate values in a predetermined three-dimensional coordinate system that represent the position of the target area from the position (position in two-dimensional coordinate system) of the image of the target area captured in the two fluoroscopic images, in a manner similar to the principle of triangulation.
  • the target area is a tumor (lesion), organ, bone, etc. in the body of the patient P.
  • the target area may be a marker that has been placed in advance near a tumor in the body of the patient P.
  • the marker is made of a material, such as metal, whose image is projected onto the X-ray fluoroscopic image FI by radiation r. Markers come in various shapes, such as a sphere, a rod, a wedge, etc. In the following description, the target area is assumed to be a marker.
  • the treatment system 1 shown in FIG. 1 is configured to include two sets of radiation sources 20 and radiation detectors 30, in other words, two imaging devices, but the number of imaging devices included in the treatment system 1 is not limited to two.
  • the treatment system 1 may include three or more imaging devices (three or more sets of radiation sources 20 and radiation detectors 30).
  • the treatment beam irradiation gate 40 irradiates radiation as a treatment beam B to destroy a tumor (lesion), which is a site to be treated inside the body of the patient P.
  • the treatment beam B is, for example, a heavy particle beam, an X-ray, an electron beam, a gamma ray, a proton beam, or a neutron beam.
  • the treatment beam B is irradiated linearly from the treatment beam irradiation gate 40 to the patient P (for example, a tumor inside the body of the patient P).
  • the irradiation control unit 41 controls the irradiation of the treatment beam B from the treatment beam irradiation gate 40 to the patient P.
  • the irradiation control unit 41 causes the treatment beam irradiation gate 40 to irradiate the treatment beam B in response to a signal indicating the irradiation timing of the treatment beam B output by the medical image processing device 100.
  • the treatment beam irradiation gate 40 is an example of an "irradiation unit”
  • the irradiation control unit 41 is an example of an "irradiation control unit”.
  • the treatment system 1 shows a configuration including one fixed treatment beam irradiation gate 40, but the present invention is not limited to this, and the treatment system 1 may include multiple treatment beam irradiation gates.
  • the treatment system 1 may further include a treatment beam irradiation gate that irradiates the treatment beam to the patient P from a horizontal direction.
  • the treatment system 1 may be configured such that one treatment beam irradiation gate rotates around the patient P to irradiate the treatment beam to the patient P from various directions.
  • the treatment beam irradiation gate 40 shown in FIG. 1 may be configured to be able to rotate 360 degrees around the horizontal Y rotation axis shown in FIG. 1.
  • the treatment system 1 configured in this way is called a rotating gantry type treatment system.
  • the radiation source 20 and the radiation detector 30 also rotate 360 degrees simultaneously around the same axis as the rotation axis of the treatment beam irradiation gate 40.
  • the pair of the radiation source 20-1 and the radiation detector 30-1, and the pair of the radiation source 20-2 and the radiation detector 30-2 are arranged so that the radiation r-1 and the radiation r-2 intersect with each other at angles of ⁇ 45 degrees with respect to the treatment beam B, that is, so that the radiation r-1 and the radiation r-2 are perpendicular to each other.
  • the positions at which the treatment beam irradiation gate 40, the pair of the radiation source 20-1 and the radiation detector 30-1, and the pair of the radiation source 20-2 and the radiation detector 30-2 are arranged are not limited to the example shown in FIG.
  • the treatment system 1 may be configured not only to arrange the treatment beam irradiation gate 40 at a position where the treatment beam B is irradiated to the patient P from the vertical direction Z or the horizontal direction Y, but also to arrange the treatment beam irradiation gate 40 at a position or configuration where the treatment beam B can be irradiated to the patient P from any angle including at least angles of 30 degrees, 60 degrees, 120 degrees, 150 degrees, etc., or where the irradiation angle or irradiation direction of the treatment beam B can be adjusted.
  • the treatment system 1 may be configured not only to arrange a pair of the radiation source 20 and the radiation detector 30 at a position where the respective rays r are perpendicular to each other, but also to arrange a pair of the radiation source 20 and the radiation detector 30 at a position where the respective rays r form different angles with respect to the treatment beam B.
  • the treatment system 1 may be configured such that, for example, a pair of radiation source 20-1 and radiation detector 30-1 is positioned so that radiation r-1 forms an angle of +30 degrees with respect to treatment beam B (the angle at which radiation r-1 is emitted from the 5 o'clock direction and incident in the 11 o'clock direction), and a pair of radiation source 20-2 and radiation detector 30-2 is positioned so that radiation r-2 forms an angle of -60 degrees with respect to treatment beam B (the angle at which radiation r-2 is emitted from the 8 o'clock direction and incident in the 2 o'clock direction).
  • the medical image processing device 100 determines whether or not it is possible to track the position of a tumor that moves in sync with the breathing of the patient P, for example, based on the X-ray fluoroscopic image FI captured in the preparation stage for radiation therapy, and selects a method for tracking the tumor (tracking method).
  • the medical image processing device 100 tracks the tumor moving inside the body of the patient P using the selected tracking method.
  • the medical image processing device 100 tracks the tumor indirectly, for example, by detecting the position of a marker that has been placed in the body of the patient P beforehand.
  • the medical image processing device 100 recognizes an image of a marker inside the body of the patient P (hereinafter referred to as a "marker image") projected onto the X-ray fluoroscopic image FI captured in the preparation stage for radiation therapy, and tracks the tumor moving inside the body of the patient P based on the position of this marker image in the X-ray fluoroscopic image FI.
  • a marker image an image of a marker inside the body of the patient P
  • Tumor tracking in the medical image processing device 100 is not limited to a method that is performed indirectly by detecting the position of a marker (marker tracking method).
  • Tumor tracking in the medical image processing device 100 may be, for example, a markerless tracking method that indirectly recognizes the position of the tumor based on the shape and movement of an organ near the tumor, that is, a tracking method that tracks the tumor without using a marker, or a method that recognizes the position of the tumor and tracks it directly.
  • the medical image processing device 100 outputs a signal to the irradiation control unit 41 to indicate the irradiation timing for irradiating the tracked tumor with a predetermined treatment beam B.
  • the medical image processing device 100 outputs information representing the current status to the display control unit 50 in order to present the status of detecting the position of the marker or tumor and the status of tracking the marker or tumor to the practitioner who performs radiation therapy using the treatment system 1, i.e., the user of the treatment system 1, such as a doctor or technician.
  • treatment planning is performed, for example, several days to several weeks in advance.
  • a three-dimensional computed tomography (CT) image is taken, and a digitally reconstructed radiograph (DRR) image is generated by virtually reconstructing an X-ray fluoroscopic image FI from this CT image.
  • a region of interest (ROI) is determined for tracking the position of the treatment site (tumor) to which the treatment beam B is to be irradiated.
  • the direction (irradiation direction) in which the treatment beam B is irradiated to the treatment site and the intensity (irradiation intensity) of the irradiated treatment beam B are also determined.
  • the medical image processing device 100 performs various image processing when performing radiation therapy in the treatment system 1, in addition to processing to track the tumor and indicate the irradiation timing of the treatment beam B. For example, the medical image processing device 100 performs image processing for alignment to align the current position of the patient P so that the treatment beam B is irradiated with a direction and intensity of irradiation that have been determined in advance, such as at the stage of treatment planning. The medical image processing device 100 outputs images that have undergone each image processing and information obtained by each image processing to the corresponding components.
  • the image processing for aligning the patient P in the treatment system 1 is the same as that in conventional treatment systems. Therefore, a detailed description of the configuration and processing of the image processing performed by the medical image processing device 100 to align the patient P will be omitted.
  • the display control unit 50 causes the display device 51 to display images for presenting various information in the treatment system 1 to the user, including the state in which the tumor in the patient P is being tracked in the medical image processing device 100.
  • the display control unit 50 causes the display device 51 to display, for example, information output by the medical image processing device 100 indicating the state in which the position of the marker or tumor is being detected, or the state in which the marker or tumor is being tracked.
  • the display control unit 50 causes the display device 51 to display, for example, various images such as the captured X-ray fluoroscopic image FI, or images in which various information is superimposed on these images.
  • the display device 51 is, for example, a display device such as a liquid crystal display (LCD).
  • the user of the treatment system 1 can obtain information for performing radiation therapy using the treatment system 1 by visually checking the image displayed on the display device 51.
  • the treatment system 1 may be configured to include a user interface such as an operation unit (not shown) operated by the user of the treatment system 1, and to manually operate various functions executed by the treatment system 1.
  • the medical image processing device 100 the above-mentioned “imaging device” consisting of a set of the radiation source 20 and the radiation detector 30, the irradiation control unit 41, and the display control unit 50 may be combined to form a "medical device.”
  • the “medical device” may be configured to include a user interface such as the above-mentioned operation unit (not shown) in addition to the medical image processing device 100, the “imaging device,” the irradiation control unit 41, and the display control unit 50.
  • the “medical device” may further be configured to be integrated with the display unit 51.
  • FIG. 2 is a block diagram showing an example of the configuration of the medical image processing device 100 of the first embodiment.
  • the medical image processing device 100 includes an image acquisition unit 101, a trajectory generation unit 102, a selection unit 103, and a tracking unit 104.
  • FIG. 2 also shows an irradiation control unit 41 and a display control unit 50 (including a display device 51) connected to the medical image processing device 100.
  • Some or all of the components of the medical image processing device 100 are realized, for example, by a hardware processor such as a CPU (Central Processing Unit) executing a program (software). Some or all of these components may be realized by hardware (including circuitry) such as an LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), or GPU (Graphics Processing Unit), or may be realized by a combination of software and hardware. Some or all of the functions of these components may be realized by a dedicated LSI.
  • a hardware processor such as a CPU (Central Processing Unit) executing a program (software).
  • Some or all of these components may be realized by hardware (including circuitry) such as an LSI (Large Scale Integration), ASIC (Application Specific Integrated Circuit), FPGA (Field-Programmable Gate Array), or GPU (Graphics Processing Unit), or may be realized by a combination of software and hardware. Some or all of the functions of these components may be realized by
  • the program (software) may be stored in advance in a storage device (storage device with a non-transient storage medium) such as a ROM (Read Only Memory), RAM (Random Access Memory), or a semiconductor memory element such as a flash memory, or a HDD (Hard Disk Drive) provided in the medical image processing device 100, or may be stored in a removable storage medium (non-transient storage medium) such as a DVD or CD-ROM, and installed in the storage device provided in the medical image processing device 100 by attaching the storage medium to a drive device provided in the medical image processing device 100.
  • the program (software) may be downloaded from another computer device via a network and installed in the storage device provided in the medical image processing device 100.
  • the image acquisition unit 101 acquires an X-ray fluoroscopic image FI of the inside of the current patient P fixed to the treatment table 10 in the treatment room to which the treatment system 1 is applied. At this time, the image acquisition unit 101 continuously acquires multiple frames of X-ray fluoroscopic images FI output by the radiation detector 30. In other words, the image acquisition unit 101 acquires two moving images simultaneously captured from different directions by the imaging device. The image acquisition unit 101 continuously acquires X-ray fluoroscopic images FI for at least a period of time corresponding to one respiratory cycle of the patient P.
  • the image acquisition unit 101 when acquiring the X-ray fluoroscopic images FI of the patient P, the image acquisition unit 101 also acquires geometry information of each X-ray fluoroscopic image FI, and associates each acquired X-ray fluoroscopic image FI with the geometry information.
  • the image acquisition unit 101 may acquire each X-ray fluoroscopic image FI and geometry information from each radiation detector 30 via a LAN or WAN.
  • the image acquisition unit 101 outputs each X-ray fluoroscopic image FI (multiple frames of X-ray fluoroscopic images FI) associated with geometry information to the trajectory generation unit 102 and the tracking unit 104.
  • the trajectory generating unit 102 recognizes the marker images inside the body of the patient P projected within a range designated by the user of the treatment system 1 in each X-ray fluoroscopic image FI output by the image acquiring unit 101.
  • the range in which the trajectory generating unit 102 recognizes the marker images may be, for example, the range of the ROI determined at the stage of treatment planning, or may be a predetermined range including the marker images in the DRR image generated at the time of treatment planning.
  • the trajectory generating unit 102 recognizes the marker images within the designated range, for example, by template matching using multiple templates of markers prepared in advance.
  • the trajectory generating unit 102 generates a trajectory of the marker that moves in synchronization with the breathing of the patient P based on the position of the marker image recognized in each X-ray fluoroscopic image FI. More specifically, the trajectory generating unit 102 sequentially connects the positions of the marker images recognized in each X-ray fluoroscopic image FI to generate a trajectory of the marker for a period of at least the length of one breathing cycle of the patient P.
  • FIGS. 3A to 3D are diagrams showing an example of a template used for recognizing a marker in the medical image processing apparatus 100 (more specifically, the trajectory generating unit 102) of the first embodiment.
  • FIGS. 3A to 3D show an example of a template for recognizing a bar-shaped marker.
  • the template is a two-dimensional image in which a marker image that is expected to be projected on an X-ray fluoroscopic image FI is rotated at multiple angles on the image plane.
  • the template shown in FIG. 3A is an example of a template for recognizing a marker projected in the horizontal direction (this angle is set to 0 [deg]) in the X-ray fluoroscopic image FI.
  • the template shown in FIG. 3B is an example of a template for recognizing a marker that is rotated and projected in the right direction (i.e., the right end is projected with an upward tilt of 45 [deg]) in the X-ray fluoroscopic image FI.
  • the template shown in FIG. 3C is an example of a template for recognizing a marker that is further rotated to the right and projected vertically in the X-ray fluoroscopic image FI (i.e., the right end is projected with an inclination of 90 degrees upward).
  • 3D is an example of a template for recognizing a marker that is further rotated to the right and projected in the X-ray fluoroscopic image FI (i.e., the right end is projected with an inclination of 135 degrees).
  • the templates shown in FIG. 3A to FIG. 3D are merely examples, and there are many more templates for tracking markers. For example, some templates corresponding to rod-shaped markers recognize markers that are rotated and projected in the depth direction. Similarly, there are multiple templates corresponding to markers of different shapes (other than spherical markers) that represent states rotated in various directions.
  • the trajectory generating unit 102 recognizes the marker image by comparing the image projected within the range specified for each X-ray fluoroscopic image FI with each template as shown in Figures 3A to 3D (template matching). Then, when a marker is projected on the X-ray fluoroscopic image FI, the trajectory generating unit 102 can obtain the position of the marker on the image plane of the X-ray fluoroscopic image FI. In other words, the trajectory generating unit 102 can obtain the position of the marker in a two-dimensional coordinate system.
  • the position of the marker on the X-ray fluoroscopic image FI can be represented, for example, by the position of the pixels constituting the X-ray fluoroscopic image FI.
  • the pixel representing the position of the marker on the X-ray fluoroscopic image FI is, for example, the pixel at the center position of the marker image recognized by the trajectory generating unit 102 on the X-ray fluoroscopic image FI.
  • the entire marker is not projected as a marker image on the X-ray fluoroscopic image FI, that is, only a part of the marker is projected as a marker image.
  • the pixel representing the position of the marker may be a pixel at the center or edge of a portion of the marker image projected onto the X-ray fluoroscopic image FI, or it may be a pixel corresponding to the center of a template used by the trajectory generating unit 102 when recognizing a marker image in the X-ray fluoroscopic image FI.
  • FIG. 4 is a diagram showing an example of a process for recognizing the position of a marker in the medical image processing device 100 (more specifically, the trajectory generating unit 102) of the first embodiment.
  • FIG. 4 shows an example of a case where the position of a marker in three-dimensional coordinates defined in the treatment room is determined as a projection matrix based on geometry information.
  • a symbol representing a coordinate in the three-dimensional coordinate system is followed by " ⁇ " to represent a vector between the position of that coordinate and the position of the corresponding coordinate.
  • the constants ⁇ 1, ⁇ 2, P ⁇ 1, and P ⁇ 2 are matrices of fixed values.
  • Each of ⁇ 1 and ⁇ 2 is a 1 ⁇ 3 matrix
  • each of P ⁇ 1 and P ⁇ 2 is a 3 ⁇ 4 projection matrix representing the three-dimensional coordinates of the treatment room.
  • the trajectory generating unit 102 obtains the two-dimensional marker position (coordinate m1 and coordinate m2) on each X-ray fluoroscopic image FI, and performs calculations to obtain the three-dimensional marker position O from the two simultaneously captured X-ray fluoroscopic images FI, for one respiratory cycle of the patient P.
  • the trajectory generating unit 102 then sequentially connects the two-dimensional and three-dimensional marker positions obtained from each of the continuously captured X-ray fluoroscopic images FI to generate a marker trajectory having a length equivalent to one respiratory cycle of the patient P.
  • the trajectory generating unit 102 cannot obtain the two-dimensional marker position in, for example, any one of the frames of each of the continuously captured X-ray fluoroscopic images FI.
  • the trajectory generating unit 102 may complement the position of the marker to be obtained in a frame in which the position of the marker was not obtained, using the position of the marker obtained in another frame, but only when the period during which the continuity is interrupted is short.
  • the trajectory generating unit 102 may use the position of the marker obtained in the previous frame as the position of the marker to be obtained in a frame in which the position of the marker was not obtained, or may use the intermediate position between the positions of the marker obtained in the previous frame and the frame after that as the position of the marker to be obtained in a frame in which the position of the marker was not obtained.
  • FIG. 5A and 5B are diagrams showing an example of the trajectory of a marker whose position is recognized by the medical image processing device 100 (more specifically, the trajectory generating unit 102) of the first embodiment.
  • FIG. 5A and FIG. 5B an example of a trajectory generated by connecting the positions of the markers recognized in one-directional X-ray fluoroscopic image FI in frame order, that is, in chronological order is shown.
  • FIG. 5A and FIG. 5B an example of a trajectory generated by connecting the positions of the markers recognized in one-directional X-ray fluoroscopic image FI in frame order, that is, in chronological order is shown.
  • 5B correspond to an example of a trajectory generated by connecting the positions of the markers in one direction of the three-dimensional position O, that is, in one direction of the X-axis direction, Y-axis direction, or Z-axis direction, in frame order (chronological order) when the trajectory generating unit 102 performs a calculation to obtain the three-dimensional position O of the marker from two simultaneously captured X-ray fluoroscopic images FI.
  • the position of the marker (position or coordinate of a pixel) changes periodically. From this trajectory, it is considered that the patient P is breathing in a calm state.
  • the treatment beam B can be suitably irradiated to the tumor (lesion) at a timing based on the trajectory of the marker.
  • the trajectory shown in FIG. 5B is one in which the marker position (pixel position or coordinates) changes drastically.
  • the treatment system 1 would be able to suitably irradiate the tumor (lesion) with the treatment beam B.
  • it may be necessary to wait until the trajectory of the marker position changes periodically like the trajectory shown in FIG. 5A before starting radiation therapy, or to switch to a method of tracking the tumor without using a marker, such as a markerless tracking method, and suitably irradiating the tumor with the treatment beam B.
  • the trajectory generation unit 102 outputs information representing the generated trajectories of each marker to the selection unit 103. More specifically, the trajectory generation unit 102 outputs to the selection unit 103 information representing the trajectory (change in pixel position) of the marker for each template obtained in a two-dimensional coordinate system for each X-ray fluoroscopic image FI, and information representing the trajectory (change in position O) of the marker for each template obtained in a three-dimensional coordinate system defined in the treatment room for two simultaneously captured X-ray fluoroscopic images FI.
  • the information representing the marker trajectories output by the trajectory generation unit 102 also includes information representing the template used in template matching.
  • the information representing the template used in template matching is, for example, identification information exclusively assigned to each template.
  • the selection unit 103 determines whether or not a method of tracking a marker in radiation therapy, that is, a method of indirectly tracking a tumor, can be adopted based on the information representing the trajectory of each marker output by the trajectory generation unit 102, and selects a tracking method for tracking the marker or tumor based on the determination result.
  • the selection unit 103 determines whether or not a method of tracking a marker or tumor can be adopted in radiation therapy, for example, by a classifier using machine learning.
  • the selection unit 103 performs a process of determining whether or not a method of tracking a marker or tumor can be adopted, for example, by a classifier using machine learning.
  • a classifier using machine learning for example, a classification model such as a random forest, a decision tree, a support vector machine (SVM), a K nearest neighbor algorithm (KNN), or a logistic regression is used.
  • the classification model is a trained model that is trained in advance using, for example, an AI (Artificial Intelligence) function, by preparing multiple trajectories in a two-dimensional coordinate system or a three-dimensional coordinate system, for which it is known whether or not the marker can be tracked.
  • the classifier corresponding to the trajectory in the two-dimensional coordinate system and the classifier corresponding to the trajectory in the three-dimensional coordinate system may use the same classification model or different classification models.
  • the classifier corresponding to the trajectory obtained from the X-ray fluoroscopic image FI-1 and the classifier corresponding to the trajectory obtained from the X-ray fluoroscopic image FI-2 may use the same classification model or different classification models.
  • the selection unit 103 executes a process of determining whether tracking is possible in three dimensions based on the trajectory of the marker in the three-dimensional coordinate system output by the trajectory generation unit 102, and a process of determining whether tracking is possible in two dimensions based on the trajectory of the marker in the two-dimensional coordinate system output by the trajectory generation unit 102.
  • the process of determining whether tracking is possible in three dimensions and the process of determining whether tracking is possible in two dimensions in the selection unit 103 may be performed simultaneously, or one of the processes of determining whether tracking is possible may be performed first and the other process of determining whether tracking is possible later.
  • the selection unit 103 selects a tracking method for tracking the marker in the three-dimensional coordinate system (hereinafter referred to as "three-dimensional tracking") If the marker trajectory information obtained in the three-dimensional coordinate system output by the trajectory generation unit 102 indicates that the trajectory changes drastically in any direction of the three-dimensional position O, for example, as shown in FIG. 5B, the selection unit 103 checks the marker trajectory information obtained in the two-dimensional coordinate system output by the trajectory generation unit 102.
  • the selection unit 103 selects a tracking method that tracks the marker in the two-dimensional coordinate system in this X-ray fluoroscopic image FI (hereinafter referred to as "two-dimensional tracking").
  • the selection unit 103 selects a tracking method that does not use a marker (hereinafter referred to as "external respiratory synchronization tracking").
  • the selection unit 103 outputs information representing the selected tracking method to the tracking unit 104. If the selection unit 103 selects three-dimensional tracking or two-dimensional tracking, it also outputs information about the template used by the trajectory generation unit 102 for template matching to the tracking unit 104.
  • the tracking unit 104 tracks the marker images inside the body of the patient P that are projected within a range specified by the user of the treatment system 1 in each X-ray fluoroscopic image FI output by the image acquisition unit 101, using the tracking method output by the selection unit 103. At this time, the tracking unit 104 tracks the marker images by template matching using the template represented by the template information output by the selection unit 103.
  • the tracking unit 104 outputs information representing the current state in which the marker image is being tracked to the display control unit 50.
  • the display control unit 50 generates a display image for presenting the current state in which the marker position is detected and tracked, and displays the generated display image on the display device 51, thereby presenting the current state of the treatment system 1 to the user.
  • the tracking unit 104 generates a signal for instructing the irradiation timing for irradiating the tumor with the treatment beam B based on the tracked marker image, and outputs the generated signal to the irradiation control unit 41.
  • the irradiation control unit 41 controls the irradiation of the treatment beam B at the treatment beam irradiation gate 40 so that the treatment beam B is irradiated at the irradiation timing output by the tracking unit 104.
  • the trajectory generating unit 102 generates a trajectory of the part of interest (the marker in the above example) based on the X-ray fluoroscopic image FI captured in the preparation stage for radiation therapy. Then, in the medical image processing device 100, the selection unit 103 selects a tracking method for tracking the part of interest based on the trajectory of the part of interest generated by the trajectory generating unit 102. Furthermore, in the medical image processing device 100, the tracking unit 104 tracks the part of interest using the tracking method selected by the selection unit 103, and outputs information for presenting to the user the state in which the part of interest is being tracked, and a signal indicating the irradiation timing of the treatment beam B.
  • the treatment system 1 equipped with the medical image processing device 100 it is possible to present to the user whether or not the marker can be tracked (indirectly track the tumor) using the marker tracking method, and to irradiate the tumor with the treatment beam B at an appropriate timing.
  • FIG. 6 is a flowchart showing the flow of operation in the medical image processing device 100 of the first embodiment.
  • the image acquisition unit 101 acquires each of the first frame X-ray fluoroscopic images FI output by the radiation detector 30 (step S100).
  • the image acquisition unit 101 associates geometry information corresponding to each acquired X-ray fluoroscopic image FI and outputs it to each of the trajectory generation unit 102 and the tracking unit 104.
  • the trajectory generating unit 102 recognizes the marker images inside the body of the patient P that are projected within the range specified by the user in each X-ray fluoroscopic image FI of the first frame output by the image acquiring unit 101 (step S110). Then, the trajectory generating unit 102 generates a marker trajectory with the position of the marker image recognized in each X-ray fluoroscopic image FI set as the initial position (step S120).
  • the trajectory generating unit 102 checks whether the generation of the marker trajectories for one breathing cycle of the patient P has been completed (step S130). If it is confirmed in step S130 that the generation of the marker trajectories for one breathing cycle of the patient P has not been completed, the trajectory generating unit 102 returns the process to step S100.
  • the image acquiring unit 101 acquires the next frame of the X-ray fluoroscopic image FI in step S100, and the trajectory generating unit 102 recognizes the marker image projected on the next frame in step S110, and generates a marker trajectory with the position of the recognized marker image as the next position in step S120. In this way, in the medical image processing device 100, the image acquiring unit 101 and the trajectory generating unit 102 each repeat the process to generate the marker trajectory for one breathing cycle of the patient P.
  • step S130 if it is confirmed in step S130 that the generation of the marker trajectories for one respiratory cycle of patient P has been completed, the trajectory generation unit 102 outputs each piece of information representing the positions of the marker images projected onto each X-ray fluoroscopic image FI as marker trajectories to the selection unit 103, and the process proceeds to step S200.
  • the selection unit 103 then executes a process of determining whether or not it is possible to employ a method of tracking a marker in radiation therapy based on the information representing the trajectory of each marker output by the trajectory generation unit 102 (step S200).
  • step S200 the operation of the process of determining whether or not it is possible to track a marker in radiation therapy will be described in more detail.
  • FIG. 7 is a flowchart showing the flow of the operation of determining whether or not it is possible to track a marker in the selection unit 103 provided in the medical image processing device 100 of the first embodiment.
  • FIG. 7 is a flowchart showing the flow of the operation of determining whether or not it is possible to track a marker in the selection unit 103 provided in the medical image processing device 100 of the first embodiment.
  • FIG. 7 shows an example of the flow of the operation when performing a process of determining whether or not it is possible to track a marker in three dimensions (a process of determining whether or not it is possible to track a marker in three dimensions) based on the trajectory of the marker in the three-dimensional coordinate system output by the trajectory generation unit 102.
  • the selection unit 103 uses a corresponding classification model for the information on the marker trajectory calculated in a three-dimensional coordinate system output by the trajectory generation unit 102, and determines whether three-dimensional tracking is possible.
  • the selection unit 103 checks whether the marker trajectory in all directions, the X-axis direction, the Y-axis direction, and the Z-axis direction at the three-dimensional position O, has a trajectory that changes periodically (step S210). This check in the process of step S210 is performed for each trajectory generated by the trajectory generation unit 102, in other words, for each template used by the trajectory generation unit 102 in template matching to generate the marker trajectory.
  • step S210 If it is confirmed in step S210 that the marker trajectory in all directions changes periodically for any one of the marker trajectories, the selection unit 103 determines that marker tracking can be performed using the marker trajectory in a three-dimensional coordinate system in which all directions change periodically, that is, that three-dimensional tracking is possible (step S212). The selection unit 103 then returns to the previous process.
  • step S210 determines that marker tracking cannot be performed using the marker trajectories in the three-dimensional coordinate system, that is, that three-dimensional tracking is not possible (step S214). The selection unit 103 then returns to the previous process.
  • the selection unit 103 performs the process of determining whether or not three-dimensional tracking is possible.
  • the selection unit 103 performs the process of determining whether or not tracking is possible in three dimensions based on the trajectory of the marker in the three-dimensional coordinate system output by the trajectory generation unit 102, and the process of determining whether or not tracking is possible in two dimensions based on the trajectory of the marker in the two-dimensional coordinate system output by the trajectory generation unit 102.
  • the selection unit 103 performs the process of determining whether or not tracking is possible in three dimensions and the process of determining whether or not tracking is possible in two dimensions at the same time
  • the process of determining whether or not two-dimensional tracking is possible for the X-ray fluoroscopic image FI-1 and the process of determining whether or not two-dimensional tracking is possible for the X-ray fluoroscopic image FI-2 are performed at the same time
  • the process of determining whether or not tracking is possible in each case can be performed by replacing three dimensions with two dimensions in the process of determining whether or not three-dimensional tracking is possible shown in FIG. 7.
  • FIG. 8 is a flowchart showing the flow of another tracking feasibility determination operation in the selection unit 103 provided in the medical image processing device 100 of the first embodiment.
  • FIG. 8 shows an example of the flow of the operation when the two-dimensional tracking feasibility determination process (two-dimensional tracking feasibility determination process) is performed sequentially for each X-ray fluoroscopic image FI based on the trajectory of the marker in the two-dimensional coordinate system output by the trajectory generation unit 102.
  • the selection unit 103 uses a corresponding classification model for the information on the marker trajectory calculated in a two-dimensional coordinate system for each X-ray fluoroscopic image FI output by the trajectory generation unit 102, and determines whether two-dimensional tracking is possible. First, the selection unit 103 checks whether the marker trajectory based on the two-dimensional pixel positions calculated for one of the X-ray fluoroscopic images FI (here, X-ray fluoroscopic image FI-1) includes a trajectory that changes periodically (step S220).
  • step S220 The check in the process of step S220 is performed for each trajectory in the X-ray fluoroscopic image FI-1 generated by the trajectory generation unit 102, in other words, for each template used by the trajectory generation unit 102 in template matching to generate the trajectory of the marker projected onto the X-ray fluoroscopic image FI-1.
  • step S220 If it is confirmed in step S220 that the trajectory of any one of the markers is a trajectory that changes periodically, the selection unit 103 determines that marker tracking can be performed using the trajectory of the marker in a two-dimensional coordinate system that changes periodically in this X-ray fluoroscopic image FI-1, that is, that two-dimensional tracking is possible (step S222). The selection unit 103 then returns to the processing.
  • step S220 the selection unit 103 checks whether the marker trajectories based on the two-dimensional pixel positions determined for the X-ray fluoroscopic image FI in the other direction (here, X-ray fluoroscopic image FI-2) include a trajectory that changes periodically (step S224).
  • This check in the processing of step S224 is also performed for each trajectory in the X-ray fluoroscopic image FI-2 generated by the trajectory generation unit 102, in other words, for each template used in template matching by the trajectory generation unit 102 to generate the trajectory of the marker projected onto the X-ray fluoroscopic image FI-2.
  • step S224 If it is confirmed in step S224 that the trajectory of any one of the markers is a trajectory that changes periodically, the selection unit 103 determines that marker tracking can be performed using the trajectory of the marker in a two-dimensional coordinate system that changes periodically in this X-ray fluoroscopic image FI-2, that is, that two-dimensional tracking is possible (step S222). The selection unit 103 then returns to the previous process.
  • step S224 determines that marker tracking cannot be performed using the marker trajectories in the two-dimensional coordinate system in either the X-ray fluoroscopic image FI-1 or the X-ray fluoroscopic image FI-2, that is, two-dimensional tracking is not possible (step S226).
  • the selection unit 103 then returns to the previous process.
  • the selection unit 103 performs the process of determining whether or not two-dimensional tracking is possible.
  • the selection unit 103 performs the process of determining whether or not tracking is possible in three dimensions based on the trajectory of the marker in the three-dimensional coordinate system output by the trajectory generation unit 102, and the process of determining whether or not tracking is possible in two dimensions based on the trajectory of the marker in the two-dimensional coordinate system output by the trajectory generation unit 102.
  • the selection unit 103 may perform the process of determining whether or not three-dimensional tracking is possible first as shown in FIG. 7, and perform the process of determining whether or not two-dimensional tracking is possible later as shown in FIG.
  • the process of determining whether or not two-dimensional tracking is possible first as shown in FIG. 8, and perform the process of determining whether or not three-dimensional tracking is possible later as shown in FIG.
  • the selection unit 103 performs the process of determining whether three-dimensional tracking is possible first and the process of determining whether two-dimensional tracking is possible later, if it is determined that three-dimensional tracking can be performed, the process of determining whether two-dimensional tracking is possible may not be performed. In other words, the selection unit 103 may return the process.
  • the process of determining whether three-dimensional tracking is possible may be performed.
  • the selection unit 103 selects a marker tracking method based on the results of the process of determining whether tracking is possible in three dimensions and the process of determining whether tracking is possible in two dimensions (step S300).
  • the selection unit 103 selects a tracking method in which tracking is possible as the tracking method of the marker.
  • the selection unit 103 selects a tracking method in which tracking is possible as the tracking method of the marker. And, for example, if the result of the process of determining whether tracking is possible in both the process of determining whether tracking is possible in three dimensions and the process of determining whether tracking is possible in two dimensions is the selection unit 103 selects a markerless tracking method (external respiratory synchronization tracking) that indirectly or directly determines and tracks the position of the tumor without using a marker as the tracking method. The selection unit 103 outputs information representing the selected tracking method to the tracking unit 104.
  • the tracking unit 104 then tracks the marker image and tumor projected on each X-ray fluoroscopic image FI output by the image acquisition unit 101 using the tracking method output by the selection unit 103 (step S400). Then, when radiation therapy is started, the tracking unit 104 outputs a signal to the irradiation control unit 41 to instruct the irradiation timing for irradiating the tumor with the treatment beam B, and causes the treatment beam irradiation gate 40 to irradiate the treatment beam B (step S410). Thereafter, the tracking unit 104 repeats tracking the marker image and tumor in the process of step S400 and controlling the irradiation of the treatment beam B in step S410 until the radiation therapy is completed (until it is confirmed in step S420 that the radiation therapy is completed).
  • the processing and operation (control) in the radiation therapy stage in the treatment system 1 are the same as those in the conventional treatment system. Therefore, a detailed description of the processing and operation (control) performed by the medical image processing device 100 in the radiation therapy stage will be omitted.
  • the trajectory generation unit 102 generates a trajectory of the part of interest (the marker in the above example) based on the X-ray fluoroscopic image FI captured in the preparation stage for radiation therapy. Then, in the medical image processing device 100, the selection unit 103 determines whether the part of interest can be tracked for each template used in template matching to generate the trajectory of the part of interest based on the trajectory of the part of interest generated by the trajectory generation unit 102, and selects a tracking method for tracking the part of interest. After that, in the medical image processing device 100, the tracking unit 104 tracks the part of interest using the tracking method selected by the selection unit 103, and controls the irradiation of the treatment beam B when radiation therapy is started.
  • the trajectory generating unit 102 recognizes a portion of interest projected on the X-ray fluoroscopic image FI and generates a trajectory for tracking the portion of interest, but the portion of interest recognized to generate a trajectory is not limited to the portion of interest projected on the X-ray fluoroscopic image FI.
  • the trajectory generating unit 102 may generate a trajectory of the portion of interest based on any image, such as a CT image or a DRR image, as long as the portion of interest inside the body of the patient P can be recognized.
  • the trajectory generating unit 102 recognizes a portion of interest by template matching, but the portion of interest may be recognized by a method other than template matching.
  • the trajectory generating unit 102 may recognize the area of interest by detecting a contour using the gradient of brightness in the area of interest in the X-ray fluoroscopic image FI or the DRR image as a feature, or may recognize the area of interest using a deep learning model that has learned the features of the area of interest using deep learning, which is a type of machine learning.
  • the configuration is shown in which the trajectory of the part of interest generated by the trajectory generation unit 102 is input to the classifier to perform the process of determining whether or not the marker or tumor can be tracked, but the determination of whether or not the trackability is determined by the classifier is not limited to the process based on the trajectory of the part of interest.
  • the trajectory generation unit 102 may output the position of the part of interest (position of the pixel) obtained in a two-dimensional coordinate system or the position of the part of interest obtained in a three-dimensional coordinate system to the selection unit 103 without generating the trajectory of the part of interest, and the selection unit 103 may input the displacement of the position of the part of interest in each of the two-dimensional coordinate system and the three-dimensional coordinate system (the difference in position between two consecutive frames) to the classifier to perform the process of determining whether or not the marker or tumor can be tracked.
  • the process and operation (control) of the trajectory generation unit 102 and the selection unit 103, as well as the process and operation (control) of each of the components of the medical image processing device 100 may be equivalent to the process and operation (control) in the first embodiment described above.
  • the trajectory generation unit 102 and the selection unit 103 terminate their respective processes and operations (control), but they may be configured to continue their processes and operations (control). In this case, even if it becomes difficult to track the area of interest using the selected tracking method during radiation therapy, it becomes possible to switch to a different tracking method more quickly.
  • the configuration of the treatment system equipped with the medical image processing device of the second embodiment is a configuration in which the medical image processing device 100 of the treatment system 1 equipped with the medical image processing device 100 of the first embodiment shown in Fig. 1 is replaced with a medical image processing device of the second embodiment (hereinafter referred to as "medical image processing device 200").
  • medical image processing device 200 a medical image processing device of the second embodiment
  • the treatment system equipped with the medical image processing device 200 will be referred to as "treatment system 2".
  • components of the treatment system 2 equipped with the medical image processing device 200 that are similar to the components of the treatment system 1 equipped with the medical image processing device 100 of the first embodiment are given the same reference numerals, and detailed descriptions of each component are omitted.
  • the medical image processing device 200 determines whether or not it is possible to track the position of a tumor that moves in sync with the breathing of the patient P, for example, based on the X-ray fluoroscopic image FI captured in the preparation stage for radiation therapy, and selects a method for tracking the tumor (tracking method). Like the medical image processing device 100, the medical image processing device 200 also tracks the tumor that moves inside the body of the patient P using the selected tracking method, and controls the irradiation of the treatment beam B to the tracked tumor.
  • Figure 9 is a block diagram showing an example of the configuration of the medical image processing device 200 of the second embodiment.
  • the medical image processing device 200 includes an image acquisition unit 101, a trajectory generation unit 102, a likelihood calculation unit 202, a selection unit 203, and a tracking unit 104.
  • Figure 9 also shows an irradiation control unit 41 and a display control unit 50 (including a display device 51) connected to the medical image processing device 200.
  • the medical image processing device 200 is configured by adding a likelihood calculation unit 202 to the medical image processing device 100, and accordingly, the selection unit 103 is replaced with a selection unit 203.
  • the other components of the medical image processing device 200 are the same as those of the medical image processing device 100. Therefore, in the following description, the components of the medical image processing device 200 that are similar to those of the medical image processing device 100 are given the same reference numerals, and detailed description of each component is omitted. In the following description, only the components that differ from the medical image processing device 100 are described.
  • the likelihood calculation unit 202 like the trajectory generation unit 102 provided in the medical image processing device 100, recognizes the marker image inside the body of the patient P projected within the range specified by the user of the treatment system 1 in each X-ray fluoroscopic image FI output by the image acquisition unit 101.
  • the likelihood calculation unit 202 may acquire the recognition result of the marker image from the trajectory generation unit 102. In this case, the likelihood calculation unit 202 can reduce the processing load required for recognizing the marker image.
  • the likelihood calculation unit 202 calculates the likelihood of the recognized marker image for each X-ray fluoroscopic image FI.
  • the likelihood of the marker image calculated by the likelihood calculation unit 202 is a value representing the certainty (similarity) of the marker image within the specified range.
  • the likelihood calculation unit 202 calculates the likelihood between the marker of the template used in template matching and the marker projected on the X-ray fluoroscopic image FI for each X-ray fluoroscopic image FI.
  • the likelihood is a high value (highest value when the image is the template marker) if the similarity to the template marker is high, and is a value that decreases as the similarity to the template marker decreases.
  • the likelihood calculation unit 202 calculates the likelihood for each frame of the X-ray fluoroscopic image FI for which the trajectory generation unit 102 generates a trajectory at the same time that the trajectory generation unit 102 generates the trajectory of the marker image.
  • the calculation of the likelihood in the likelihood calculation unit 202 and the generation of the trajectory of the marker image in the trajectory generation unit 102 are not limited to be performed at the same time.
  • the calculation of the likelihood in the likelihood calculation unit 202 may be performed first, and the generation of the trajectory of the marker image in the trajectory generation unit 102 may be performed later. In this case, if the trajectory generation unit 102 generates the trajectory of the marker image using a predetermined number of templates starting from the one with the highest likelihood, the processing load required for generating the trajectory of the marker image can be reduced.
  • the likelihood calculation unit 202 outputs information representing the likelihood of the marker image calculated for the X-ray fluoroscopic image FI of each frame to the selection unit 203.
  • the likelihood calculation unit 202 may treat a number of frames for a period of time corresponding to the length of one respiratory cycle of the patient P as one unit, calculate the average value (average likelihood) of the likelihood of each marker image calculated for the X-ray fluoroscopic images FI of all frames included in this unit, and output information representing the average likelihood to the selection unit 203.
  • the selection unit 203 selects a tracking method for tracking a marker or a tumor in radiation therapy based on information representing the trajectory of each marker output by the trajectory generation unit 102 and information representing the likelihood of the marker image projected onto the X-ray fluoroscopic image FI output by the likelihood calculation unit 202.
  • the selection of the tracking method in the selection unit 203 is similar to that of the selection unit 103 provided in the medical image processing device 100, but information representing the likelihood of the marker image is also input to the selection unit 203. Therefore, the selection unit 203 can select a tracking method for tracking a marker or a tumor from the X-ray fluoroscopic image FI in which the likelihood of the marker image is the highest, that is, the template that is optimal for radiation therapy corresponds.
  • the selection unit 203 may select a tracking method for tracking a marker or a tumor from the X-ray fluoroscopic images FI in which a predetermined number of templates correspond starting from the one with the highest likelihood.
  • the selection process of the tracking method in the selection unit 203 is simply the same as the selection process of the tracking method in the selection unit 103 described with reference to Figures 6 to 8, except that the likelihood of the marker image is taken into consideration, and can be easily considered based on the selection process of the tracking method in the selection unit 103. Therefore, a detailed description of the selection process of the tracking method in the selection unit 203 will be omitted.
  • the selection unit 203 Similar to the selection unit 103, the selection unit 203 outputs information indicating the selected tracking method to the tracking unit 104. Similar to the selection unit 103, when the selection unit 203 selects three-dimensional tracking or two-dimensional tracking, the selection unit 203 also outputs information on the template used by the trajectory generation unit 102 for template matching (the template with the highest likelihood of the marker image, or a predetermined number of templates with the highest likelihood) to the tracking unit 104.
  • the trajectory generation unit 102 generates a trajectory of the part of interest (the marker in the above example) based on the X-ray fluoroscopic image FI captured at the stage of preparation for radiation therapy. Furthermore, in the medical image processing device 200, the likelihood calculation unit 202 calculates the likelihood of the marker image for each X-ray fluoroscopic image FI. Then, in the medical image processing device 200, the selection unit 203 selects a tracking method for tracking the part of interest based on the trajectory of the part of interest generated by the trajectory generation unit 102 and the likelihood of the marker image calculated by the likelihood calculation unit 202.
  • the tracking unit 104 tracks the part of interest using the tracking method selected by the selection unit 103, and outputs information for presenting to the user the state in which the part of interest is being tracked and a signal indicating the irradiation timing of the treatment beam B.
  • the user can be informed of whether or not the marker can be tracked (indirectly tracked) using the marker tracking method, and the treatment beam B can be irradiated to the tumor at an appropriate timing.
  • FIGS 10 and 11 are diagrams showing an example of a display image for presenting information in the medical image processing device of an embodiment (here, the medical image processing device 200).
  • Figure 10 shows an example of a GUI (Graphical User Interface) image IM1 that shows the state in which the position of a marker is being detected in a three-dimensional coordinate system.
  • GUI image IM1 the X-ray fluoroscopic images FI-1 and FI-2 in which the marker is being detected and the trajectory of the marker in each direction (X-axis direction, Y-axis direction, and Z-axis direction) determined in the three-dimensional coordinate system are displayed in a fluoroscopic image display area FA as a line graph.
  • information about the detected marker is displayed in an information display area IA.
  • information indicating that a marker for three-dimensional tracking is being detected information indicating the three-dimensional position O of the currently detected marker, information indicating the likelihood of the currently detected marker image, information about the template used for detection, and other information are displayed in the information display area IA.
  • FIG. 11 shows an example of a GUI image IM2 showing a state in which the position of a marker is being detected in a two-dimensional coordinate system.
  • GUI image IM2 X-ray fluoroscopic images FI-1 and FI-2 in which the marker is being detected are presented in the fluoroscopic image display area FA, and the trajectories of the marker in each direction (u-axis direction and v-axis direction) representing the position of the pixel determined in the two-dimensional coordinate system on the X-ray fluoroscopic image FI are presented as line graphs in association with each X-ray fluoroscopic image FI.
  • the trajectories of the marker in the u1-axis direction and v1-axis direction, which represent the position of the pixel are presented as line graphs in association with the X-ray fluoroscopic image FI-1
  • the trajectories of the marker in the u2-axis direction and v2-axis direction, which represent the position of the pixel are presented as line graphs in association with the X-ray fluoroscopic image FI-2.
  • information about the detected marker is presented in the information display area IA.
  • information is presented indicating that a marker for two-dimensional tracking has been detected, information indicating the two-dimensional pixel position of the marker currently detected on each X-ray fluoroscopic image FI, information indicating the likelihood of the currently detected marker image, information regarding the template used for detection, and other information.
  • the user can check the information presented by GUI image IM1 and GUI image IM2 and control the tracking of the marker by operating a user interface such as an operation unit (not shown). More specifically, the user can switch the marker tracking method and the template used for tracking by "Switch tracking method” and “Switch filter” in the information display area IA, and can start tracking of the marker by "Start tracking" in the information display area IA.
  • FIGS. 12 and 13 are diagrams showing another example of a display image for presenting information in a medical image processing device of an embodiment (here, medical image processing device 200).
  • FIG. 12 shows an example of a GUI image IM3 showing the state in which a marker is being tracked in three dimensions.
  • the X-ray fluoroscopic images FI-1 and FI-2 in which the marker is being tracked and the trajectory of the marker in each direction (X-axis direction, Y-axis direction, and Z-axis direction) calculated in the three-dimensional coordinate system are presented in a line graph in the fluoroscopic image display area FA.
  • an "X mark" indicating the position of the tracked marker is also presented in each of the X-ray fluoroscopic images FI-1 and FI-2.
  • the mark indicating the position of the tracked marker is not limited to an "X mark” and may be any mark such as an "O mark” or a different color as long as it can highlight the position of the marker.
  • information about the tracked marker is presented in the information display area IA. More specifically, in the GUI image IM3, within the information display area IA, information is presented that represents the template being used for tracking, information that represents the three-dimensional position O of the marker being tracked in three dimensions, information that represents the likelihood of the marker image, and so on.
  • FIG. 13 shows an example of a GUI image IM4 showing a state in which a marker is being tracked in two dimensions.
  • X-ray fluoroscopic images FI-1 and FI-2 in which the marker is being tracked are presented in the fluoroscopic image display area FA, and the trajectory of the marker in each direction (u-axis direction and v-axis direction) representing the position of the pixel determined in the two-dimensional coordinate system on the X-ray fluoroscopic image FI is presented as a line graph in association with each X-ray fluoroscopic image FI.
  • the trajectory of the marker in the u1-axis direction and v1-axis direction representing the position of the pixel is presented as a line graph in association with the X-ray fluoroscopic image FI-1
  • the trajectory of the marker in the u2-axis direction and v2-axis direction representing the position of the pixel is presented as a line graph in association with the X-ray fluoroscopic image FI-2.
  • an "X" representing the position of the marker being tracked is also presented only in the X-ray fluoroscopic image FI-1.
  • the trajectory of the pixel positions of the tracked marker image in the v2 axis direction is a trajectory that changes rapidly, making it impossible to track the position of the marker.
  • information about the tracked marker is presented in the information display area IA. More specifically, in the GUI image IM4, information such as information representing the template used for tracking, information representing the two-dimensional pixel positions of the marker being tracked in two dimensions, and information representing the likelihood of the marker image is presented in the information display area IA.
  • the user can check the information presented by GUI image IM3 and GUI image IM4, and control the irradiation of the treatment beam B to the tumor by operating a user interface such as an operation unit (not shown). More specifically, the user can check the details of the radiation therapy to be performed by "Get treatment method” or “Change treatment method” in the information display area IA, and can start the irradiation of the treatment beam B to the tumor by "Start treatment” in the information display area IA.
  • the trajectory generating unit generates a trajectory of the target area (e.g., a marker) based on a two-dimensional fluoroscopic image (e.g., an X-ray fluoroscopic image) captured in the preparation stage of radiation therapy.
  • the selection unit selects a tracking method for tracking the target area. That is, in the medical image processing device of each embodiment, the selection unit automatically determines whether the target area can be tracked and selects a template to be used for tracking. Then, in the medical image processing device of each embodiment, the medical image processing device tracks the target area using the selected tracking method.
  • the treatment system equipped with the medical image processing device of each embodiment it is possible to determine whether radiation (treatment beam) can be irradiated in synchronization with the respiration of the subject (patient) based on the fluoroscopic image (respiratory synchronization irradiation). Furthermore, in the treatment system equipped with the medical image processing device of each embodiment, the state in which the position of the target area is detected and the state in which the target area is tracked are presented to the user, and radiation can be irradiated to a tumor (lesion) in the subject's body at an appropriate timing.
  • an image acquisition unit (101) that acquires multiple fluoroscopic images (e.g., X-ray fluoroscopic images FI) of a patient (P)
  • a trajectory generation unit (102) that recognizes the position of a focus area (e.g., a marker) captured in each of the multiple fluoroscopic images and generates a trajectory of the focus area as it moves based on the recognized position of the focus area
  • a selection unit (103) that selects a tracking method for tracking the focus area when treating the patient based on the trajectory of the focus area, it is possible to determine whether or not a treatment beam (B) can be irradiated in a respiratory synchronous manner based on the fluoroscopic images.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Radiation-Therapy Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

実施形態の医用画像処理装置は、画像取得部と、軌跡生成部と、選択部とを持つ。画像取得部は、患者を撮像した複数の透視画像を取得する。軌跡生成部は、複数の透視画像のそれぞれに写された着目部の位置を認識し、認識した着目部の位置に基づいて、着目部が移動している状態の軌跡を生成する。選択部は、着目部の軌跡に基づいて、着目部を追跡する追跡方法を選択する。

Description

医用画像処理装置、治療システム、医用画像処理方法、およびプログラム
 本発明の実施形態は、医用画像処理装置、治療システム、医用画像処理方法、およびプログラムに関する。
 放射線治療は、放射線を患者の体内にある腫瘍(病巣)に対して照射することによって、その腫瘍を破壊する治療方法である。放射線治療では、患者の正常な組織に対する放射線の影響を抑えるために、腫瘍に照射する放射線(治療ビーム)の照準を正確に合わせることが求められる。例えば、腫瘍が肺や肝臓の付近にある場合、患者の呼吸に同期して腫瘍の位置が移動する。このため、このような腫瘍に対しては、患者の呼吸に同期させて治療ビームを照射する呼吸同期照射が行われる。
 呼吸同期照射の一手法として、例えば、マーカー追跡手法がある。マーカー追跡手法では、患者の体内にある腫瘍の付近に予めマーカー(金属マーカー)を留置して、放射線治療時に撮像する透視画像(例えば、X線透視画像)によってマーカーを追跡する。そして、マーカー追跡手法では、マーカーの位置を基準として設定した所定の領域(照射スポット)内に透視画像に投影されたマーカーがあるときだけ、治療ビームの照射を行うように制御する。これにより、マーカー追跡手法では、好適なタイミングで腫瘍に治療ビームが照射され、適切な放射線治療を行うことができる。
 マーカー追跡手法に関して、治療の直前に患者の1呼吸分以上の時間で撮像した透視画像から、テンプレートマッチングによって金属マーカーの検出と追跡を行う手法に関する技術が開示されている(例えば、特許文献1参照)。従来の技術では、二方向から透視画像を撮像し、三角測量の手法を用いてマーカーの位置を三次元で推定している。これにより、従来の技術では、患者の呼吸に同期して移動するマーカーの位置を三次元的に把握し、好適なタイミングで腫瘍に治療ビームを照射することができる。
日本国特開2019-017867号公報
 従来の技術では、例えば、医師や技師など、放射線治療を行うユーザが、透視画像に投影されたマーカーを目視で確認し、マーカーの追跡方法を選択する。このため、従来の技術では、ユーザが、複数あるマーカーのテンプレートの中から、目視で確認したマーカーを追跡するために最適なテンプレートを手動で選択する必要がある。
 しかしながら、マーカーは、例えば、臓器や骨、あるいは透視画像に含まれるノイズなどの影響によって、目視での視認性が低い場合もある。これは、マーカーを外科手術によって体内に留置する際の患者の負担を軽減するために、例えば、直径0.25mmの針状のものなど、小さなものがマーカーとして使用され、マーカーは、大きな臓器と重なって撮像されるからである。このため、マーカーの追跡方法や最適なテンプレートを選択するために、透視画像に投影された視認性が低いマーカーの像が、マーカー追跡手法による追跡に用いることができるか否かを判断することは、ユーザにとって難しいものとなる。特に、経験が浅いユーザにとっては、非常に難しい判断となることが容易に予想できる。
 さらに、二方向から撮像している透視画像の内、一方向の透視画像のみで投影されているマーカーの像を視認することができるというような場合もある。この場合、マーカーを視認することができる一方向の透視画像に基づいてマーカーを追跡し、追跡したマーカーの位置が所定の領域(照射スポット)内にあるときに治療ビームの照射を行うように制御する必要がある。しかしながら、一方向の透視画像に基づいた呼吸同期照射が可能であるか否かの判断は、ユーザにとっては難しいものとなる。
 しかも、透視画像に投影されたマーカーは、患者の呼吸に合わせて周期的な移動を繰り返すものの、撮像した患者の1呼吸分の全ての期間においてマーカーの全体を視認することができるとは限らず、一部の期間や、マーカーの一部分において視認性が低くなる場合もある。この場合における呼吸同期照射の可否判断は、ユーザにとってさらに難しいものとなることが容易に予想できる。
 本発明が解決しようとする課題は、透視画像に基づいて、治療ビームを呼吸同期照射することができるか否かを判定することができる医用画像処理装置、治療システム、医用画像処理方法、およびプログラムを提供することである。
 本実施形態の一態様の医用画像処理装置は、画像取得部と、軌跡生成部と、選択部とを持つ。画像取得部は、患者を撮像した複数の透視画像を取得する。軌跡生成部は、複数の前記透視画像のそれぞれに写された着目部の位置を認識し、認識した前記着目部の位置に基づいて、前記着目部が移動している状態の軌跡を生成する。選択部は、前記着目部の軌跡に基づいて、前記着目部を追跡する追跡方法を選択する。
 上記態様によれば、透視画像に基づいて、治療ビームを呼吸同期照射することができるか否かを判定することができる医用画像処理装置、治療システム、医用画像処理方法、およびプログラムを提供することができる。
第1の実施形態の医用画像処理装置を備えた治療システムの構成の一例を示すブロック図。 第1の実施形態の医用画像処理装置の構成の一例を示すブロック図。 第1の実施形態の医用画像処理装置においてマーカーの認識に用いるテンプレートの一例を示す図。 第1の実施形態の医用画像処理装置においてマーカーの認識に用いるテンプレートの一例を示す図。 第1の実施形態の医用画像処理装置においてマーカーの認識に用いるテンプレートの一例を示す図。 第1の実施形態の医用画像処理装置においてマーカーの認識に用いるテンプレートの一例を示す図。 第1の実施形態の医用画像処理装置においてマーカーの位置を認識する処理の一例を模式的に示す図。 第1の実施形態の医用画像処理装置において位置を認識したマーカーの軌跡の一例を示す図。 第1の実施形態の医用画像処理装置において位置を認識したマーカーの軌跡の一例を示す図。 第1の実施形態の医用画像処理装置における動作の流れを示すフローチャート。 第1の実施形態の医用画像処理装置が備える選択部における追跡可否判定の動作の流れを示すフローチャート。 第1の実施形態の医用画像処理装置が備える選択部における別の追跡可否判定の動作の流れを示すフローチャート。 第2の実施形態の医用画像処理装置の構成の一例を示すブロック図。 実施形態の医用画像処理装置において情報を提示するための表示画像の一例を示す図(その1)。 実施形態の医用画像処理装置において情報を提示するための表示画像の一例を示す図(その2)。 実施形態の医用画像処理装置において情報を提示するための表示画像の一例を示す図(その3)。 実施形態の医用画像処理装置において情報を提示するための表示画像の一例を示す図(その4)。
 以下、実施形態の医用画像処理装置、治療システム、医用画像処理方法、およびプログラムを、図面を参照して説明する。
(第1の実施形態)
 図1は、第1の実施形態の医用画像処理装置を備えた治療システムの構成の一例を示すブロック図である。治療システム1は、例えば、治療台10と、寝台制御部11と、二つの放射線源20(放射線源20-1および放射線源20-2)と、二つの放射線検出器30(放射線検出器30-1および放射線検出器30-2)と、治療ビーム照射門40と、照射制御部41と、表示制御部50と、表示装置51と、医用画像処理装置100とを備える。
 図1に示したそれぞれの符号に続いて付与した「-」とそれに続く数字は、対応関係を識別するためのものである。例えば、放射線源20と放射線検出器30との対応関係では、放射線源20-1と放射線検出器30-1とが対応して一つの組となっていることを示し、放射線源20-2と放射線検出器30-2とが対応してもう一つの組となっていることを示す。以下の説明において複数ある同じ構成要素を区別せずに表す場合には、「-」とそれに続く数字を示さずに表す。
 治療台10は、放射線による治療を受ける被検体(患者)Pを固定する寝台である。寝台制御部11は、治療台10に固定された患者Pに治療ビームBを照射する方向を変えるために、治療台10に設けられた並進機構および回転機構を制御する。寝台制御部11は、例えば、治療台10の並進機構および回転機構のそれぞれを三軸方向、つまり、六軸方向に制御する。
 放射線源20-1は、患者Pの体内を透視するための放射線r-1を予め定められた角度から照射する。放射線源20-2は、患者Pの体内を透視するための放射線r-2を、放射線源20-1と異なる予め定められた角度から照射する。放射線r-1および放射線r-2は、例えば、X線である。図1には、治療台10上に固定された患者Pに対して、二方向からX線撮影を行う場合が示されている。図1においては、放射線源20による放射線rの照射を制御する制御部の図示を省略している。
 放射線検出器30-1は、放射線源20-1から照射されて患者Pの体内を通過して到達した放射線r-1を検出し、検出した放射線r-1のエネルギーの大きさに応じて患者Pの体内の状態を画像化した二次元のX線透視画像FI-1を生成する。放射線検出器30-2は、放射線源20-2から照射されて患者Pの体内を通過して到達した放射線r-2を検出し、検出した放射線r-2のエネルギーの大きさに応じて患者Pの体内の状態を画像化した二次元のX線透視画像FI-2を生成する。放射線検出器30-1と放射線検出器30-2とのそれぞれは、同じタイミング、つまり、同時にX線透視画像FI-1とX線透視画像FI-2とのそれぞれを生成する。放射線検出器30には、例えば、二次元のアレイ状にX線検出器が配置され、それぞれのX線検出器に到達した放射線rのエネルギーの大きさをデジタル値で表して画像化したデジタル画像を、X線透視画像FIとして生成する。放射線検出器30は、例えば、フラット・パネル・ディテクタ(Flat Panel Detector:FPD)や、イメージインテンシファイアや、カラーイメージインテンシファイアである。以下の説明においては、それぞれの放射線検出器30が、FPDであるもとする。放射線検出器30(FPD)は、生成したそれぞれのX線透視画像FIを医用画像処理装置100に出力する。図1においては、放射線検出器30によるX線透視画像FIの生成を制御する制御部の図示を省略している。
 医用画像処理装置100と放射線検出器30のそれぞれとは、例えば、LAN(Local Area Network)やWAN(Wide Area Network)によって接続される構成であってもよい。
 治療システム1では、放射線源20と放射線検出器30との組が、「撮像装置」の一例である。図1には、異なる二つの方向から患者PのX線透視画像FIを撮影する撮像装置が示されている。治療システム1では、X線透視画像FIが、「透視画像」の一例である。透視画像は、例えば、CT画像やDRR画像など、患者Pの体内の着目部が投影された画像であれば、いかなる画像であってもよい。
 治療システム1では、放射線源20と放射線検出器30との組が、一つの撮像装置として構成されている。治療システム1では、放射線源20と放射線検出器30との位置が固定されているため、放射線源20と放射線検出器30との組によって構成される撮像装置が撮影する方向(治療室の固定座標系に対する相対方向)が固定されている。このため、治療システム1が設置された三次元空間内において三次元座標を定義した場合、放射線源20と放射線検出器30との位置を、三軸の座標値で表すことができる。以下の説明においては、三軸の座標値の情報を、放射線源20と放射線検出器30との組によって構成される撮像装置のジオメトリ情報とよぶ。ジオメトリ情報を用いれば、所定の三次元座標内の任意の位置に位置する患者Pの体内の腫瘍(病巣)の位置を、放射線源20から照射された放射線が患者Pの体内を通過して放射線検出器30に到達したときの位置から求めることができる。つまり、所定の三次元座標における患者Pの体内の腫瘍の位置を、射影行列として求めることができる。
 ジオメトリ情報は、治療システム1を設置するときに設計された放射線源20および放射線検出器30の設置位置や、治療室において基準とする方向に対する放射線源20および放射線検出器30の傾きから得ることができる。ジオメトリ情報は、三次元計測器などによって計測した放射線源20および放射線検出器30の設置位置から得ることもできる。射影行列をジオメトリ情報から求めておくことによって、医用画像処理装置100は、三次元空間内にある患者Pの体内の腫瘍が、撮影されたX線透視画像FIのどの位置に撮影されるかを計算することができる。
 図1に示したような患者PのX線透視画像FIを二つ同時に撮影することができる撮像装置では、それぞれの放射線源20と放射線検出器30との組ごとに、射影行列を求めておくことができる。これにより、二つの透視画像に撮影された着目部の像の位置(二次元座標の位置)から、三角測量の原理と同様にして、着目部の位置を表す所定の三次元座標での座標値を計算することができる。着目部は、患者Pの体内の腫瘍(病巣)や、臓器、骨などである。着目部は、患者Pの体内にある腫瘍の付近に予め留置させたマーカーであってもよい。マーカーは、例えば、金属など、放射線rによってその像がX線透視画像FIに投影されるような材質のものによって形成されている。マーカーには、球型や、棒型、楔型などの様々な形状のものがある。以下の説明においては、着目部がマーカーであるものとする。
 図1に示した治療システム1では、2組の放射線源20と放射線検出器30、言い換えれば、二つの撮像装置を備える構成を示したが、治療システム1が備える撮像装置の数は、二つに限定されない。例えば、治療システム1において、三つ以上の撮像装置(3組以上の放射線源20と放射線検出器30との組)を備えてもよい。
 治療ビーム照射門40は、患者Pの体内の治療する対象の部位である腫瘍(病巣)を破壊するための放射線を治療ビームBとして照射する。治療ビームBは、例えば、重粒子線、X線、電子線、ガンマ線、陽子線、中性子線などである。治療ビームBは、治療ビーム照射門40から直線的に患者P(例えば、患者Pの体内の腫瘍)に照射される。照射制御部41は、治療ビーム照射門40から患者Pへの治療ビームBの照射を制御する。照射制御部41は、医用画像処理装置100により出力された治療ビームBの照射タイミングを指示する信号に応じて、治療ビーム照射門40に治療ビームBを照射させる。治療システム1では、治療ビーム照射門40が、「照射部」の一例であり、照射制御部41が、「照射制御部」の一例である。
 図1に示した治療システム1では、固定された一つの治療ビーム照射門40を備える構成を示したが、これに限定されず、治療システム1は、複数の治療ビーム照射門を備えてもよい。例えば、治療システム1では、患者Pに水平方向から治療ビームを照射する治療ビーム照射門をさらに備えてもよい。治療システム1では、一つの治療ビーム照射門が患者Pの周辺を回転することによって、様々な方向から治療ビームを患者Pに照射する構成であってもよい。例えば、図1に示した治療ビーム照射門40が、図1に示した水平方向Yの回転軸に対して360度回転することができる構成であってもよい。このような構成の治療システム1は、回転ガントリ型治療システムとよばれる。回転ガントリ型治療システムでは、治療ビーム照射門40の回転軸と同じ軸に対して、放射線源20および放射線検出器30も、同時に360度回転する。図1に示した治療システム1では、治療ビーム照射門40が治療ビームBを患者Pに照射する鉛直方向Zを0度として考えた場合、放射線r-1と放射線r-2とが治療ビームBに対して±45度の角度をなして互いに交差する、つまり、放射線r-1と放射線r-2が直交するように、放射線源20-1と放射線検出器30-1との組、および放射線源20-2と放射線検出器30-2との組を配置している構成を示した。しかし、治療システム1では、治療ビーム照射門40と、放射線源20-1および放射線検出器30-1の組と、放射線源20-2および放射線検出器30-2の組とのそれぞれを配置する位置は、図1に示した一例に限定されない。例えば、治療システム1は、鉛直方向Zや水平方向Yから治療ビームBを患者Pに対して照射する位置に治療ビーム照射門40を配置する構成のみならず、30度、60度、120度、150度などの角度を少なくとも含む任意の角度から、治療ビームBを患者Pに対して照射することができる、あるいは治療ビームBの照射角度や照射方向を調整することができる位置または構成の治療ビーム照射門40を配置する構成であってもよい。例えば、治療システム1は、それぞれの放射線rが直交するような位置に放射線源20と放射線検出器30との組を配置する構成のみならず、それぞれの放射線rが治療ビームBに対して異なる角度をなすような位置に放射線源20と放射線検出器30との組を配置する構成であってもよい。より具体的には、治療システム1は、例えば、放射線r-1が治療ビームBに対して+30度の角度(放射線r-1が時計の5時の方向から出射して11時の方向に入射する角度)をなすような位置に放射線源20-1と放射線検出器30-1との組を配置し、かつ、放射線r-2が治療ビームBに対して-60度の角度(放射線r-2が時計の8時の方向から出射して2時の方向に入射する角度)をなすような位置に放射線源20-2と放射線検出器30-2との組を配置する構成であってもよい。
 医用画像処理装置100は、放射線治療の準備の段階において撮影したX線透視画像FIに基づいて、例えば、患者Pの呼吸に同期して移動する腫瘍の位置を追跡することができるか否かを判定し、腫瘍を追跡する方法(追跡方法)を選択する。医用画像処理装置100は、選択した追跡方法で、患者Pの体内で移動する腫瘍を追跡する。医用画像処理装置100における腫瘍の追跡は、例えば、患者Pの体内に予め留置させたマーカーの位置を検出することによって間接的に行う。医用画像処理装置100は、放射線治療の準備の段階において撮影したX線透視画像FIに投影された患者Pの体内のマーカーの像(以下、「マーカー像」という)を認識し、このマーカー像のX線透視画像FI内の位置に基づいて、患者Pの体内で移動する腫瘍を追跡する。
 医用画像処理装置100における腫瘍の追跡は、マーカーの位置を検出することにより間接的に行う手法(マーカー追跡手法)に限定されない。医用画像処理装置100における腫瘍の追跡は、例えば、腫瘍の付近にある臓器の形状や動きに基づいて腫瘍の位置を間接的に認識する、つまり、マーカーを使用せずに腫瘍を追跡するマーカーレスの追跡手法であってもよいし、腫瘍の位置を認識して直接的に追跡する手法であってもよい。
 医用画像処理装置100は、追跡した腫瘍に事前に定められた治療ビームBを照射させる照射タイミングを指示するための信号を、照射制御部41に出力する。
 医用画像処理装置100は、例えば、医師や技師など、治療システム1を利用して放射線治療を実施する実施者、つまり、治療システム1のユーザに、マーカーあるいは腫瘍の位置を検出している状態や、マーカーあるいは腫瘍を追跡している状態を提示するため、現在の状態を表す情報を、表示制御部50に出力する。
 ところで、放射線治療では、例えば、数日~数週間前に行われる治療計画が行われる。治療計画の段階では、三次元のコンピュータ断層撮影(Computed Tomography:CT)画像を撮影し、このCT画像から仮想的にX線透視画像FIを再構成したデジタル再構成X線写真(Digitally Reconstructed Radiograph:DRR)画像が生成される。そして、治療計画では、治療ビームBを照射する治療部位(腫瘍)の位置を追跡するための関心領域(Region Of Interest:ROI)が決定される。治療計画では、治療部位に治療ビームBを照射させる向き(照射方向)、照射する治療ビームBの強度(照射強度)なども決定される。
 医用画像処理装置100は、腫瘍を追跡して治療ビームBの照射タイミングを指示する処理の他にも、治療システム1において放射線治療を行う際の種々の画像処理をする。例えば、医用画像処理装置100は、現在の患者Pの位置を、治療計画の段階などにおいて事前に定められた照射方向や照射強度で治療ビームBを照射させるために患者Pの位置を合わせる位置合わせのための画像処理をする。医用画像処理装置100は、それぞれの画像処理をした画像や、それぞれの画像処理によって得られる情報などを、対応する構成要素に出力する。治療システム1における患者Pの位置合わせの画像処理は、従来の治療システムと同様である。従って、医用画像処理装置100が患者Pの位置合わせをするための画像処理をする構成や処理に関する詳細な説明は省略する。
 表示制御部50は、医用画像処理装置100において患者Pの体内の腫瘍を追跡している途中を含めて、治療システム1における種々の情報をユーザに提示するための画像を表示装置51に表示させる。表示制御部50は、例えば、医用画像処理装置100により出力された、マーカーあるいは腫瘍の位置を検出している状態や、マーカーあるいは腫瘍を追跡している状態を表す情報を、表示装置51に表示させる。このとき、表示制御部50は、例えば、撮影したX線透視画像FIなどの種々の画像、またはこれらの画像に種々の情報を重畳した画像を表示装置51に表示させる。表示装置51は、例えば、液晶ディスプレイ(Liquid Crystal Display:LCD)などの表示装置である。治療システム1のユーザは、表示装置51に表示された画像を目視で確認することにより、治療システム1を利用して放射線治療をする際の情報を得ることができる。治療システム1は、例えば、治療システム1のユーザによって操作される操作部(不図示)などのユーザーインターフェースを備え、治療システム1によって実行する種々の機能を手動で操作することができる構成にしてもよい。
 治療システム1では、医用画像処理装置100と、放射線源20と放射線検出器30との組によって構成される上述した「撮像装置」と、照射制御部41と、表示制御部50とを合わせた構成を、「医用装置」としてもよい。治療システム1において「医用装置」は、医用画像処理装置100と、「撮像装置」と、照射制御部41と、表示制御部50とに加えて、上述した不図示の操作部などのユーザーインターフェースを含めた構成であってもよい。治療システム1において「医用装置」は、さらに、表示装置51と一体になった構成であってもよい。
 次に、医用画像処理装置100の構成について説明する。図2は、第1の実施形態の医用画像処理装置100の構成の一例を示すブロック図である。医用画像処理装置100は、画像取得部101と、軌跡生成部102と、選択部103と、追跡部104とを備える。図2には、医用画像処理装置100に接続される照射制御部41および表示制御部50(表示装置51も含む)も併せて示している。
 医用画像処理装置100が備える構成要素のうち一部または全部は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)などによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。これらの構成要素の機能のうち一部または全部は、専用のLSIによって実現されてもよい。ここで、プログラム(ソフトウェア)は、予め医用画像処理装置100が備えるROM(Read Only Memory)や、RAM(Random Access Memory)、フラッシュメモリなどの半導体メモリ素子、HDD(Hard Disk Drive)などの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体が医用画像処理装置100の備えるドライブ装置に装着されることで、医用画像処理装置100が備える記憶装置にインストールされてもよい。プログラム(ソフトウェア)は、他のコンピュータ装置からネットワークを介してダウンロードされて、医用画像処理装置100が備える記憶装置にインストールされてもよい。
 画像取得部101は、放射線治療の準備の段階において、治療システム1が適用された治療室の治療台10に固定された現在の患者Pの体内のX線透視画像FIを取得する。このとき、画像取得部101は、放射線検出器30により出力された複数フレームのX線透視画像FIを連続して取得する。言い換えれば、画像取得部101は、撮像装置が同時に異なる方向から撮影した二つの動画像を取得する。画像取得部101は、少なくとも、患者Pにおける呼吸の一周期分の長さの期間分のX線透視画像FIを連続して取得する。さらに、画像取得部101は、患者PのX線透視画像FIを取得する際に、それぞれのX線透視画像FIのジオメトリ情報も取得し、取得したそれぞれのX線透視画像FIとジオメトリ情報とを関連付ける。画像取得部101は、それぞれの放射線検出器30から、LANやWANを介してそれぞれのX線透視画像FIやジオメトリ情報を取得してもよい。画像取得部101は、ジオメトリ情報を関連付けたそれぞれのX線透視画像FI(複数フレームのX線透視画像FI)を、軌跡生成部102と追跡部104とのそれぞれに出力する。
 軌跡生成部102は、画像取得部101により出力されたそれぞれのX線透視画像FIにおいて、治療システム1のユーザによって指定された範囲内に投影されている患者Pの体内のマーカー像を認識する。軌跡生成部102がマーカー像を認識する範囲は、例えば、治療計画の段階において決定されたROIの範囲であってもよいし、治療計画時に生成したDRR画像内でマーカー像を含む所定の範囲であってもよい。軌跡生成部102は、例えば、予め用意しておいたマーカーの複数のテンプレートを用いたテンプレートマッチングによって、指定された範囲内のマーカー像を認識する。そして、軌跡生成部102は、それぞれのX線透視画像FIにおいて認識したマーカー像の位置に基づいて、患者Pの呼吸に同期して移動するマーカーの軌跡を生成する。より具体的には、軌跡生成部102は、それぞれのX線透視画像FIにおいて認識されたマーカー像の位置を順次結んで、少なくとも患者Pの呼吸の一周期分の長さの期間分のマーカーの軌跡を生成する。
 ここで、軌跡生成部102においてマーカー像を認識し、マーカー像の軌跡を生成する方法の一例について説明する。まず、X線透視画像FIに投影されたマーカーをテンプレートマッチングによって認識するためのテンプレートの一例について説明する。図3A~図3Dは、第1の実施形態の医用画像処理装置100(より具体的には、軌跡生成部102)においてマーカーの認識に用いるテンプレートの一例を示す図である。図3A~図3Dには、棒型のマーカーを認識するためのテンプレートの一例が示されている。テンプレートは、X線透視画像FIに投影されることが想定されるマーカー像を、画像平面上で複数の角度に回転させた二次元の画像である。図3Aに示したテンプレートは、X線透視画像FIにおいて、水平方向(この角度を0[deg]とする)に投影されているマーカーを認識するためのテンプレートの一例である。図3Bに示したテンプレートは、X線透視画像FIにおいて、右方向に回転して投影されている(つまり、右端が上方向に45[deg]傾いて投影されている)マーカーを認識するためのテンプレートの一例である。図3Cに示したテンプレートは、X線透視画像FIにおいて、右方向にさらに回転して、垂直方向に投影されている(つまり、右端が上方向に90[deg]傾いて投影されている)マーカーを認識するためのテンプレートの一例である。図3Dに示したテンプレートは、X線透視画像FIにおいて、右方向にさらに回転して投影されている(つまり、右端が135[deg]傾いて投影されている)マーカーを認識するためのテンプレートの一例である。図3A~図3Dに示したテンプレートは、あくまで一例であり、マーカーを追跡するためのテンプレートには、さらに多くのテンプレートが存在する。例えば、棒型のマーカーに対応するテンプレートには、奥行き方向に回転して投影されているマーカーを認識するものも存在する。異なる形状のマーカー(球形のマーカー以外)に対応するテンプレートも同様に、様々な方向に回転した状態を表す複数のものが存在する。
 軌跡生成部102は、X線透視画像FIのそれぞれに対して指定された範囲内に投影されている像と、図3A~図3Dに示したようなそれぞれのテンプレートと比較して(テンプレートマッチングして)、マーカー像を認識する。そして、軌跡生成部102は、X線透視画像FIにマーカーが投影されている場合、X線透視画像FIの画像平面上でのマーカーの位置を求めることができる。言い換えれば、軌跡生成部102は、二次元の座標系でマーカーの位置を求めることができる。X線透視画像FI上のマーカーの位置は、例えば、X線透視画像FIを構成する画素の位置で表すことができる。X線透視画像FI上でマーカーの位置を表す画素は、例えば、軌跡生成部102がX線透視画像FI上で認識したマーカー像の中心位置の画素である。ここで、X線透視画像FIには、マーカーの全体がマーカー像として投影されていない、つまり、マーカーの一部のみがマーカー像として投影されていることも考えられる。この場合、マーカーの位置を表す画素は、X線透視画像FIに投影されている一部のマーカー像における中心位置の画素や端部の位置の画素であってもよいし、軌跡生成部102がX線透視画像FI内でマーカー像であると認識する際に用いたテンプレートにおける中心位置に相当する画素であってもよい。
 さらに、軌跡生成部102は、同時に撮影された二つのX線透視画像FIのそれぞれにおいてマーカーが投影されている場合、そのマーカーの画素の位置と、X線透視画像FIに関連付けられているジオメトリ情報とに基づいて、治療室に定義した三次元の座標系でマーカーの位置を求めることができる。図4は、第1の実施形態の医用画像処理装置100(より具体的には、軌跡生成部102)においてマーカーの位置を認識する処理の一例を模式的に示す図である。図4には、治療室に定義した三次元座標内のマーカーの位置を、ジオメトリ情報に基づく射影行列として求める場合の一例を模式的に示している。以下の説明においては、三次元座標内の座標を表す符号の後に「→」を付することによって、その座標の位置と対応する座標の位置との間のベクトルを表すものとする。
 図4では、テンプレートマッチングによって軌跡生成部102が、X線透視画像FI-1上の座標m1=(u1,v1)Tの位置(画素の位置)にマーカー像が投影され、X線透視画像FI-2上の座標m2=(u2,v2)Tの位置(画素の位置)にマーカー像が投影されていると認識したものとする。軌跡生成部102は、X線透視画像FI-1上の座標m1とX線透視画像FI-1に対応する放射線源20-1の位置の座標との間のベクトルm→1、およびX線透視画像FI-2上の座標m2とX線透視画像FI-2に対応する放射線源20-2の位置の座標との間のベクトルm→2のそれぞれに基づいて、治療室の三次元座標系におけるマーカーの位置O→=(X,Y,Z)Tを、マーカーの位置O→に対して成り立つ下式(1)の関係性を用いて算出する。
Figure JPOXMLDOC01-appb-M000001
 上式(1)において、λ1、λ2、P→1、およびP→2のそれぞれの定数は、固定値の行列である。λ1とλ2とのそれぞれは、1×3の行列であり、P→1とP→2とのそれぞれは、治療室の三次元座標を表す3×4の射影行列である。ここで、テンプレートマッチングによって軌跡生成部102が認識したマーカーの座標m1や座標m2には、多少なりともマーカーの位置に誤差を含んでいると考えられる。このため、軌跡生成部102は、上式(1)の関係性に基づいた最小二乗によって、マーカーの三次元の位置の誤差を少なくした位置O=(X,Y,Z)Tを求める。
 このようにして軌跡生成部102は、それぞれのX線透視画像FI上で二次元のマーカーの位置(座標m1や座標m2)を求め、同時に撮影された二つのX線透視画像FIから三次元のマーカーの位置Oを求める計算を、患者Pの呼吸の一周期分行う。そして、軌跡生成部102は、連続して撮影されたそれぞれのX線透視画像FIから求めた二次元および三次元のマーカーの位置を順次結んで、患者Pの呼吸の一周期分の長さのマーカーの軌跡を生成する。このとき、軌跡生成部102は、連続して撮影されたそれぞれのX線透視画像FIのフレームの内、例えば、いずれか一つのX線透視画像FIにおいて二次元のマーカーの位置が求められないことも考えられる。つまり、二次元のマーカーの位置や、三次元のマーカーの位置Oの連続性が、例えば、1フレーム分の短時間の間途切れてしまっていることも考えられる。この場合、軌跡生成部102は、連続性が途切れてしまっている期間が短期間である場合に限られるが、マーカーの位置が求められなかったフレームにおいて求められるべきマーカーの位置を、他のフレームにおいて求めたマーカーの位置を用いて補完してもよい。例えば、軌跡生成部102は、一つ前のフレームにおいて求めたマーカーの位置を、マーカーの位置が求められなかったフレームにおいて求められるべきマーカーの位置として用いてもよいし、一つ前のフレームと一つ後のフレームとにおいて求めたそれぞれのマーカーの位置の中間の位置を、マーカーの位置が求められなかったフレームにおいて求められるべきマーカーの位置として用いてもよい。
 図5Aおよび図5Bは、第1の実施形態の医用画像処理装置100(より具体的には、軌跡生成部102)において位置を認識したマーカーの軌跡の一例を示す図である。図5Aおよび図5Bには、一方向のX線透視画像FIにおいて認識されたマーカーの位置をフレーム順、つまり、時系列に結んで生成した軌跡の一例が示されている。図5Aおよび図5Bは、軌跡生成部102が、同時に撮影された二つのX線透視画像FIから三次元のマーカーの位置Oを求める計算をした場合、三次元の位置Oの内の一方向、つまり、X軸方向、Y軸方向、Z軸方向のいずれか一方向のマーカーの位置をフレーム順(時系列)に結んで生成した軌跡の一例に相当する。図5Aに示した軌跡では、マーカーの位置(画素の位置あるいは座標)が周期的に変化している軌跡となっている。この軌跡からは、患者Pが落ち着いた状態で呼吸しているものと考えられる。このため、治療システム1では、マーカーの軌跡に基づくタイミングで、治療ビームBを好適に腫瘍(病巣)に照射することができると考えられる。これに対して、図5Bに示した軌跡では、マーカーの位置(画素の位置あるいは座標)が激しく変化している軌跡となっている。この軌跡では、治療システム1において好適に治療ビームBを腫瘍(病巣)に照射することができるとは考えづらい。この場合、マーカーの位置の軌跡が図5Aに示した軌跡のように周期的に変化するようになるまで放射線治療の開始を待ったり、例えば、マーカーレスの追跡手法など、マーカーを使用せずに腫瘍を追跡して好適に治療ビームBを照射する方法に切り替えたりすることが必要になると考えられる。
 図2に戻り、軌跡生成部102は、生成したそれぞれのマーカーの軌跡を表す情報を、選択部103に出力する。より具体的には、軌跡生成部102は、それぞれのX線透視画像FIに対して二次元の座標系で求めたテンプレートごとのマーカーの軌跡(画素の位置の変化)を表す情報と、同時に撮影された二つのX線透視画像FIに対して治療室に定義した三次元の座標系で求めたテンプレートごとのマーカーの軌跡(位置Oの変化)を表す情報とのそれぞれの情報を、選択部103に出力する。軌跡生成部102が出力するマーカーの軌跡を表す情報には、テンプレートマッチングに用いたテンプレートを表す情報も含まれている。テンプレートマッチングに用いたテンプレートを表す情報は、例えば、それぞれのテンプレートに対して排他的に割り当てられている識別情報である。
 選択部103は、軌跡生成部102により出力されたそれぞれのマーカーの軌跡を表す情報に基づいて、放射線治療においてマーカーを追跡する方法、つまり、腫瘍を間接的に追跡する方法を採用することができるか否かを判定し、判定結果に基づいて、マーカーあるいは腫瘍を追跡する追跡方法を選択する。選択部103は、例えば、機械学習を用いた識別器によって、放射線治療においてマーカーあるいは腫瘍を追跡する方法を採用することができるか否かを判定する。以下の説明においては、マーカーあるいは腫瘍を追跡する方法を採用することができるか否かを判定する処理を、「追跡可否判定」という。選択部103は、例えば、機械学習を用いた識別器によって、放射線治療においてマーカーあるいは腫瘍に対する追跡可否判定の処理を行う。機械学習を用いた識別器としては、例えば、ランダムフォレスト(Random Forest)や、決定木、サポートベクタマシン(Support Vector Machine:SVM)、K近傍法(K Nearest Neighbor Algorithm:KNN)、ロジスティック回帰などの分類モデルを使用する。分類モデルは、マーカーを追跡することができるか否かが既知である二次元の座標系の軌跡や三次元の座標系の軌跡を複数用意して、例えば、AI(Artificial Intelligence:人工知能)による機能を用いて予め学習させた学習済みモデルである。二次元の座標系の軌跡に対応する識別器と、三次元の座標系の軌跡に対応する識別器とは、同じ分類モデルを使用してもよいし、異なる分類モデルを使用してもよい。さらに、二次元の座標系の軌跡に対応する識別器において、X線透視画像FI-1から求めた軌跡に対応する識別器と、X線透視画像FI-2から求めた軌跡に対応する識別器とは、同じ分類モデルを使用してもよいし、異なる分類モデルを使用してもよい。
 選択部103は、軌跡生成部102により出力された三次元の座標系のマーカーの軌跡に基づく三次元での追跡可否判定の処理と、軌跡生成部102により出力された二次元の座標系のマーカーの軌跡に基づく二次元での追跡可否判定の処理とを実行する。選択部103における三次元での追跡可否判定の処理と、二次元での追跡可否判定の処理とは、同時期に行ってもよいし、いずれか一方の追跡可否判定の処理を先に行い、他方の追跡可否判定の処理を後に行うようにしてもよい。
 選択部103は、軌跡生成部102により出力された三次元の座標系で求めたマーカーの軌跡の情報が、三次元の位置Oの全ての方向(つまり、X軸方向、Y軸方向、およびZ軸方向)において、例えば、図5Aに示したような周期的に変化するような軌跡であることを表している場合、三次元の座標系でマーカーを追跡する追跡方法(以下、「三次元追跡」という)を選択する。選択部103は、軌跡生成部102により出力された三次元の座標系で求めたマーカーの軌跡の情報が、三次元の位置Oのいずれかの方向において、例えば、図5Bに示したような激しく変化している軌跡であることを表している場合、軌跡生成部102により出力された二次元の座標系で求めたマーカーの軌跡の情報を確認する。そして、選択部103は、二次元の座標系で求めたマーカーの軌跡の情報において、いずれか一方向のX線透視画像FIの軌跡が、例えば、図5Aに示したような周期的に変化するような軌跡であることを表している場合、このX線透視画像FIにおける二次元の座標系でマーカーを追跡する追跡方法(以下、「二次元追跡」という)を選択する。選択部103は、軌跡生成部102により出力された三次元の座標系で求めたマーカーの軌跡の情報と、二次元の座標系で求めたマーカーの軌跡の情報とのいずれも、例えば、図5Bに示したような激しく変化している軌跡であることを表している場合、マーカーを使用しない追跡方法(以下、「外部呼吸同期追跡」という)を選択する。
 選択部103は、選択した追跡方法を表す情報を、追跡部104に出力する。選択部103は、三次元追跡あるいは二次元追跡を選択した場合、軌跡生成部102がテンプレートマッチングに用いたテンプレートの情報も、追跡部104に出力する。
 追跡部104は、画像取得部101により出力されたそれぞれのX線透視画像FIにおいて、治療システム1のユーザによって指定された範囲内に投影されている患者Pの体内のマーカー像を、選択部103により出力された追跡方法で追跡する。このとき、追跡部104は、選択部103により出力されたテンプレートの情報が表すテンプレートを用いたテンプレートマッチングによって、マーカー像を追跡する。
 追跡部104は、マーカー像を追跡している現在の状態を表す情報を、表示制御部50に出力する。これにより、表示制御部50は、マーカーの位置を検出して追跡している現在の状態を提示するための表示画像を生成し、生成した表示画像を表示装置51に表示させることよって、治療システム1における現在の状態をユーザに提示させる。さらに、追跡部104は、追跡したマーカー像に基づいて、腫瘍に治療ビームBを照射させる照射タイミングを指示するための信号を生成し、生成した信号を照射制御部41に出力する。これにより、照射制御部41は、追跡部104により出力された照射タイミングで治療ビームBを照射するように、治療ビーム照射門40における治療ビームBの照射を制御する。
 このような構成によって、医用画像処理装置100では、軌跡生成部102が、放射線治療の準備の段階において撮影したX線透視画像FIに基づいて、着目部(上述した例ではマーカー)の軌跡を生成する。そして、医用画像処理装置100では、選択部103が、軌跡生成部102が生成した着目部の軌跡に基づいて、着目部を追跡する追跡方法を選択する。さらに、医用画像処理装置100では、追跡部104が、選択部103が選択した追跡方法で着目部を追跡し、着目部を追跡している状態をユーザに提示させるための情報や、治療ビームBの照射タイミングを指示する信号を出力する。これにより、医用画像処理装置100を備えた治療システム1では、マーカー追跡手法によってマーカーの追跡(腫瘍の間接的な追跡)を行うことができるか否かをユーザに提示するとともに、好適なタイミングで治療ビームBを腫瘍に照射することができる。
 次に、医用画像処理装置100の動作について説明する。図6は、第1の実施形態の医用画像処理装置100における動作の流れを示すフローチャートである。治療システム1による放射線治療の準備の段階において、画像取得部101は、放射線検出器30により出力された1フレーム目のそれぞれのX線透視画像FIを取得する(ステップS100)。画像取得部101は、取得したそれぞれのX線透視画像FIに対応するジオメトリ情報を関連付けて、軌跡生成部102と追跡部104とのそれぞれに出力する。
 続いて、軌跡生成部102は、画像取得部101により出力された1フレーム目のそれぞれのX線透視画像FIにおいて、ユーザによって指定された範囲内に投影されている患者Pの体内のマーカー像を認識する(ステップS110)。そして、軌跡生成部102は、それぞれのX線透視画像FIにおいて認識したマーカー像の位置を最初の位置とした、マーカーの軌跡を生成する(ステップS120)。
 軌跡生成部102は、患者Pの呼吸の一周期分のマーカーの軌跡の生成が終了したか否かを確認する(ステップS130)。ステップS130において、患者Pの呼吸の一周期分のマーカーの軌跡の生成が終了していないことが確認された場合、軌跡生成部102は、処理をステップS100に戻す。これにより、画像取得部101は、ステップS100において、次のフレームのX線透視画像FIを取得し、軌跡生成部102は、ステップS110において、次のフレームに投影されているマーカー像を認識し、ステップS120において、認識したマーカー像の位置を次の位置としたマーカーの軌跡を生成する。このように、医用画像処理装置100では、画像取得部101と軌跡生成部102とのそれぞれが処理を繰り返すことにより、患者Pの呼吸の一周期分のマーカーの軌跡を生成する。
 一方、ステップS130において、患者Pの呼吸の一周期分のマーカーの軌跡の生成が終了したことが確認された場合、軌跡生成部102は、それぞれのX線透視画像FIに投影されたマーカー像の位置をマーカーの軌跡として表したそれぞれの情報を、選択部103に出力して、処理をステップS200に進める。
 これにより、選択部103は、軌跡生成部102により出力されたそれぞれのマーカーの軌跡を表す情報に基づいて、放射線治療においてマーカーを追跡する方法を採用することができるか否かを判定する、追跡可否判定の処理を実行する(ステップS200)。ここで、選択部103における追跡可否判定の処理のより詳細な動作について説明する。図7は、第1の実施形態の医用画像処理装置100が備える選択部103における追跡可否判定の動作の流れを示すフローチャートである。図7には、軌跡生成部102により出力された三次元の座標系のマーカーの軌跡に基づいて、三次元での追跡可否判定の処理(三次元追跡の可否判定の処理)を行う場合の動作の流れの一例が示されている。
 追跡可否判定の処理において、選択部103は、軌跡生成部102により出力された、三次元の座標系で求めたマーカーの軌跡の情報に対して、対応する分類モデルを使用し、三次元追跡の可否判定を行う。まず、選択部103は、三次元の位置OにおけるX軸方向、Y軸方向、およびZ軸方向の全ての方向のマーカーの軌跡が、周期的に変化するような軌跡があるか否かを確認する(ステップS210)。このステップS210の処理における確認は、軌跡生成部102が生成したそれぞれの軌跡ごと、言い換えれば、マーカーの軌跡を生成するために軌跡生成部102がテンプレートマッチングで用いたそれぞれのテンプレートごとに行う。
 ステップS210において、いずれか一つのマーカーの軌跡でも、全ての方向のマーカーの軌跡が周期的に変化する軌跡があることが確認された場合、選択部103は、この全ての方向が周期的に変化する三次元の座標系のマーカーの軌跡を用いて、マーカー追跡を行うことができる、つまり、三次元追跡が可能であると判定する(ステップS212)。その後、選択部103は、処理を戻す。
 一方、ステップS210において、いずれのマーカーの軌跡も、全ての方向のマーカーの軌跡が周期的に変化する軌跡がないことが確認された場合、選択部103は、三次元の座標系のマーカーの軌跡を用いて、マーカー追跡を行うことができない、つまり、三次元追跡が不可能であると判定する(ステップS214)。その後、選択部103は、処理を戻す。
 このようにして、選択部103は、三次元追跡の可否判定の処理を行う。ところで、選択部103は、上述したように、軌跡生成部102により出力された三次元の座標系のマーカーの軌跡に基づく三次元での追跡可否判定の処理と、軌跡生成部102により出力された二次元の座標系のマーカーの軌跡に基づく二次元での追跡可否判定の処理とを実行する。このとき、選択部103において、三次元での追跡可否判定の処理と、二次元での追跡可否判定の処理とを同時期に行う場合において、X線透視画像FI-1に対する二次元追跡の可否判定の処理と、X線透視画像FI-2に対する二次元追跡の可否判定の処理とを同時期に行う場合におけるそれぞれの追跡可否判定の処理は、図7に示した三次元追跡の可否判定の処理において、三次元を二次元に読み替えればよい。
 一方、選択部103は、上述したように、それぞれの追跡可否判定の処理を同時期に行わなくてもよい。ここで、選択部103が、二次元での追跡可否判定の処理を同時期に行わない場合のより詳細な動作について説明する。図8は、第1の実施形態の医用画像処理装置100が備える選択部103における別の追跡可否判定の動作の流れを示すフローチャートである。図8には、軌跡生成部102により出力された二次元の座標系のマーカーの軌跡に基づいて、それぞれのX線透視画像FIに対する二次元での追跡可否判定の処理(二次元追跡の可否判定の処理)を、順次行う場合の動作の流れの一例が示されている。
 追跡可否判定の処理において、選択部103は、軌跡生成部102により出力された、それぞれのX線透視画像FIに対して二次元の座標系で求めたマーカーの軌跡の情報に対して、対応する分類モデルを使用し、二次元追跡の可否判定を行う。まず、選択部103は、いずれか一方向のX線透視画像FI(ここでは、X線透視画像FI-1とする)に対して求めた二次元の画素の位置に基づくマーカーの軌跡が、周期的に変化するような軌跡があるか否かを確認する(ステップS220)。このステップS220の処理における確認は、軌跡生成部102が生成したX線透視画像FI-1におけるそれぞれの軌跡ごと、言い換えれば、X線透視画像FI-1に投影されたマーカーの軌跡を生成するために軌跡生成部102がテンプレートマッチングで用いたそれぞれのテンプレートごとに行う。
 ステップS220において、いずれか一つのマーカーの軌跡でも、周期的に変化する軌跡があることが確認された場合、選択部103は、このX線透視画像FI-1において周期的に変化する二次元の座標系のマーカーの軌跡を用いて、マーカー追跡を行うことができる、つまり、二次元追跡が可能であると判定する(ステップS222)。その後、選択部103は、処理を戻す。
 一方、ステップS220において、いずれのマーカーの軌跡も、周期的に変化する軌跡がないことが確認された場合、選択部103は、他方向のX線透視画像FI(ここでは、X線透視画像FI-2とする)に対して求めた二次元の画素の位置に基づくマーカーの軌跡が、周期的に変化するような軌跡があるか否かを確認する(ステップS224)。このステップS224の処理における確認でも、軌跡生成部102が生成したX線透視画像FI-2におけるそれぞれの軌跡ごと、言い換えれば、X線透視画像FI-2に投影されたマーカーの軌跡を生成するために軌跡生成部102がテンプレートマッチングで用いたそれぞれのテンプレートごとに行う。
 ステップS224において、いずれか一つのマーカーの軌跡でも、周期的に変化する軌跡があることが確認された場合、選択部103は、このX線透視画像FI-2において周期的に変化する二次元の座標系のマーカーの軌跡を用いて、マーカー追跡を行うことができる、つまり、二次元追跡が可能であると判定する(ステップS222)。その後、選択部103は、処理を戻す。
 一方、ステップS224において、いずれのマーカーの軌跡も、周期的に変化する軌跡がないことが確認された場合、選択部103は、X線透視画像FI-1とX線透視画像FI-2とのいずれでも、二次元の座標系のマーカーの軌跡を用いて、マーカー追跡を行うことができない、つまり、二次元追跡が不可能である判定する(ステップS226)。その後、選択部103は、処理を戻す。
 このようにして、選択部103は、二次元追跡の可否判定の処理を行う。ところで、選択部103は、上述したように、軌跡生成部102により出力された三次元の座標系のマーカーの軌跡に基づく三次元での追跡可否判定の処理と、軌跡生成部102により出力された二次元の座標系のマーカーの軌跡に基づく二次元での追跡可否判定の処理とを実行する。このため、選択部103は、図7に示した三次元追跡の可否判定の処理を先に行い、図8に示した二次元追跡の可否判定の処理を後に行うようにしてもよいし、逆に、図8に示した二次元追跡の可否判定の処理を先に行い、図7に示した三次元追跡の可否判定の処理を後に行うようにしてもよい。ここで、治療システム1におけるマーカーの軌跡では、二次元追跡よりも三次元追跡の方がより高精度にマーカーを追跡することができると考えられる。このため、選択部103は、三次元追跡の可否判定の処理を先に行い、二次元追跡の可否判定の処理を後に行うようにした場合において、三次元追跡を行うことができると判定した場合には、二次元追跡の可否判定の処理を行わないようにしてもよい。つまり、選択部103は、処理を戻すようにしてもよい。一方、選択部103は、二次元追跡の可否判定の処理を先に行い、三次元追跡の可否判定の処理を後に行うようにした場合には、二次元追跡を行うことができると判定した場合でも、三次元追跡の可否判定の処理を行うようにしてもよい。
 図6に戻り、選択部103は、ステップS200において追跡可否判定の処理を実行した後、三次元追跡の可否判定の処理と、二次元追跡の可否判定の処理とのそれぞれにおける判定結果に基づいて、マーカーの追跡方法を選択する(ステップS300)。このステップS300の処理では、例えば、三次元追跡の可否判定の処理と二次元追跡の可否判定の処理とのいずれも追跡が可能であるという判定結果である場合、選択部103は、マーカーの追跡方法として三次元追跡を選択する。一方、例えば、三次元追跡の可否判定の処理と二次元追跡の可否判定の処理とのいずれか一方のみが追跡が可能であるという判定結果である場合、選択部103は、マーカーの追跡方法として、判定結果が追跡可能である追跡方法を選択する。そして、例えば、三次元追跡の可否判定の処理と二次元追跡の可否判定の処理とのいずれも追跡が不可能であるという判定結果である場合、選択部103は、マーカーを使用せずに腫瘍の位置を間接的あるいは直接的に判定して追跡するマーカーレスの追跡手法(外部呼吸同期追跡)を、追跡方法として選択する。選択部103は、選択した追跡方法を表す情報を、追跡部104に出力する。
 これにより、追跡部104は、選択部103により出力された追跡方法で、画像取得部101により出力されたそれぞれのX線透視画像FIに投影されているマーカー像や腫瘍を追跡する(ステップS400)。そして、放射線治療が開始されると、追跡部104は、腫瘍に治療ビームBを照射させる照射タイミングを指示するための信号を照射制御部41に出力して、治療ビーム照射門40に治療ビームBを照射させる(ステップS410)。以降、追跡部104は、放射線治療が終了するまで(ステップS420において放射線治療を終了することが確認されるまで)、ステップS400の処理におけるマーカー像や腫瘍を追跡と、ステップS410における治療ビームBの照射の制御とを繰り返す。治療システム1における放射線治療の段階における処理や、動作(制御)は、従来の治療システムと同様である。従って、医用画像処理装置100が放射線治療の段階において行う処理や、動作(制御)に関する詳細な説明は省略する。
 このような処理によって、医用画像処理装置100では、軌跡生成部102が、放射線治療の準備の段階において撮影したX線透視画像FIに基づいて、着目部(上述した例ではマーカー)の軌跡を生成する。そして、医用画像処理装置100では、選択部103が、軌跡生成部102が生成した着目部の軌跡に基づいて、着目部の軌跡を生成するためのテンプレートマッチングにおいて用いたそれぞれのテンプレートごとに、着目部の追跡可否判定を行って、着目部を追跡する追跡方法を選択する。その後、医用画像処理装置100では、追跡部104が、選択部103が選択した追跡方法で着目部を追跡し、放射線治療が開始されると、治療ビームBの照射を制御する。
 医用画像処理装置100では、軌跡生成部102が、X線透視画像FIに投影されている着目部を認識し、その着目部を追跡するための軌跡を生成する場合の構成を示したが、軌跡を生成するために認識する着目部は、X線透視画像FIに投影されている着目部に限定されない。例えば、軌跡生成部102は、CT画像やDRR画像など、患者Pの体内の着目部を認識することができる画像であれば、いかなる画像に基づいて着目部の軌跡を生成してもよい。さらに、医用画像処理装置100では、軌跡生成部102が、テンプレートマッチングによって着目部を認識する場合の構成を示したが、着目部の認識は、テンプレートマッチング以外の方法で行ってもよい。例えば、軌跡生成部102は、X線透視画像FIやDRR画像内の着目部における輝度の勾配を特徴量とした輪郭を検出することによって、着目部の認識をしてもよいし、機械学習の一つであるディープラーニング(Deep Learning:深層学習)を用いて着目部の特徴を学習させた深層学習モデルを用いて、着目部の認識をするようにしてもよい。
 医用画像処理装置100では、軌跡生成部102が生成した着目部の軌跡を識別器に入力することによって、マーカーあるいは腫瘍に対する追跡可否判定の処理を行う場合の構成を示したが、識別器による追跡可否判定は、着目部の軌跡に基づいて行う処理に限定されない。例えば、軌跡生成部102は、二次元の座標系で求めた着目部の位置(画素の位置)や、三次元の座標系で求めた着目部の位置を、着目部の軌跡を生成せずにそのまま選択部103に出力し、選択部103は、二次元の座標系と三次元の座標系とのそれぞれにおける着目部の位置の変位(連続する二つのフレーム間での位置の差分)を識別器に入力することによって、マーカーあるいは腫瘍に対する追跡可否判定の処理を行うようにしてもよい。この場合における軌跡生成部102や選択部103の処理や、動作(制御)、その他、医用画像処理装置100が備えるそれぞれの構成要素の処理や、動作(制御)は、上述した第1の実施形態における処理や、動作(制御)と等価なものになるようにすればよい。
 医用画像処理装置100では、選択部103が着目部の追跡方法を選択した後、軌跡生成部102や選択部103は、それぞれの処理や動作(制御)を終了していたが、引き続き処理や動作(制御)を継続する構成にしてもよい。この場合、仮に、放射線治療の途中で選択した追跡方法での着目部の追跡が困難になってきた場合でも、より早く異なる追跡方法に切り替えることができるようになる。
(第2の実施形態)
 以下、第2の実施形態について説明する。第2の実施形態の医用画像処理装置を備えた治療システムの構成は、図1に示した第1の実施形態の医用画像処理装置100を備えた治療システム1の構成において、医用画像処理装置100が第2の実施形態の医用画像処理装置(以下、「医用画像処理装置200」という)に代わった構成である。以下の説明においては、医用画像処理装置200を備えた治療システムを、「治療システム2」という。
 以下の説明においては、医用画像処理装置200を備えた治療システム2の構成要素において、第1の実施形態の医用画像処理装置100を備えた治療システム1の構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。そして、以下の説明においては、第1の実施形態の医用画像処理装置100と異なる構成要素である医用画像処理装置200の構成、動作、および処理についてのみを説明する。
 医用画像処理装置200は、第1の実施形態の医用画像処理装置100と同様に、放射線治療の準備の段階において撮影したX線透視画像FIに基づいて、例えば、患者Pの呼吸に同期して移動する腫瘍の位置を追跡することができるか否かを判定し、腫瘍を追跡する方法(追跡方法)を選択する。医用画像処理装置200も、医用画像処理装置100と同様に、選択した追跡方法で、患者Pの体内で移動する腫瘍を追跡し、追跡した腫瘍に対する治療ビームBの照射を制御する。
 以下、医用画像処理装置200の構成について説明する。図9は、第2の実施形態の医用画像処理装置200の構成の一例を示すブロック図である。医用画像処理装置200は、画像取得部101と、軌跡生成部102と、尤度計算部202と、選択部203と、追跡部104とを備える。図9にも、医用画像処理装置200に接続される照射制御部41および表示制御部50(表示装置51も含む)も併せて示している。
 医用画像処理装置200は、医用画像処理装置100に尤度計算部202が追加され、これに伴って、選択部103が選択部203に代わった構成である。医用画像処理装置200が備えるその他の構成要素は、医用画像処理装置100が備える構成要素と同じ構成要素である。従って、以下の説明においては、医用画像処理装置200の構成要素において、医用画像処理装置100が備える構成要素と同様の構成要素には、同一の符号を付与し、それぞれの構成要素に関する詳細な説明を省略する。そして、以下の説明においては、医用画像処理装置100と異なる構成要素についてのみを説明する。
 尤度計算部202は、医用画像処理装置100が備える軌跡生成部102と同様に、画像取得部101により出力されたそれぞれのX線透視画像FIにおいて、治療システム1のユーザによって指定された範囲内に投影されている患者Pの体内のマーカー像を認識する。尤度計算部202は、軌跡生成部102からマーカー像の認識結果を取得するようにしてもよい。この場合、尤度計算部202は、マーカー像の認識に要する処理の負荷を軽減させることができる。尤度計算部202は、それぞれのX線透視画像FIに対して、認識したマーカー像の尤度を計算する。ここで、尤度計算部202が計算するマーカー像の尤度とは、指定された範囲内のマーカー像の確からしさ(類似性)を表す値である。尤度計算部202は、テンプレートマッチングにおいて用いるテンプレートのマーカーと、X線透視画像FIに投影されているマーカーとの尤度を、それぞれのX線透視画像FIごとに算出する。尤度は、テンプレートのマーカーとの類似性が高ければ高い値(テンプレートのマーカー像である場合に最も高い値)になり、テンプレートのマーカーとの類似性が低くなるにつれて低くなる値である。
 図9に示した医用画像処理装置200の構成では、尤度計算部202を、軌跡生成部102と並列に備えている。このため、尤度計算部202は、軌跡生成部102がマーカー像の軌跡を生成するのと同時期に、軌跡生成部102が軌跡を生成するそれぞれのフレームのX線透視画像FIに対して尤度を算出する。尤度計算部202における尤度の計算と、軌跡生成部102におけるマーカー像の軌跡の生成とは、同時期に行うことに限定されない。例えば、尤度計算部202における尤度の計算を先に行い、軌跡生成部102におけるマーカー像の軌跡の生成を後に行うようにしてもよい。この場合、軌跡生成部102は、尤度が高い方から所定の数のテンプレートを使用してマーカー像の軌跡の生成するようにすれば、マーカー像の軌跡の生成に要する処理の負荷を軽減させることができる。
 尤度計算部202は、それぞれのフレームのX線透視画像FIに対して算出したマーカー像の尤度を表す情報を、選択部203に出力する。尤度計算部202は、患者Pの呼吸の一周期分の長さの期間分の複数のフレームを一つの単位とし、この単位に含まれる全てのフレームのX線透視画像FIに対して算出したそれぞれのマーカー像の尤度の平均値(平均尤度)を算出し、平均尤度を表す情報を、選択部203に出力してもよい。
 選択部203は、軌跡生成部102により出力されたそれぞれのマーカーの軌跡を表す情報と、尤度計算部202により出力されたX線透視画像FIに投影されたマーカー像の尤度を表す情報とに基づいて、放射線治療においてマーカーあるいは腫瘍を追跡する追跡方法を選択する。選択部203における追跡方法の選択は、医用画像処理装置100が備える選択部103と同様であるが、選択部203には、マーカー像の尤度を表す情報も入力されている。このため、選択部203では、マーカー像の尤度が最も高い、つまり、放射線治療に最適なテンプレートが対応するX線透視画像FIから、マーカーあるいは腫瘍を追跡する追跡方法を選択することができる。選択部203は、尤度が高い方から所定の数のテンプレートが対応するX線透視画像FIから、マーカーあるいは腫瘍を追跡する追跡方法を選択するようにしてもよい。これらの場合の選択部203における追跡方法の選択処理は、図6~図8を参照して説明した選択部103における追跡方法の選択処理に、マーカー像の尤度が考慮されるのみであり、選択部103における追跡方法の選択処理に基づいて容易に考えることができる。従って、選択部203における追跡方法の選択処理に関する詳細な説明は省略する。
 選択部203は、選択部103と同様に、選択した追跡方法を表す情報を、追跡部104に出力する。選択部203は、選択部103と同様に、三次元追跡あるいは二次元追跡を選択した場合、軌跡生成部102がテンプレートマッチングに用いたテンプレート(マーカー像の尤度が最も高いテンプレート、あるいは尤度が高い方から所定の数のテンプレート)の情報も、追跡部104に出力する。
 このような構成および処理によって、医用画像処理装置200でも、第1の実施形態の医用画像処理装置100と同様に、軌跡生成部102が、放射線治療の準備の段階において撮影したX線透視画像FIに基づいて、着目部(上述した例ではマーカー)の軌跡を生成する。さらに、医用画像処理装置200では、尤度計算部202が、それぞれのX線透視画像FIに対して、マーカー像の尤度を計算する。そして、医用画像処理装置200では、選択部203が、軌跡生成部102が生成した着目部の軌跡と、尤度計算部202が計算したマーカー像の尤度とに基づいて、着目部を追跡する追跡方法を選択する。さらに、医用画像処理装置200でも、医用画像処理装置100と同様に、追跡部104が、選択部103が選択した追跡方法で着目部を追跡し、着目部を追跡している状態をユーザに提示させるための情報や、治療ビームBの照射タイミングを指示する信号を出力する。これにより、医用画像処理装置200を備えた治療システム2でも、医用画像処理装置100を備えた治療システム1と同様に、マーカー追跡手法によってマーカーの追跡(腫瘍の間接的な追跡)を行うことができるか否かをユーザに提示するとともに、好適なタイミングで治療ビームBを腫瘍に照射することができる。
 ここで、医用画像処理装置100または医用画像処理装置200において、マーカーの追跡を行うことができるか否かをユーザに提示する情報の一例について説明する。以下の説明においては、医用画像処理装置200が、ユーザに情報を提示するものとする。図10および図11は、実施形態の医用画像処理装置(ここでは、医用画像処理装置200)において情報を提示するための表示画像の一例を示す図である。
 図10には、三次元の座標系でマーカーの位置を検出している状態を表すGUI(Graphical User Interface)画像IM1の一例が示されている。GUI画像IM1では、透視画像表示領域FA内に、マーカーの検出を行っているX線透視画像FI-1およびX線透視画像FI-2と、三次元の座標系で求めたそれぞれの方向(X軸方向、Y軸方向、およびZ軸方向)におけるマーカーの軌跡を、折れ線グラフで提示している。さらに、GUI画像IM1では、情報表示領域IA内に、検出しているマーカーに関する情報を提示している。より具体的には、GUI画像IM1では、情報表示領域IA内に、三次元追跡を行うためのマーカーを検出していることを表す情報、現在検出されているマーカーの三次元の位置Oを表す情報、現在検出されているマーカー像の尤度を表す情報、検出に用いているテンプレートなどの情報を提示している。
 図11には、二次元の座標系でマーカーの位置を検出している状態を表すGUI画像IM2の一例が示されている。GUI画像IM2では、透視画像表示領域FA内に、マーカーの検出を行っているX線透視画像FI-1およびX線透視画像FI-2を提示し、それぞれのX線透視画像FIに対応付けて、X線透視画像FI上の二次元の座標系で求めた画素の位置を表すそれぞれの方向(u軸方向およびv軸方向)におけるマーカーの軌跡を折れ線グラフで提示している。より具体的には、X線透視画像FI-1に対応付けて、画素の位置を表すu1軸方向およびv1軸方向のマーカーの軌跡を折れ線グラフで提示しX線透視画像FI-2に対応付けて、画素の位置を表すu2軸方向およびv2軸方向のマーカーの軌跡を折れ線グラフで提示している。さらに、GUI画像IM2では、情報表示領域IA内に、検出しているマーカーに関する情報を提示している。より具体的には、GUI画像IM2では、情報表示領域IA内に、二次元追跡を行うためのマーカーを検出していることを表す情報、それぞれのX線透視画像FI上で現在検出されているマーカーの二次元の画素の位置を表す情報、現在検出されているマーカー像の尤度を表す情報、検出に用いているテンプレートなどの情報を提示している。
 ユーザは、GUI画像IM1やGUI画像IM2によって提示されている情報を確認し、不図示の操作部などのユーザーインターフェースを操作することにより、マーカーの追跡を制御することができる。より具体的には、ユーザは、情報表示領域IA内の「追跡方法切替」や、「フィルタ切替」によって、マーカーの追跡方法や、追跡に用いるテンプレートを切り替えることができ、情報表示領域IA内の「追跡開始」によって、マーカーの追跡を開始させることができる。
 図12および図13は、実施形態の医用画像処理装置(ここでは、医用画像処理装置200)において情報を提示するための表示画像の別の一例を示す図である。
 図12には、マーカーの三次元追跡を行っている状態を表すGUI画像IM3の一例が示されている。GUI画像IM3では、透視画像表示領域FA内に、マーカーの追跡を行っているX線透視画像FI-1およびX線透視画像FI-2と、三次元の座標系で求めたそれぞれの方向(X軸方向、Y軸方向、およびZ軸方向)におけるマーカーの軌跡を、折れ線グラフで提示している。GUI画像IM3では、X線透視画像FI-1とX線透視画像FI-2とのそれぞれに、追跡しているマーカーの位置を表す「×印」も提示している。追跡しているマーカーの位置を表す印は、「×印」に限定されず、「○印」や、色を変えるなど、マーカーの位置を強調して表示させることができれば、いかなるものであってもよい。さらに、GUI画像IM3では、情報表示領域IA内に、追跡しているマーカーに関する情報を提示している。より具体的には、GUI画像IM3では、情報表示領域IA内に、追跡に用いているテンプレートを表す情報、三次元追跡を行っているマーカーの三次元の位置Oを表す情報、マーカー像の尤度を表す情報などの情報を提示している。
 図13には、マーカーの二次元追跡を行っている状態を表すGUI画像IM4の一例が示されている。GUI画像IM4では、透視画像表示領域FA内に、マーカーの追跡を行っているX線透視画像FI-1およびX線透視画像FI-2を提示し、それぞれのX線透視画像FIに対応付けて、X線透視画像FI上の二次元の座標系で求めた画素の位置を表すそれぞれの方向(u軸方向およびv軸方向)におけるマーカーの軌跡を折れ線グラフで提示している。より具体的には、X線透視画像FI-1に対応付けて、画素の位置を表すu1軸方向およびv1軸方向のマーカーの軌跡を折れ線グラフで提示しX線透視画像FI-2に対応付けて、画素の位置を表すu2軸方向およびv2軸方向のマーカーの軌跡を折れ線グラフで提示している。GUI画像IM4では、X線透視画像FI-1のみに、追跡しているマーカーの位置を表す「×印」も提示している。これは、X線透視画像FI-2において、追跡しているマーカー像のv2軸方向の画素の位置の軌跡が、激しく変化している軌跡となっているため、マーカーの位置を追跡することができていないからである。さらに、GUI画像IM4では、情報表示領域IA内に、追跡しているマーカーに関する情報を提示している。より具体的には、GUI画像IM4では、情報表示領域IA内に、追跡に用いているテンプレートを表す情報、二次元追跡を行っているマーカーの二次元の画素の位置を表す情報、マーカー像の尤度を表す情報などの情報を提示している。
 ユーザは、GUI画像IM3やGUI画像IM4によって提示されている情報を確認し、不図示の操作部などのユーザーインターフェースを操作することにより、腫瘍への治療ビームBの照射を制御することができる。より具体的には、ユーザは、情報表示領域IA内の「治療方法取得」や、「治療方法変更」によって、今回行う放射線治療の内容を確認することができ、情報表示領域IA内の「治療開始」によって、腫瘍への治療ビームBの照射を開始させることができる。
 上記に述べたとおり、各実施形態の医用画像処理装置では、軌跡生成部によって、放射線治療の準備の段階において撮影した二次元の透視画像(例えば、X線透視画像)に基づいて、着目部(例えば、マーカー)の軌跡を生成する。そして、各実施形態の医用画像処理装置では、選択部によって、着目部を追跡する追跡方法を選択する。つまり、各実施形態の医用画像処理装置では、選択部によって、着目部の追跡可否判定と、追跡に用いるテンプレートの選択とを自動で行う。その後、各実施形態の医用画像処理装置では、選択した追跡方法で、着目部を追跡する。これにより、各実施形態の医用画像処理装置を備えた治療システムでは、透視画像に基づいて放射線(治療ビーム)を被検体(患者)の呼吸に同期して照射する(呼吸同期照射する)ことができるか否かを判定することができる。さらに、各実施形態の医用画像処理装置を備えた治療システムでは、着目部の位置を検出している状態や、着目部を追跡している状態などをユーザに提示するとともに、好適なタイミングで放射線を被検体の体内の腫瘍(病巣)に照射させることができる。
 以上説明した少なくともひとつの実施形態によれば、患者(P)を撮像した複数の透視画像(例えば、X線透視画像FI)を取得する画像取得部(101)と、複数の透視画像のそれぞれに写された着目部(例えば、マーカー)の位置を認識し、認識した着目部の位置に基づいて、着目部が移動している状態の軌跡を生成する軌跡生成部(102)と、着目部の軌跡に基づいて、患者に対して治療を行う際に着目部を追跡する追跡方法を選択する選択部(103)と、を持つことにより、透視画像に基づいて、治療ビーム(B)を呼吸同期照射することができるか否かを判定することができる。
 本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

Claims (12)

  1.  患者を撮像した複数の透視画像を取得する画像取得部と、
     複数の前記透視画像のそれぞれに写された着目部の位置を認識し、認識した前記着目部の位置に基づいて、前記着目部が移動している状態の軌跡を生成する軌跡生成部と、
     前記着目部の軌跡に基づいて、前記着目部を追跡する追跡方法を選択する選択部と、
     を備える医用画像処理装置。
  2.  前記画像取得部は、前記患者を異なる複数の方向から撮像した前記透視画像を取得する、
     請求項1に記載の医用画像処理装置。
  3.  前記画像取得部は、少なくとも前記患者の呼吸の一周期分の長さの期間分を連続して撮像した複数の前記透視画像を取得する、
     請求項2に記載の医用画像処理装置。
  4.  前記軌跡生成部は、前記着目部の状態を認識するための複数のテンプレートを用いたテンプレートマッチングによって前記着目部の位置を認識する、
     請求項3に記載の医用画像処理装置。
  5.  前記軌跡生成部は、前記患者を一方向から撮像した前記透視画像における二次元の座標系で前記着目部を追跡する二次元追跡と、前記患者を異なる複数の方向から同時に撮像する撮像装置のジオメトリ情報に基づく三次元の座標系で前記着目部を追跡する三次元追跡とのそれぞれにおいて、複数の前記テンプレートごとに、前記着目部の軌跡を生成する、
     請求項4に記載の医用画像処理装置。
  6.  前記選択部は、前記二次元追跡と、前記三次元追跡とのそれぞれにおいて生成された前記着目部の軌跡を、識別器に入力することによって、前記着目部の追跡を行うことができるか否かを判定し、前記着目部の追跡を行うことができると判定された前記着目部の軌跡に基づいて、前記追跡方法を選択する、
     請求項5に記載の医用画像処理装置。
  7.  前記追跡方法で前記着目部を追跡する追跡部、
     をさらに備える、
     請求項6に記載の医用画像処理装置。
  8.  前記透視画像に写された前記着目部の尤度を算出する尤度計算部、
     をさらに備え、
     前記選択部は、前記着目部の軌跡と、前記着目部の尤度とに基づいて、前記追跡方法を選択する、
     請求項1から請求項7のうちいずれか1項に記載の医用画像処理装置。
  9.  前記着目部は、前記患者の体内に留置させたマーカーである、
     請求項8に記載の医用画像処理装置。
  10.  患者を撮像した複数の透視画像を取得する画像取得部と、複数の前記透視画像のそれぞれに写された着目部の位置を認識し、認識した前記着目部の位置に基づいて、前記着目部が移動している状態の軌跡を生成する軌跡生成部と、前記着目部の軌跡に基づいて、前記着目部を追跡する追跡方法を選択する選択部と、を備える医用画像処理装置と、
     前記着目部の軌跡を表す表示画像を表示装置に表示させる表示制御部と、
     追跡した前記着目部によって示される、前記患者の治療する対象の部位に治療ビームを照射する照射部と、
     前記治療ビームの照射を制御する照射制御部と、
     前記患者が固定された寝台の位置を移動させる寝台制御部と、
     を備える治療システム。
  11.  コンピュータが、
     患者を撮像した複数の透視画像を取得し、
     複数の前記透視画像のそれぞれに写された着目部の位置を認識し、認識した前記着目部の位置に基づいて、前記着目部が移動している状態の軌跡を生成し、
     前記着目部の軌跡に基づいて、前記着目部を追跡する追跡方法を選択する、
     医用画像処理方法。
  12.  コンピュータに、
     患者を撮像した複数の透視画像を取得させ、
     複数の前記透視画像のそれぞれに写された着目部の位置を認識させ、認識させた前記着目部の位置に基づいて、前記着目部が移動している状態の軌跡を生成させ、
     前記着目部の軌跡に基づいて、前記着目部を追跡させる追跡方法を選択させる、
     プログラム。
PCT/JP2023/042555 2022-11-29 2023-11-28 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム Ceased WO2024117129A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380058889.6A CN119677560A (zh) 2022-11-29 2023-11-28 医用图像处理装置、治疗系统、医用图像处理方法及程序
JP2024561510A JPWO2024117129A1 (ja) 2022-11-29 2023-11-28
KR1020257004286A KR20250034994A (ko) 2022-11-29 2023-11-28 의용 화상 처리 장치, 치료 시스템, 의용 화상 처리 방법, 프로그램, 및 기억 매체
US19/052,024 US20250186009A1 (en) 2022-11-29 2025-02-12 Medical image processing device, treatment system, medical image processing method, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022190393 2022-11-29
JP2022-190393 2022-11-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US19/052,024 Continuation US20250186009A1 (en) 2022-11-29 2025-02-12 Medical image processing device, treatment system, medical image processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2024117129A1 true WO2024117129A1 (ja) 2024-06-06

Family

ID=91323794

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/042555 Ceased WO2024117129A1 (ja) 2022-11-29 2023-11-28 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20250186009A1 (ja)
JP (1) JPWO2024117129A1 (ja)
KR (1) KR20250034994A (ja)
CN (1) CN119677560A (ja)
WO (1) WO2024117129A1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074299A1 (en) * 2004-10-02 2006-04-06 Sohail Sayeh Non-linear correlation models for internal target movement
WO2006057911A2 (en) * 2004-11-22 2006-06-01 Civco Medical Instruments Co., Inc. Real time ultrasound monitoring of the motion of internal structures during respiration for control of therapy delivery
US20110054293A1 (en) * 2009-08-31 2011-03-03 Medtronic, Inc. Combination Localization System
JP2013544137A (ja) * 2010-10-29 2013-12-12 アキュレイ インコーポレイテッド 標的の部分的移動範囲を治療するための方法および装置
JP2014521370A (ja) * 2011-03-31 2014-08-28 リフレクション メディカル, インコーポレイテッド 放射誘導型放射線療法における使用のためのシステムおよび方法
JP2016511027A (ja) * 2013-02-08 2016-04-14 コビディエン エルピー 肺の除神経システムおよび方法
JP2016131737A (ja) * 2015-01-20 2016-07-25 国立大学法人北海道大学 放射線治療システムおよび放射線治療プログラム
JP2018082767A (ja) * 2016-11-21 2018-05-31 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム
JP2019017867A (ja) * 2017-07-20 2019-02-07 株式会社東芝 情報処理装置、情報処理システム、およびプログラム
JP2019107392A (ja) * 2017-12-20 2019-07-04 国立研究開発法人量子科学技術研究開発機構 医用装置、医用装置の制御方法およびプログラム
JP2019528149A (ja) * 2016-08-29 2019-10-10 アキュレイ インコーポレイテッド 回転撮像及び追跡システムにおけるオンライン角度選択
US20200129783A1 (en) * 2017-06-19 2020-04-30 Our New Medical Technologies Target tracking and irradiation method and device using radiotherapy apparatus and radiotherapy apparatus

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060074299A1 (en) * 2004-10-02 2006-04-06 Sohail Sayeh Non-linear correlation models for internal target movement
WO2006057911A2 (en) * 2004-11-22 2006-06-01 Civco Medical Instruments Co., Inc. Real time ultrasound monitoring of the motion of internal structures during respiration for control of therapy delivery
US20110054293A1 (en) * 2009-08-31 2011-03-03 Medtronic, Inc. Combination Localization System
JP2013544137A (ja) * 2010-10-29 2013-12-12 アキュレイ インコーポレイテッド 標的の部分的移動範囲を治療するための方法および装置
JP2014521370A (ja) * 2011-03-31 2014-08-28 リフレクション メディカル, インコーポレイテッド 放射誘導型放射線療法における使用のためのシステムおよび方法
JP2016511027A (ja) * 2013-02-08 2016-04-14 コビディエン エルピー 肺の除神経システムおよび方法
JP2016131737A (ja) * 2015-01-20 2016-07-25 国立大学法人北海道大学 放射線治療システムおよび放射線治療プログラム
JP2019528149A (ja) * 2016-08-29 2019-10-10 アキュレイ インコーポレイテッド 回転撮像及び追跡システムにおけるオンライン角度選択
JP2018082767A (ja) * 2016-11-21 2018-05-31 東芝エネルギーシステムズ株式会社 医用画像処理装置、医用画像処理方法、医用画像処理プログラム、動体追跡装置および放射線治療システム
US20200129783A1 (en) * 2017-06-19 2020-04-30 Our New Medical Technologies Target tracking and irradiation method and device using radiotherapy apparatus and radiotherapy apparatus
JP2019017867A (ja) * 2017-07-20 2019-02-07 株式会社東芝 情報処理装置、情報処理システム、およびプログラム
JP2019107392A (ja) * 2017-12-20 2019-07-04 国立研究開発法人量子科学技術研究開発機構 医用装置、医用装置の制御方法およびプログラム

Also Published As

Publication number Publication date
CN119677560A (zh) 2025-03-21
KR20250034994A (ko) 2025-03-11
US20250186009A1 (en) 2025-06-12
JPWO2024117129A1 (ja) 2024-06-06

Similar Documents

Publication Publication Date Title
JP6181459B2 (ja) 放射線治療システム
JP7178009B2 (ja) 医用装置、医用装置の制御方法、およびプログラム
JP6208535B2 (ja) 放射線治療装置およびシステムおよび方法
US10143431B2 (en) Medical image processing apparatus and method, and radiotherapeutic apparatus
JP7113447B2 (ja) 医用画像処理装置、治療システム、および医用画像処理プログラム
CN103269752A (zh) 放射线治疗装置控制装置及其处理方法以及程序
JP7513980B2 (ja) 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム
US12364877B2 (en) Medical image processing device, storage medium, medical device, and treatment system
JP7444387B2 (ja) 医用画像処理装置、医用画像処理プログラム、医用装置、および治療システム
JP5010740B2 (ja) 放射線治療装置制御方法および放射線治療装置制御装置
JP6310118B2 (ja) 画像処理装置、治療システム及び画像処理方法
US20170296843A1 (en) Processing device for a radiation therapy system
JP7264389B2 (ja) 医用装置、医用装置の制御方法およびプログラム
WO2024117129A1 (ja) 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム
JP7279336B2 (ja) X線撮影装置
US20240362782A1 (en) Medical image processing device, treatment system, medical image processing method, and storage medium
US20240298979A1 (en) Collision avoidance when positioning a medical imaging device and a patient positioning apparatus
US20240369917A1 (en) Medical image processing device, treatment system, medical image processing method, and storage medium
US20230347180A1 (en) Medical image processing device, medical image processing method, medical image processing program, and radiation therapy device
JP7125703B2 (ja) 医用装置、医用装置の制御方法およびプログラム
WO2025131290A1 (en) Computer-implemented method for medical imaging
JP2024048137A (ja) 照射位置確認支援装置、照射位置確認支援方法、および照射位置確認支援プログラム
CN119212626A (zh) 医用图像处理装置、治疗系统、医用图像处理方法、程序及存储介质
EP3231481A1 (en) Processing device for a radiation therapy system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23897777

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20257004286

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 1020257004286

Country of ref document: KR

Ref document number: 202380058889.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2024561510

Country of ref document: JP

WWP Wipo information: published in national office

Ref document number: 1020257004286

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 202380058889.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 23897777

Country of ref document: EP

Kind code of ref document: A1