[go: up one dir, main page]

WO2020138136A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2020138136A1
WO2020138136A1 PCT/JP2019/050752 JP2019050752W WO2020138136A1 WO 2020138136 A1 WO2020138136 A1 WO 2020138136A1 JP 2019050752 W JP2019050752 W JP 2019050752W WO 2020138136 A1 WO2020138136 A1 WO 2020138136A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
phase
moving image
combined
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/050752
Other languages
English (en)
French (fr)
Inventor
浩史 森谷
田中　亨
亮 石川
達也 木本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020563335A priority Critical patent/JP7536653B2/ja
Publication of WO2020138136A1 publication Critical patent/WO2020138136A1/ja
Priority to US17/346,000 priority patent/US11836923B2/en
Anticipated expiration legal-status Critical
Priority to JP2024130996A priority patent/JP2024156932A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Definitions

  • the disclosure of the present specification relates to an image processing device, an image processing method, and a program.
  • doctors make diagnoses using medical images obtained by imaging the site of the subject to be observed with various modalities.
  • a plurality of medical images with different time phases may be used.
  • Patent Document 1 As a technique relating to a diagnosis performed using a plurality of medical images having different time phases, there is known a technique of calculating a slip degree from two images obtained by imaging a chest region of the same patient in two time phases having different inspiration volumes. (Patent Document 1).
  • Patent Document 1 the degree of slippage is calculated when the region of the observation target region included in the imaging range differs between the plurality of medical images having different time phases due to the movement of the observation target region. There was a problem that was difficult.
  • the disclosure of the present specification is an image in which the degree of slippage can be accurately calculated even when the regions of the site to be observed included in the imaging range are different between a plurality of medical images having different time phases.
  • One of the purposes is to provide a processing device.
  • the present invention is not limited to the above-described object, and it is also possible to obtain operational effects that are obtained by the respective configurations shown in the modes for carrying out the invention described below, and that are not obtained by conventional techniques. It can be positioned as one of the other purposes.
  • An image processing device disclosed in the present specification includes a moving image acquisition unit that acquires a first moving image and a second moving image obtained by capturing an image of an object from different positions with an image capturing device, and the first image capturing device.
  • a moving image acquisition unit that acquires a first moving image and a second moving image obtained by capturing an image of an object from different positions with an image capturing device, and the first image capturing device.
  • a slip degree calculating means for calculating the slip degree of the object based on the deformation information estimated from the combined image.
  • FIG. 3 is a diagram showing an example of a device configuration of the image processing apparatus according to the first embodiment.
  • the flowchart which shows an example of the whole process procedure in 1st Embodiment.
  • the figure which shows an example of matching of the 1st moving image and 2nd moving image in 1st Embodiment.
  • the image processing apparatus uses three-dimensional moving images (first moving image and second moving image) obtained by dividing an area of an organ, which is an observation target, which moves periodically, and capturing the divided area. Then, it is a device for calculating the slip degree in the vicinity of the contour of the entire region of the organ to be observed.
  • the degree of slippage is movement information indicating how much a certain area in the image slides with respect to the surrounding area. That is, it is the amount of movement relative to the surroundings of the target. For example, the lungs move with respiratory movements such that the surface of the lung (also called the visceral pleura) slides around it (also called the parietal pleura).
  • the image processing apparatus displays the surface position of the lung and the slip degree at the surface position in association with each other.
  • the slippage is displayed smaller at the surface position where the adhesion exists than in the non-adhesive part.
  • the image processing apparatus acquires a first moving image and a second moving image obtained by photographing an observation target (object) from different positions with an imaging device. Specifically, the first moving image and the second moving image captured by dividing the region are acquired so that at least some of the regions to be observed overlap. Then, by analyzing the first moving image, the phase information of the movement of the organ in each time-phase image of the first moving image (still image at each time (each time phase) configuring the first moving image) To obtain a first phase parameter representing Similarly, by analyzing the second moving image, the phase of the movement of the organ in each time-phase image of the second moving image (still image at each time (each time phase) configuring the second moving image) Obtain a second phase parameter that represents the information.
  • the time phase images in which the phase information of the motion of the organ is similar between the first moving image and the second moving image are associated with each other.
  • a combined image in the relevant phase is generated.
  • a three-dimensional moving image obtained by capturing the respiratory motion of the lung with the X-ray CT apparatus will be described as an example.
  • the implementation of the image processing device disclosed in the present specification is not limited to this, and a moving image obtained by capturing an arbitrary portion such as a heart that performs a spontaneous movement may be used. Further, it may be a moving image obtained by photographing an arbitrary site where the subject makes a periodic movement (for example, bending and stretching movement).
  • FIG. 1 shows the configuration of the image processing apparatus according to this embodiment.
  • the image processing apparatus 10 according to the present embodiment is connected to the data server 11 and the display unit 12.
  • the data server 11 holds the first moving image and the second moving image designated by the user as the target for calculating the slippage.
  • the first moving image and the second moving image are moving images (three-dimensional moving images) composed of three-dimensional tomographic images of a plurality of time phases, which are obtained by previously capturing different imaging ranges of the same subject with the same modality. It is also called an image or a four-dimensional image).
  • the modality that captures a three-dimensional tomographic image may be an MRI apparatus, an X-ray CT apparatus, a three-dimensional ultrasonic imaging apparatus, a photoacoustic tomography apparatus, a PET/SPECT, an OCT apparatus, or the like.
  • the first moving image and the second moving image are input to the image processing device 10 via the data acquisition unit 110.
  • the display unit 12 is a monitor that displays an image generated by the image processing apparatus 10.
  • the image processing device 10 is composed of the following components.
  • the data acquisition unit 110 acquires the first moving image and the second moving image input to the image processing apparatus 10.
  • the extraction unit 115 extracts the region of the target organ in each time phase of the first moving image and the second moving image.
  • the phase parameter calculation unit 120 represents the first phase parameter indicating the phase information of the motion of the organ in each time phase of the first moving image and the phase information of the motion of the organ in each time phase of the second moving image. Get the second phase parameter.
  • the time phase correspondence information acquisition unit 130 acquires the correspondence information of each time phase of the first moving image and the second moving image based on the first phase parameter and the second phase parameter.
  • the time phase image of the second moving image (second time phase image) is associated with each time phase image of the first moving image (first time phase image).
  • the combined position acquisition unit 140 acquires the combined position between the first time phase image and the second time phase image associated with each other as the same phase.
  • the combined image generation unit 150 generates a combined image in which the first time phase image and the second time phase image are combined based on the combination position.
  • the deformation information estimation unit 160 acquires deformation information between a plurality of time phases with respect to a combined image generated in a plurality of time phases.
  • the slippage calculator 170 calculates the slippage near the contour in the entire region of the organ to be observed, based on the deformation information.
  • the display control unit 180 performs display control for displaying the first moving image, the second moving image, and the slippage on the display unit 12.
  • Each component of the image processing device 10 described above functions according to a computer program.
  • the function of each component is realized by the CPU reading and executing a computer program stored in the ROM or the storage unit using the RAM as a work area.
  • some or all of the functions of the components of the image processing apparatus 10 may be realized by using a dedicated circuit.
  • some functions of the constituent elements of the CPU may be realized by using a cloud computer.
  • an arithmetic device in a location different from the image processing device 10 is communicatively connected to the image processing device 10 via a network, and the image processing device 10 and the arithmetic device transmit and receive data, thereby the image processing device 10
  • the functions of the components of the control unit may be realized.
  • FIG. 2 shows a flowchart of the overall processing procedure performed by the image processing apparatus 10.
  • step S200 the data acquisition unit 110 acquires a first moving image and a second moving image obtained by capturing images of an object from different positions by the image capturing device input to the image processing device 10. That is, step S200 corresponds to an example of a moving image acquisition step of acquiring the first moving image and the second moving image obtained by shooting the object from different positions with the imaging device.
  • the first moving image and the second moving image captured by dividing the lung in the cranio-caudal direction so that at least some regions of the lung overlap.
  • the first moving image includes the lung apex
  • the second moving image includes the lung bottom.
  • the observation target is not limited to the lung, and may be, for example, a heart in which the presence or absence of a disease appears in the movement of the organ, as in the lung, or other organs.
  • the acquired first moving image and second acquired moving image are output to the extraction unit 115, the phase parameter calculation unit 120, and the combined position acquisition unit 140.
  • step S205 extraction of organ area
  • the extraction unit 115 extracts the region of the target organ in each time phase of the first moving image and the second moving image. Then, the information on the extracted region of the target organ is output to the phase parameter calculation unit 120, the coupling position acquisition unit 140, and the slippage calculation unit 170.
  • a known image processing method can be used for the extraction processing of the region of the organ from the image. Any threshold value processing using a pixel value threshold value may be used, or known segmentation processing such as graph cut processing may be used.
  • the user may manually extract the region of the target organ by using a graphic drawing software (not shown), or the region of the target organ extracted by a known image processing method may be manually corrected by the user. But it's okay.
  • step S210 the phase parameter calculation unit 120 calculates the first phase parameter representing the phase information of the periodic motion of the target organ by analyzing the first moving image. In addition, by analyzing the second moving image, a second phase parameter representing the phase information of the periodic motion of the target organ is calculated.
  • the periodic motion of the target organ is, for example, respiratory motion of the lungs or pulsation of the heart.
  • the phase parameter calculation unit 120 calculates the first phase parameter indicating the phase information of the movement of the target object in each time phase of the first moving image and the movement of the target object in each time phase of the second moving image. It corresponds to an example of a phase acquisition unit that acquires the second phase parameter in each time phase of the second moving image indicating the phase information.
  • the phase parameter calculation unit 120 acquires the first phase parameter based on the aspect of the target object captured in the first moving image and determines the state of the target object captured in the second moving image. Based on that, the second phase parameter is acquired.
  • the calculated first phase parameter and the calculated second phase parameter are output to the time phase correspondence information acquisition unit 130.
  • the phase parameter calculation unit 120 uses, as the first phase parameter, a numerical value that correlates with the periodic motion of the target organ from each time phase image (still image of each time phase) included in the first moving image. To calculate.
  • the target organ is the lung
  • the volume of the lung changes in conjunction with the respiratory motion, so the lung region extracted in step S205 is used to measure the volume of the lung included in each time-phase image
  • the size of the lung volume in the temporal image is used as the first phase parameter.
  • the size of the lung area within a predetermined slice plane may be used as the first phase parameter.
  • the pixel value of the air region in the lung region changes according to the lung volume.
  • the first phase parameter may be calculated based on the distribution information of the pixel values in the lung region included in each time phase image. It should be noted that not only the information that can be acquired from the lungs, but also the information on the peripheral region that is linked with the respiratory movement may be used. For example, the first phase parameter may be calculated based on the body surface of the chest and abdomen or the movement of other organs. Further, the first phase parameter may be calculated by integrating a plurality of pieces of information linked with respiratory movements.
  • the second phase parameter is also acquired by analyzing the second moving image using various methods as with the first phase parameter.
  • the first phase parameter and the second phase parameter do not necessarily have to be calculated by the same method.
  • the configuration may be such that the phase parameter can be acquired from an external device (not shown).
  • the ventilation volume of the subject may be measured using a spirometer at the same time when the moving image is captured, and the measured value may be used as the phase parameter.
  • the movement of the body surface of the subject at the time of capturing the moving image may be measured using a laser sensor or a pressure sensor, and the measured value may be used as the phase parameter.
  • step S220 the time phase correspondence information acquisition unit 130 associates the time phase images of the first moving image and the second moving image having similar phases with each other based on the first phase parameter and the second phase parameter.
  • the information used when making the correspondence is acquired as the correspondence information of the time phase.
  • the time phase correspondence information is information indicating which time phase of the first moving image and which time phase of the second moving image are most similar in phase.
  • the time phase correspondence information acquisition unit 130 based on the first phase parameter and the second phase parameter, the time phase image obtained from the first moving image and the time phase image obtained from the second moving image.
  • the time phase correspondence information acquisition unit 130 associates time phase images having similar first phase parameters and second phase parameters.
  • the target organ is the lung and the first phase parameter and the second phase parameter are calculated based on the volume of the lung will be specifically described as an example. Since the first moving image and the second moving image have different lung regions included in the images, even if the lung volumes are similar, the ventilation volumes are not necessarily similar. Therefore, for example, the value of the first phase parameter at the maximum inspiratory position where the lung volume is maximum in the first moving image is 1 and the first phase parameter at the maximum expiratory position where the volume is minimum is 0. It is calculated by normalizing the parameters. Similarly, the second phase parameter is also normalized and calculated so as to fall within the range of 0 to 1.
  • the predetermined temporal image having the normalized first phase parameter in the first moving image and the second phase parameter similar to the normalized first phase parameter in the second moving image With a predetermined temporal image having Then, the pair of the time phase image of the first moving image and the time phase image of the second moving image which are associated in this way is acquired as time phase correspondence information.
  • the time-phase correspondence information acquisition unit 130 is configured so that the normalized first phase parameter and the second phase parameter in the first moving image and the second moving image whose numerical values are 1
  • the maximum inspiration time phase images are associated with each other, and the set of the maximum inspiration time phase image in the first moving image and the maximum inspiration position time phase image in the second moving image is set as one of the time phase correspondence information. Get as one.
  • the time phase correspondence information acquisition unit 130 determines the maximum expiratory position in the first moving image and the second moving image in which the values of the first phase parameter and the second phase parameter after normalization are 0.
  • the phase images are associated with each other, and a set of a time phase image of the maximum expiratory position in the first moving image and a time phase image of the maximum expiratory position in the second moving image is acquired as one of the time phase correspondence information.
  • the time phase correspondence information acquisition unit 130 associates the time phase image having the maximum first phase parameter with the time phase image having the maximum second phase parameter, and when the first phase parameter has the minimum value.
  • the phase image and the time phase image having the minimum second phase parameter are associated with each other.
  • the first time phase image and the second time phase image having similar phase parameters are associated with each other.
  • FIG. 3 shows an example of the result of associating a plurality of temporal images with each other using the normalized phase parameters.
  • the first phase parameter is a black dot and the second phase parameter is a white dot, and the graphs are arranged in time sequence from the left.
  • the number of time phases of the first moving image and the second moving image is 5 time phases
  • the first phase parameter is ⁇ 0.0, 0.3, 0.6, sequentially from the first time phase.
  • 0.8, 1.0 ⁇ and the second phase parameter is ⁇ 0.0, 0.5, 0.6, 0.8, 1.0 ⁇ .
  • the first moving image and the second moving image are sequentially set to 1 from the first time phase.
  • the correspondence is made in a pair, and the corresponding number of time phases is five.
  • both the second phase parameter (0.5) and the third phase parameter (0.6) of the second phase parameter are the first.
  • Is associated with the third phase (0.6) of the phase parameter of, and the associated number of phases is 5 phases.
  • phase parameters of one of the plurality of time phases are the most similar to the same time phase of the other, only one pair with the most similar phase parameters may be associated.
  • other time phases that have not been associated may be associated with time phases having similar second and subsequent phase parameters, or may not be used in subsequent steps without being associated.
  • the second phase parameter is used as the reference and the second phase time of the first phase parameter and the second phase parameter is used. Is not associated, and the associated number of time phases is four time phases.
  • the normalized parameters can be used to associate a plurality of temporal images obtained from the first moving image with a plurality of temporal images obtained from the second moving image.
  • the time phases may be associated with each other based on the first phase parameter and the second phase parameter without normalization.
  • the first phase parameter and the second phase parameter are calculated using approximately the same part of the subject between the first moving image and the second moving image, the phase is not normalized.
  • Time phases with similar parameters can be associated as time phases with similar ventilation volumes.
  • the device coordinate system that can be acquired from the header information of the moving image is used to determine the body surface position of the chest and abdomen at the position where the device coordinate system is the same on the first moving image and the second moving image.
  • the second phase parameter time phases having similar phase parameters (positions on the body surface are close) may be associated between the first moving image and the second moving image without normalizing the phase parameter.
  • the maximum inspiratory position is called the reference phase and the maximum expiratory position is called the comparison phase.
  • the respective time phase images of the first moving image and the second moving image that are associated with each other as the maximum intake position which is the reference phase are referred to as the first reference image and the second reference image, respectively.
  • the respective time phase images of the first moving image and the second moving image associated with each other as the maximum expiratory position which is the comparison phase are referred to as the first comparison image and the second comparison image, respectively.
  • the maximum expiratory position may be used as the reference phase and the maximum inspiratory position may be used as the comparison phase, or another phase acquired from each of the first moving image and the second moving image may be assigned as the reference phase or the comparison phase. Good.
  • step S230 the combined position acquisition unit 140, in each time phase associated in step S220, the first time phase image obtained from the first moving image and the second time phase obtained from the second moving image.
  • the position where the image is combined is calculated as the combined position information. That is, the combined position acquisition unit 140 acquires combined position information for acquiring combined position information between the first reference image obtained from the first moving image and the second reference image obtained from the second moving image. It corresponds to an example of means. Then, the calculated combined position information is output to the combined image generation unit 150.
  • the combination position can be calculated by a known image processing method by performing a search so that pixels representing the same position between the first time phase image and the second time phase image substantially match. For example, a slice position where the image similarity between tomographic images at a predetermined slice position is high is searched for.
  • a well-known method such as generally used Sum of Squared Difference (SSD), mutual information, and cross correlation coefficient can be used.
  • the bond position information can be calculated as the bond position information.
  • the movement of the lung in the cranio-caudal direction from the reference phase to the comparison phase is substantially one direction, and when searching for the slice position P1_i corresponding to the slice position P1_i in each time phase, the value of j when i is a fixed value Is expected to change monotonically in one direction or hardly change. That is, for example, when only one temporal phase shows a binding position that is significantly different from other temporal phases, it is possible that the calculation result of the binding position of that temporal phase is erroneous, and the reliability of the binding position is low. ..
  • the combined position acquisition unit 140 calculates the reliability of the combined position of the time phase image obtained from the first moving image and the time phase image obtained from the second moving image that are associated by the associating unit. It corresponds to an example of means.
  • step S240 the combined image generation unit 150 generates a combined image in which the first time phase image and the second time phase image are combined based on the combination position of each time phase calculated in step S230. Then, the generated combined image is output to the deformation information estimation unit 160 and the display control unit 180.
  • the combined image generation unit 150 combines the combined image based on the combined position calculated in step S230 so that the position on the first temporal image and the corresponding position on the second temporal image overlap each other. To generate. This will be specifically described with reference to FIG. In FIG. 4, the image 400 represents the coronal section of the first temporal image, and the broken line 410 represents the slice position P1_i. The image 420 represents the coronal section of the second temporal image, and the broken line 430 represents the slice position P2_j corresponding to the slice position P1_i calculated in step S230.
  • the image 440 is a combined image obtained by translating and combining the second temporal image in the slice direction so that the slice position P1_i of the first temporal image and the slice position P2_j of the second temporal image overlap.
  • An area 450 is an area captured only in the first temporal image
  • an area 460 is an area captured in both the first temporal image and the second temporal image
  • an area 470 is in the second temporal image.
  • region currently imaged only in the time phase image is shown.
  • the pixel values of the combined image in the regions 450 and 470 are the pixel values of one of the first temporal image and the second temporal image.
  • the pixel value of the combined image in the area 460 may be either one of the pixel values of the first temporal image and the second temporal image, or may be the average value. Further, depending on the position in the region 460, the pixel value weight of the first temporal image is increased for the pixels on the lung apex side, and the pixel value weight of the second temporal image is increased for the pixels on the lung bottom side. You may use the weighted average value which made large.
  • whether or not to generate a combined image may be determined based on the reliability of the combined position calculated in step S230.
  • the reliability of the combined position is calculated, it is determined whether or not it is equal to or higher than a predetermined threshold value set in advance, and only when the reliability is higher than the threshold value, it is determined that the reliability of the combined position is high and a combined image is generated.
  • the combined image may be generated by selecting a set of temporal images whose calculated reliability of the combined position is equal to or higher than a predetermined threshold value from the temporal image sets associated in step S220. It should be noted that the selection of the set of temporal images for generating the combined image may be performed by the user or may be automatically selected based on the reliability.
  • the combined image generation unit 150 corresponds to an example of a generation unit that selects at least two sets of temporal images whose reliability is equal to or higher than a threshold value and generates a combined image.
  • the combined image is generated by translationally moving the slice position P1_i of the first temporal image and the corresponding slice position P2_j of the second temporal image so as to overlap each other.
  • the second deformed image may be deformed and combined so that the pixels overlap at the combining position.
  • the combined image is generated by translating the slice position P1_i of the first time phase image and the slice position P2_j of the second time phase image corresponding to each other so as to overlap with each other, the body surface position, the position of the branch of the bronchus, etc.
  • the second temporal images may be deformed so that the predetermined parts of the two are matched and then combined.
  • a time-series combined image including the entire region to be observed can be acquired.
  • a combined image obtained by combining the first reference image and the second reference image, which are reference phases is referred to as a reference combined image (or first combined image).
  • a combined image obtained by combining the first comparative image and the second comparative image, which are comparison phases, is called a comparative combined image (or a second combined image).
  • step S250 the deformation information estimation unit 160 aligns the combined images of the plurality of time phases and estimates the deformation information indicating the time-series deformation of the subject. Then, the estimated deformation information is output to the slip degree calculating unit 170.
  • the deformation information is obtained by a known image processing method. For example, it is obtained by transforming one image so that the image similarity between the transformed images becomes high.
  • a deformation model based on a radial basis function such as Thin Plate Spline (TPS) or a known deformation model such as Free Form Deformation (FFD) can be used.
  • Deformation information may be estimated so that the anatomical feature points do not substantially match the image similarity.
  • feature points may be set on the branches of the bronchi and blood vessels in the lung region and the ribs and sternum outside the lung region, and the movement amount of the feature points may be estimated as the deformation information.
  • the deformation information estimates the time-series motion between the reference combined image that is the combined image in the reference phase and the comparative combined image that is the combined image in the comparison phase by performing all the registrations of the combined images between the adjacent time phases. To do. Note that, for example, when at least one of the reference combined image and the comparative combined image is a combined image in another time phase different from the reference phase and the comparison phase in step S240, the target of time-series motion estimation is the reference combined image.
  • the time series between the image and the comparative combined image is not limited.
  • the deformation information may be estimated using only some time phases thinned out at a predetermined interval.
  • the deformation between the reference combined image and the comparative combined image may be directly obtained.
  • the deformation information is represented by, for example, a displacement vector field from the reference combined image to the comparative combined image.
  • the combined image used for estimating the deformation information may be selected based on the reliability of the combined position calculated in step S230. If the combined position is incorrect, anatomical inconsistency may occur near the combined position in the combined image. Therefore, when the reliability of the combined position is calculated, it is determined whether or not the deformation information is equal to or more than a predetermined threshold value set in advance, and only when it is equal to or more than the threshold value, the deformation information is accurately calculated by selecting the image to be used for estimating the deformation information. It can be well estimated.
  • step S240 if at least one combined image is thinned out based on the reliability, the deformation information cannot be estimated unless there are two or more combined images. Therefore, three or more combined images are generated in step S240. It is desirable that
  • the deformation information estimation unit 160 selects two or more combined images whose reliability is equal to or higher than a threshold value from the three or more combined images, and estimates the deformation information from the selected combined images.
  • the number of combined images generated in step S240 may be two.
  • deformation information can be estimated using only a highly reliable combined image, so the slip degree can be calculated with high accuracy in the subsequent processing.
  • step S260 the slippage calculating unit 170 calculates the slippage at each position near the contour of the target organ based on the deformation information estimated in step S250. That is, the slip degree calculating unit 170 corresponds to an example of a slip degree calculating unit that calculates the slip degree of the object based on the deformation information estimated from the first combined image and the second combined image. Then, the calculated slip degree is output to the display control unit 180.
  • the degree of slippage calculates how much the pixels near the contour of the target region in the region of the target organ extracted in step S205 slide with respect to the neighboring pixels outside the region of the target organ. Seek by. For example, as shown in FIG. 5, two pixels, ie, a pixel 520 in the lung region and a pixel 530 outside the region, which are adjacent to the contour line 510 of the lung region in the reference phase combined image 500 (reference combined image) in the normal direction, are provided. One pixel is set as a reference point.
  • the norm of the difference of the deformation information (vector) between the combined image (reference combined image) in the reference phase of the two set reference points and the combined image (comparative combined image) in the comparison phase is set to the relevant norm of the target organ. It can be calculated as the slip degree at the position. That is, the degree of slippage corresponds to an example of a relative movement amount between a reference point set inside the lung region and a reference point set outside the lung region with the contour line as a reference.
  • the norm of the deformation information may be the norm of the difference between the vectors along the surface of the contour of the lung.
  • the number of reference points to be set is an example, and is not limited to the above. Further, one of the two corresponding reference points may be set on the contour line.
  • the degree of slip does not necessarily have to be obtained from the deformation information between the reference phase and the comparison phase, and the deformation information calculated from the time phase image of any phase between them can be used.
  • the method of calculating the degree of slippage is not limited to this, and a known image processing method may be used.
  • step S270 the display control unit 180 visualizes the slip degree calculated in step S260 and displays it on the display unit 12.
  • a slip degree map can be generated and displayed on the display unit 12.
  • the slippage map is, for example, an image in which a pixel at a contour position of the lung has a grayscale value or a color scale value corresponding to the slippage as a pixel value, and is displayed in parallel with a reference phase combined image (reference combined image). It may be displayed in a superimposed manner. Further, the combined image other than the reference phase may be displayed in parallel or may be displayed in a superimposed manner. In this case, it is desirable to perform coordinate conversion of the slip degree map so that the position matches the combined image other than the reference phase. Further, the combined images of a plurality of time phases may be displayed in parallel or may be displayed in a superimposed manner.
  • step S260 may be displayed as moving images that are continuously switched. Further, it may be displayed in parallel with the first moving image or the second moving image which is the input image, or may be displayed in a superimposed manner. Also in this case, it is desirable to display the slip degree map spatially aligned with the first moving image and the second moving image.
  • the process of displaying the slippage is not always necessary, and the slippage information calculated in step S260 may be output to the data server 11 and stored.
  • the slippage degree in the vicinity of the contour of the entire region of the observation target is accurately determined. It can be calculated well. More specifically, when the two reference points set across the contour line are set near the boundary of the moving image, the position of the reference point after the phase change may not be within the imaging range. ..
  • the sensor size of the CT device is about the size of the heart. Therefore, in order to image the entire region of the lung, which has a volume larger than that of the heart, it is divided into upper and lower parts in the caudal-tail direction. There is a need to. Therefore, it is difficult to calculate the slippage degree in the vicinity of the boundary that is a combination target of the images captured by dividing.
  • the position of the reference point after the phase change falls within an arbitrary combined image by combining a plurality of moving images obtained by dividing the region of the organ.
  • the degree of slippage can be accurately calculated based on the deformation information.
  • the user can observe the combined image including the entire region to be observed and the degree of slippage.
  • the degree of slippage of the entire region of the observation target (lung) can be accurately calculated as described above, it is possible to reduce the possibility that the user mistakenly recognizes adhesion.
  • step S230 the slice position P2_j of one second time phase image corresponding to the slice position P1_i of the first time phase image is calculated, but it is not necessarily one position. ..
  • the directions of movement inside and outside the lung region are different. Therefore, when the slice position P1_i of the first temporal image and the slice position P2_j of the second temporal image corresponding to the slice position P2_j of the first temporal image are searched using the image similarity, one of the inside and outside of the lung region has a combined position. Even if the correct calculation is possible, the other may not be calculated correctly. Therefore, the lung regions extracted in step S205 may be used to search for a combined position inside and outside the lung region.
  • the slice position P1_i of the first temporal image, the slice position P2_k of the second temporal image having a high image similarity in the lung region, and the slice position P2_l having a high image similarity outside the lung region are set.
  • the binding position is set.
  • the combined image combined at each combining position can be generated. That is, in each time phase, two combined images are generated that are combined at the respective combined positions inside and outside the lung region.
  • the deformation information of each combined image is estimated.
  • the deformation information estimated inside the lung region and the deformation information estimated outside the region are the deformation information estimated using the combined image obtained by combining the inside of the lung region and the outside of the lung region using the lung region extracted in step S205.
  • the deformation information estimated using the combined image obtained by combining may be integrated into one piece of deformation information.
  • step S260 the degree of slippage at each position near the contour of the target organ is calculated based on the deformation information estimated inside the lung region and the deformation information estimated outside the lung region.
  • the degree of slippage at each position near the contour of the target organ is calculated based on the deformation information obtained by integrating the deformation information estimated inside the lung region and the deformation information estimated outside the lung region.
  • the slip degree can be calculated more accurately.
  • the deformation information when the deformation information is estimated between the combined images of a plurality of time phases, the deformation information may be estimated inside and outside the lung region. That is, the slippage degree calculating unit 170 calculates the slippage degree of the target object based on the deformation information inside the target object and the deformation information outside the target object estimated from the first combined image and the second combined image. It may be calculated. For example, when estimating the deformation information of the combined image combined at the combining position in the lung region, conditions suitable for observation in the lung region (for example, -600 for the window level (WL) and 1500 for the window width (WW)). Alternatively, the transformation information may be estimated by performing preprocessing such as pixel value conversion.
  • the deformation information may be estimated.
  • the deformation information can be estimated from the conditions suitable for observation inside and outside the region of the organ to be observed, so that the slip degree can be calculated more accurately.
  • the deformation information may be estimated without generating the combined image by replacing steps S230 to S250 with the following process.
  • the combined position acquisition unit 140 acquires relative position information of the first reference image included in the first moving image and the second reference image included in the second moving image as combined position information. ..
  • the deformation information estimation unit 160 estimates the first deformation information between the first reference image and the first comparison image included in the first moving image, and the second reference image and the second comparison image. Second deformation information between the second comparison image included in the moving image is estimated. Further, the third deformation information between the first reference image and the second comparison image is estimated based on the combined position information.
  • the deformation information between the first comparison image and the second reference image is estimated as the third deformation information.
  • the deformation information of the part commonly imaged in the first reference image and the second comparison image can be calculated by integrating the combined position information and the second deformation information.
  • the modification information similar to the modification information described in step S250 of the first embodiment is estimated. ..
  • the common region can be integrated so that the deformation information of the region commonly imaged in the first reference image and the first comparison image is used as the first deformation information.
  • the deformation information of the common area of the second reference image and the second comparison image is the second deformation information
  • the deformation information of the common area of the first reference image and the second comparison image is the third deformation information. And can be integrated.
  • the degree of slippage can be calculated without generating the combined image, so that the memory of the computer required to hold the combined image can be reduced.
  • the combined images of a plurality of temporal phases are generated in step S240, but by replacing the processing of steps S230 to S250 with the following processing, the combined image of only one temporal phase is generated and the deformation information is estimated.
  • the relative position information of the first reference image and the second reference image is acquired as the combined position information, and the reference combined image obtained by combining the first reference image and the second reference image is obtained based on the combined position information. To generate. Then, the fourth deformation information between the reference combined image and the first comparative image is estimated, and the fifth deformation information between the reference combined image and the second comparative image is estimated.
  • the modification information similar to the modification information described in step S250 of the first embodiment is estimated. Specifically, the deformation information of the common area between the reference combined image and the first comparison image is used as the fourth deformation information, and the deformation information of the common area between the combined image and the second comparison image is used as the fifth deformation information. And can be integrated.
  • the combined image is generated by combining the temporal images associated with the same phase in the first moving image and the second moving image.
  • the image processing apparatus generates an interpolated image between temporal images as necessary, and generates a combined image using the interpolated image.
  • the interpolated image whose phase corresponds to that of the first temporal image is generated. Then, a combined image is generated from the first temporal image and the interpolated image.
  • an interpolation image having a phase corresponding to that of the first temporal image can be generated from the second moving image, and the user can observe the combined image obtained by combining the temporal images corresponding to the phase. ..
  • the organ to be observed is the lung, and the first moving image and the second moving image are four-dimensional CT images.
  • the organ to be observed and the imaging device are not limited to this.
  • FIG. 6 shows the configuration of the image processing apparatus according to this embodiment.
  • the functions of the time phase correspondence information acquisition unit 130 and the interpolation image generation unit 610 will be described below.
  • the other configurations have the same functions as those of the first embodiment, and thus the description thereof will be omitted.
  • the time phase correspondence information acquisition unit 130 acquires the other interpolation time phase having a phase corresponding to a predetermined time phase image (first time phase image) of either the first moving image or the second moving image. To do.
  • the interpolation time phase represents a time phase between consecutive time phases that have been imaged.
  • the interpolation image generation unit 610 generates a time phase image (interpolation image) corresponding to the interpolation time phase from time phase images of other time phases.
  • FIG. 7 shows a flowchart of the overall processing procedure performed by the image processing device 60. Since steps S700 to S710 and S730 to S770 are the same as steps S200 to S210 and S230 to S270 of the first embodiment, description thereof will be omitted. Only the difference from the flowchart of FIG. 2 will be described below.
  • step S720 acquisition of time phase correspondence information
  • the time phase correspondence information acquisition unit 130 similar to the process of step S220 in the first embodiment, the first moving image corresponding to the phase based on the first phase parameter and the second phase parameter.
  • the image and the time phase image of the second moving image are associated with each other.
  • the information indicating the phase similarity is acquired as time phase correspondence information.
  • the process of associating with the interpolation time phase is performed.
  • the first phase parameter is a black dot and the second phase parameter is a white point, and the graphs are arranged in time sequence from the left.
  • the time phase image 800 of the fifth time phase of the first moving image is the second moving image. It will not correspond to any of the temporal images.
  • the interpolation time phase associated with the time phase image 800 of the fifth time phase of the first moving image is acquired.
  • the time phase images of the fourth time phase of the first moving image and the second motion image are associated with each other, and the time phase image 810 of the sixth time phase of the first moving image and the second time moving image
  • the time phase image 815 of the fifth time phase is associated.
  • the time phase image 800 at the fifth time phase of the first moving image is the subject between the time phase image 805 at the fourth time phase and the time phase image 815 at the fifth time phase of the second moving image.
  • Can be estimated to represent the state of. Therefore, the time phase image 800 of the fifth time phase of the first moving image is interpolated between the time phase image 805 of the fourth time phase of the second moving image and the time phase image 815 of the fifth time phase ( For example, 4.5 time phase).
  • the interpolation time phase can also be calculated as follows.
  • a time phase image of the first moving image and a time phase image of the b time phase of the second moving image are associated with each other, and further, a+c (0 ⁇ c) time phase of the first moving image is associated.
  • a time phase image and the time phase image of the b+d (0 ⁇ d) time phase of the second moving image correspond to each other.
  • the interpolation time phase b+f (0 ⁇ f ⁇ d) of the second moving image which is associated with the time phase image (0 ⁇ e ⁇ c) of the a+e time phase of the first moving image, is expressed by the equation (1).
  • b+f b+d ⁇ e/c (1)
  • the method of acquiring the interpolation time phase is not limited to the above method, and the interpolation time phase may be acquired based on the value of the phase parameter, for example.
  • the value of the first phase parameter of the time phase image of the a+e time phase of the first moving image is p_e
  • the value of the second phase of the b time phase of the second moving image and the second phase image of the b+d time phase of the second moving image is taken as an example.
  • the method of acquiring the interpolation time phase of the second moving image corresponding to the predetermined (focused) time phase image of the first moving image has been described.
  • the interpolation time phase of the first moving image corresponding to the time phase image may be obtained by a similar method.
  • step S725 Generation of interpolation image
  • the interpolation image generation unit 610 generates an interpolation image in the interpolation time phase. Then, the generated interpolated image is output to the combined position acquisition unit 140 and the combined image generation unit 150 as the temporal image of the second moving image corresponding to the noted temporal image of the first moving image.
  • the interpolation image is generated based on the time-series movement of the subject in the time phase image near the interpolation time phase.
  • an interpolation image at the 4.5th time phase which is an interpolation time phase of the second moving image associated with the time phase image at the 5th time phase of the first moving image
  • the interpolation image is generated based on the time-series movement between the time phase images of the fourth and fifth time phases, which are the time phase images before and after the 4.5th time phase of the second moving image.
  • the deformation information between the fourth time phase and the fifth time phase is estimated, and, for example, one of the images is deformed to generate an interpolated image.
  • the deformation information is interpolated to generate an interpolated image representing the state of the subject between the time phase images of the fourth time phase and the fifth time phase.
  • the interpolation rate obtained from the interpolation time phase is used as the amount of deformation for transforming the time phase image of the fifth time phase into the time phase image of the fourth time phase.
  • An interpolation image is generated by deforming the time phase image of the fifth time phase using the deformation information multiplied by.
  • the time phase used when generating the interpolation image does not have to be the image of the adjacent time phase before and after the interpolation time phase.
  • the deformation information between the b time phase before the interpolation time phase b+f and the b+d time phase after the interpolation time phase is estimated, and the deformation information obtained by multiplying the deformation amount by the value of (df)/d is used to calculate b+d.
  • An interpolation image can also be generated by deforming the time phase image of the time phase. Further, the value (interpolation rate) by which the deformation information is multiplied may be obtained based on the phase parameters in the two time phases for estimating the deformation information.
  • the two time phases used when estimating the deformation information do not have to be the time phases before and after the interpolation time phase.
  • a case will be described as an example in which an interpolation image of the first moving image having a phase similar to that of the time phase image 825 of the seventh time phase of the second moving image illustrated in FIG. 8 is generated.
  • deformation information between the time phase image 810 at the sixth time phase and the time phase image 820 at the seventh time phase of the first moving image is estimated, and the interpolation information is extrapolated to generate an interpolation image. You may.
  • the value of the second phase parameter of the time phase image 825 of the seventh time phase of the second motion image is the time phase image of the second time phase and the time phase image of the third time phase of the first motion image. Is a value between the first phase parameters of the temporal image of. Therefore, it can be estimated that the phase is between these two time phases. Therefore, by estimating the deformation information of the time phase image between the second time phase and the third time phase of the first moving image and deforming one of the phase images, An interpolation image of the interpolation time phase of the first moving image corresponding to the phase image 825 of the phase may be generated.
  • the method of estimating the deformation information according to the present embodiment may be the same method as step S250 of the first embodiment.
  • the technology disclosed in the present specification can be implemented as a system, a device, a method, a program, a recording medium (storage medium), or the like. Specifically, it may be applied to a system including a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or may be applied to a device including one device. good.
  • a recording medium or storage medium
  • a program code computer program
  • such a storage medium is a computer-readable storage medium.
  • the computer (or CPU or MPU) of the system or apparatus reads and executes the program code stored in the recording medium.
  • the program code itself read from the recording medium realizes the functions of the above-described embodiments
  • the recording medium recording the program code constitutes the technology disclosed in this specification.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本明細書に開示の画像処理装置は、時相が異なる複数の医用画像の間で撮像範囲に含まれる観察対象となる部位の領域が異なる場合であっても、精度よく滑り度を算出することを特徴とする。

Description

画像処理装置、画像処理方法及びプログラム
　本明細書の開示は、画像処理装置、画像処理方法及びプログラムに関する。
　医療の分野において、医師は、被検体の観察対象となる部位を種々のモダリティにより撮像して得られる医用画像を用いて診断を行う。特に、肺や心臓のように疾患の有無が臓器の動きに表れる部位を観察する場合、時相が異なる複数の医用画像を用いることがある。
　時相が異なる複数の医用画像を用いて行われる診断に関する技術として、同一患者の胸部領域を吸気量の異なる２時相で撮像して得られた２つの画像から滑り度を算出する技術が知られている（特許文献１）。
特開２０１６－６７８３２号公報
　しかしながら、特許文献１では、観察対象の部位が動くことによって、時相が異なる複数の医用画像の間で撮像範囲に含まれる観察対象となる部位の領域が異なる場合に、滑り度を算出することが難しいという課題があった。
　本明細書の開示は、時相が異なる複数の医用画像の間で撮像範囲に含まれる観察対象となる部位の領域が異なる場合であっても、精度よく滑り度を算出することが可能な画像処理装置の提供を目的の一つとする。
　なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。
　本明細書に開示の画像処理装置は、撮像装置により対象物を互いに異なる位置から撮像して得られた第１の動画像と第２の動画像を取得する動画像取得手段と、前記第１の動画像から得られる第１の基準画像と前記第２の動画像から得られる第２の基準画像とを結合することにより第１の結合画像を生成し、且つ前記第１の動画像から得られる第１の比較画像と前記第２の動画像から得られる第２の比較画像とを結合することにより第２の結合画像を生成する生成手段と、前記第１の結合画像と前記第２の結合画像とから推定される変形情報に基づいて、前記対象物の滑り度を算出する滑り度算出手段と、を有することを特徴とする。
　本明細書の開示によれば、時相が異なる複数の医用画像の間で撮像範囲に含まれる観察対象の部位の領域が異なる場合であっても精度よく滑り度を算出することが可能となる。
第１実施形態に係る画像処理装置の機器構成の一例を示す図。 第１実施形態における全体の処理手順の一例を示すフロー図。 第１実施形態における第１の動画像と第２の動画像の対応付けの一例を示す図。 第１実施形態における第１の動画像と第２の動画像の対応付けの一例を示す図。 第１実施形態における第１の動画像と第２の動画像の対応付けの一例を示す図。 第１実施形態における結合位置の一例を示す図。 第１実施形態における基準点設定の一例を示す図。 第２実施形態に係る画像処理装置の機器構成の一例を示す図。 第２実施形態における全体の処理手順の一例を示すフロー図。 第２実施形態における位相パラメータの一例を示す図。
　以下、添付図面に従って本明細書に開示の画像処理装置の好ましい実施形態について詳説する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本明細書に開示の画像処理装置の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、本明細書の開示は下記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、後述する各実施例及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。
　＜第１実施形態＞
　本実施形態に係る画像処理装置は、観察対象となる周期的な動きを行う臓器の領域を分割して複数回撮影した３次元動画像（第１の動画像と第２の動画像）を用いて、観察対象となる臓器の領域全体の輪郭付近における滑り度を算出する装置である。滑り度とは、画像内のある領域が周辺部位に対してどの程度滑るかを表す移動情報である。つまり、対象周囲に対する相対的な移動量のことである。例えば、肺は呼吸運動によって肺の表面（臓側胸膜とも呼ばれる）がその周囲（壁側胸膜とも呼ばれる）に対して滑るように動く。この場合、本実施形態に係る画像処理装置は、肺の表面位置と該表面位置における滑り度とを対応づけて表示する。このような表示では、肺の表面とその周囲との間（胸膜腔とも呼ばれる）に癒着があった場合は、癒着が存在する表面位置では滑り度は癒着していない部分に比べて小さく表示される。
　本実施形態の画像処理装置は、撮像装置により観察対象（対象物）を互いに異なる位置から撮影した第１の動画像と第２の動画像を取得する。具体的には、観察対象の領域の少なくとも一部が重複するように、領域を分割して撮影した第１の動画像と第２の動画像を取得する。そして、第１の動画像を解析することにより、第１の動画像の各時相画像（第１の動画像を構成する各時刻（各時相）における静止画像）における臓器の動きの位相情報を表す第１の位相パラメータを取得する。また同様に、第２の動画像を解析することにより第２の動画像の各時相画像（第２の動画像を構成する各時刻（各時相）における静止画像）における臓器の動きの位相情報を表す第２の位相パラメータを取得する。
　次に、取得した第１の位相パラメータと第２の位相パラメータに基づいて、第１の動画像と第２の動画像の間で臓器の動きの位相情報が類似する時相画像同士を対応付ける。そして、同じ位相として対応付けられた第１の動画像と第２の動画像の時相画像を結合することにより、当該位相における結合画像を生成する。このように複数の時相において結合画像を生成することにより、複数の時相における観察対象の領域全体を含む画像を取得できる。そして、結合画像の複数の時相間で変形情報を取得することにより、観察対象の領域全体の輪郭付近における滑り度を算出し表示することが可能となる。これにより、ユーザは、観察対象の領域全体を含む結合画像と滑り度を観察することができる。
　以下、図１から図５を用いて、本実施形態の構成および処理を説明する。なお、本実施形態では、Ｘ線ＣＴ装置により肺の呼吸運動を撮像した３次元動画像（４次元ＣＴ画像）を例として説明を行う。ただし、本明細書に開示の画像処理装置の実施はこれに限らず、心臓のように自発的な動きを行う任意の部位を撮像した動画像でもよい。また、被検体が周期的な運動（例えば、屈伸運動）を行った任意の部位を撮影した動画像でもよい。
　図１は、本実施形態に係る画像処理装置の構成を示す。同図に示すように、本実施形態における画像処理装置１０は、データサーバ１１および表示部１２と接続されている。
　データサーバ１１は、滑り度を算出する対象としてユーザが指定した、第１の動画像と第２の動画像を保持している。第１の動画像および第２の動画像は、同一被検体の異なる撮像範囲を同一のモダリティによって予め撮像して得られた、複数の時相の３次元断層画像からなる動画像（３次元動画像や４次元画像とも呼ばれる）である。３次元断層画像を撮像するモダリティは、ＭＲＩ装置、Ｘ線ＣＴ装置、３次元超音波撮影装置、光音響トモグラフィ装置、ＰＥＴ／ＳＰＥＣＴ、ＯＣＴ装置などであってもよい。第１の動画像および第２の動画像は、データ取得部１１０を介して画像処理装置１０に入力される。
　表示部１２は、画像処理装置１０が生成する画像を表示するモニタである。
　画像処理装置１０は、以下の構成要素により構成される。データ取得部１１０は、画像処理装置１０に入力される第１の動画像と第２の動画像を取得する。抽出部１１５は、第１の動画像と第２の動画像の各時相における対象臓器の領域を抽出する。位相パラメータ算出部１２０は、第１の動画像の各時相における臓器の動きの位相情報を表す第１の位相パラメータと、第２の動画像の各時相における臓器の動きの位相情報を表す第２の位相パラメータを取得する。時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータに基づいて、第１の動画像と第２の動画像の各時相の対応情報を取得する。すなわち、第１の動画像の夫々の時相画像（第１の時相画像）に対して、第２の動画像の時相画像（第２の時相画像）を対応付ける。結合位置取得部１４０は、同じ位相として対応付けられた第１の時相画像と第２の時相画像との間の結合位置を取得する。結合画像生成部１５０は、第１の時相画像と第２の時相画像を結合位置に基づいて結合した結合画像を生成する。変形情報推定部１６０は、複数の時相において生成した結合画像について、複数の時相間における変形情報を取得する。滑り度算出部１７０は、変形情報に基づいて、観察対象となる臓器の領域全体における輪郭付近の滑り度を算出する。表示制御部１８０は、第１の動画像および第２の動画像、滑り度を表示部１２に表示させる表示制御を行う。
　上記の画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、ＣＰＵがＲＡＭをワーク領域としてＲＯＭ又は記憶部などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置１０の構成要素の一部又は全ての機能が専用の回路を用いることで実現されてもよい。また、ＣＰＵの構成要素の一部の機能が、クラウドコンピュータを用いることで実現されてもよい。
　例えば、画像処理装置１０とは異なる場所にある演算装置がネットワークを介して画像処理装置１０に通信可能に接続され、画像処理装置１０と演算装置がデータの送受信を行うことで、画像処理装置１０又は制御部の構成要素の機能が実現されてもよい。
　次に、図２を用いて、図１の画像処理装置１０の処理の例について説明する。
　図２は、画像処理装置１０が行う全体の処理手順のフローチャートを示している。
　（Ｓ２００）（データの取得）
　ステップＳ２００において、データ取得部１１０は、画像処理装置１０に入力される撮像装置により対象物を互いに異なる位置から撮像して得られた第１の動画像と第２の動画像を取得する。すなわち、ステップＳ２００は、撮像装置により対象物を互いに異なる位置から撮影した第１の動画像と第２の動画像を取得する動画像取得工程の一例に相当する。具体的には、例えば、観察対象が肺である場合、少なくとも肺の一部の領域が重複するように肺を頭尾方向に分割して撮影された第１の動画像と第２の動画像を取得する。つまり、第１の動画像は肺尖部が含まれ、第２の動画像は肺底部が含まれる画像である。なお、観察対象は肺に限定されず、例えば、肺と同様に疾患の有無が臓器の動きに表れる心臓などであってもよいし、その他の臓器でもよい。
　そして、取得した第１の動画像と第２の動画像を抽出部１１５および位相パラメータ算出部１２０、結合位置取得部１４０へと出力する。
　（Ｓ２０５）（臓器領域の抽出）
　ステップＳ２０５において、抽出部１１５は、第１の動画像と第２の動画像の各時相における対象臓器の領域を抽出する。そして、抽出した対象臓器の領域の情報を位相パラメータ算出部１２０および結合位置取得部１４０、滑り度算出部１７０へと出力する。
　画像からの臓器の領域の抽出処理は公知の画像処理手法を利用できる。画素値の閾値を利用した任意の閾値処理でもよいし、グラフカット処理をはじめとする既知のセグメンテーション処理でもよい。また、不図示の図形描画ソフトを用いて、ユーザが手動により対象臓器の領域を抽出してもよいし、公知の画像処理手法を用いて抽出した対象臓器の領域をユーザが手動により修正した領域でもよい。
　（Ｓ２１０）（位相パラメータの算出）
ステップＳ２１０において、位相パラメータ算出部１２０は、第１の動画像を解析することにより、対象臓器の周期運動の位相情報を表す第１の位相パラメータを算出する。また、第２の動画像を解析することにより、対象臓器の周期運動の位相情報を表す第２の位相パラメータを算出する。対象臓器の周期運動とは、例えば肺の呼吸運動や心臓の拍動などである。
　すなわち、位相パラメータ算出部１２０は、第１の動画像の各時相における対象物の動きの位相情報を示す第１の位相パラメータと、第２の動画像の各時相における対象物の動きの位相情報を示す第２の動画像の各時相における第２の位相パラメータとを取得する位相取得手段の一例に相当する。特に、位相パラメータ算出部１２０は、第１の動画像に撮像された対象物の様態に基づいて、第１の位相パラメータを取得し、第２の動画像に撮像された前記対象物の様態に基づいて、第２の位相パラメータを取得する。
　そして、算出した第１の位相パラメータと第２の位相パラメータを時相対応情報取得部１３０へと出力する。
　本実施形態において、位相パラメータ算出部１２０は、第１の位相パラメータとして、第１の動画像に含まれる各時相画像（各時相の静止画像）から対象臓器の周期運動と相関がある数値を算出する。例えば、対象臓器が肺の場合、肺の体積は呼吸運動と連動して変化するため、ステップＳ２０５において抽出した肺領域を利用して、各時相画像に含まれる肺の体積を計測し、各時相画像における肺の体積の大きさを第１の位相パラメータとする。もしくは、所定のスライス面内の肺の面積の大きさを第１の位相パラメータとしてもよい。また、ＣＴ画像においては、肺の体積に応じて肺領域内の空気領域の画素値が変化することが知られている。そのため、各時相画像に含まれる肺領域内の画素値の分布情報に基づいて、第１の位相パラメータを算出してもよい。なお、肺から取得できる情報に限らず、呼吸運動と連動する周辺部位の情報を用いてもよい。例えば、胸腹部の体表や他の臓器の動きに基づいて、第１の位相パラメータを算出してもよい。さらに、呼吸運動と連動する複数の情報を統合して第１の位相パラメータを算出してもよい。
　第２の位相パラメータも、第１の位相パラメータと同様に種々の方法を用いて第２の動画像を解析することにより取得する。ただし、必ずしも第１の位相パラメータと第２の位相パラメータを同一の方法により算出しなくてもよい。
　また、不図示の外部装置から位相パラメータを取得できる構成でもよい。例えば、対象臓器が肺の場合、動画像の撮像と同時に、被検体の換気量を、スパイロメータを用いて計測し、計測した値を位相パラメータとしてもよい。あるいは、動画像の撮像時における被検体の体表の動きをレーザセンサや圧力センサを用いて計測し、計測した値を位相パラメータとしてもよい。
　（Ｓ２２０）（時相の対応情報の取得）
　ステップＳ２２０において、時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータに基づいて、位相が類似する第１の動画像と第２の動画像の時相画像を対応付ける。また、対応付ける際に用いた情報を時相の対応情報として取得する。ここで時相の対応情報とは、第１の動画像の何時相目と第２の動画像の何時相目が最も位相が類似しているかを表す情報である。
　すなわち、時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータに基づいて、第１の動画像から得られる時相画像と第２の動画像から得られる時相画像とを対応付ける対応付け手段の一例に相当する。特に、時相対応情報取得部１３０は、第１の位相パラメータと第２の位相パラメータが類似する時相画像同士を対応付ける。
　時相の対応情報について、対象臓器が肺であり、第１の位相パラメータと第２の位相パラメータを肺の体積に基づいて算出した場合を例に具体的に説明する。第１の動画像と第２の動画像では、画像に含まれている肺の領域が異なるため、肺の体積が類似していても必ずしも換気量も類似しているとは限らない。したがって、例えば、第１の動画像における肺の体積が最大となる最大吸気位における第１の位相パラメータの値を１、体積が最小となる最大呼気位における第１の位相パラメータを０となるようにパラメータを正規化して算出する。同様に、第２の位相パラメータも０から１の範囲となるように正規化して算出する。
　これにより、第１の動画像において正規化後の第１の位相パラメータを有する所定の時相画像と、第２の動画像において正規化後の第１の位相パラメータに類似する第２の位相パラメータを有する所定の時相画像とを対応づけられる。そして、このようにして対応付けられた第１の動画像の時相画像と第２の動画像の時相画像の組を、時相の対応情報として取得する。
　具体的には、例えば、時相対応情報取得部１３０は、正規化後の第１の位相パラメータと第２の位相パラメータの数値が１となる第１の動画像と第２の動画像とにおける最大吸気位の時相画像同士を対応付け、第１の動画像における最大吸気位の時相画像と第２の動画像における最大吸気位の時相画像の組を、時相の対応情報の一つとして取得する。また、時相対応情報取得部１３０は、正規化後の第１の位相パラメータと第２の位相パラメータの数値が０となる第１の動画像と第２の動画像とにおける最大呼気位の時相画像同士を対応付け、第１の動画像における最大呼気位の時相画像と第２の動画像における最大呼気位の時相画像の組を、時相の対応情報の一つとして取得する。
　すなわち、時相対応情報取得部１３０は、第１の位相パラメータが最大値の時相画像と第２の位相パラメータが最大値の時相画像を対応付け、第１の位相パラメータが最小値の時相画像と前記第２の位相パラメータが最小値の時相画像を対応付ける。また、最大吸気位、最大呼気位以外の位相についても、同様にして、位相パラメータが類似している第１の時相画像と第２の時相画像の対応付けを行う。
　次に、具体的に正規化後の位相パラメータを用いて複数の時相画像を対応付けした結果の例を図３に示す。図３は、横軸を時間、縦軸を位相パラメータとしたとき、第１の位相パラメータを黒点、第２の位相パラメータを白点として、左から時相順に並べて示している。
　ここでは、第１の動画像と第２の動画像の時相数が５時相であり、第１の位相パラメータが１時相目から順に｛０．０，０．３，０．６，０．８，１．０｝、第２の位相パラメータが｛０．０，０．５，０．６，０．８，１．０｝だった場合を例とする。
　図３Ａに示すように、第１の位相パラメータを基準として、第２の位相パラメータの最も類似する時相と対応付ける場合、第１の動画像と第２の動画像は１時相目から順に１対１で対応付く結果となり、対応付いた時相数は５時相となる。
　また、図３Ｂに示すように第２の位相パラメータを基準とした場合、第２の位相パラメータの２時相目（０．５）と３時相目（０．６）は、いずれも第１の位相パラメータの３時相目（０．６）と対応付き、対応付いた時相数は５時相となる。
　なお、一方の複数の時相の位相パラメータがいずれも他方の同一時相と最も類似している場合、位相パラメータが最も類似するペアを一つのみ対応付けてもよい。この場合、対応付かなかった他の時相は、２番目以降の位相パラメータが類似する時相と対応付けてもよいし、対応付けずに後段のステップで使用しなくてもよい。
　すなわち、図３Ｃに示すように、対応付かなかった時相を後段のステップに使用しない場合、第２の位相パラメータを基準とすると、第１の位相パラメータと第２の位相パラメータの２時相目は対応付けないこととなり、対応付いた時相数は４時相となる。
　上記のように、正規化後のパラメータを用いて、第１の動画像から得られる複数の時相画像と第２の動画像から得られる複数の時相画像とを対応付けることができる。
　なお、上記の位相パラメータの数や対応づくペアの数などは例示であって、上記に限定されない。
　また、正規化せずに第１の位相パラメータと第２の位相パラメータに基づいて、時相の対応付けを行ってもよい。例えば、第１の動画像と第２の動画像の間で被検体のおおよそ同一部位を利用して第１の位相パラメータと第２の位相パラメータを算出している場合、正規化せずに位相パラメータが類似する時相を換気量が類似する時相として対応付けることができる。具体的には、動画像のヘッダー情報から取得できる装置座標系を利用し、第１の動画像と第２の動画像上で装置座標系が同一の位置における胸腹部の体表位置を第１の位相パラメータと第２の位相パラメータとして取得する。この場合、位相パラメータを正規化せずに第１の動画像と第２の動画像の間で位相パラメータが類似する（体表の位置が近い）時相を対応付けてもよい。
　なお、以下では、最大吸気位を基準位相、最大呼気位を比較位相と呼ぶ。また、基準位相である最大吸気位として対応付けられた第１の動画像と第２の動画像の夫々の時相画像を、夫々、第１の基準画像、第２の基準画像と呼ぶ。また、比較位相である最大呼気位として対応付けられた第１の動画像と第２の動画像の夫々の時相画像を、夫々、第１の比較画像、第２の比較画像と呼ぶ。なお、最大呼気位を基準位相とし、最大吸気位を比較位相としてもよいし、第１の動画像と第２の動画像の夫々から取得される他の位相を基準位相もしくは比較位相として割り当ててもよい。
　（Ｓ２３０）（結合位置情報の算出）
　ステップＳ２３０において、結合位置取得部１４０は、ステップＳ２２０において対応付いた各時相において、第１の動画像から得られる第１の時相画像と第２の動画像から得られる第２の時相画像とを結合する位置を結合位置情報として算出する。すなわち、結合位置取得部１４０は、第１の動画像から得られる第１の基準画像と第２の動画像から得られる第２の基準画像との間の結合位置情報を取得する結合位置情報取得手段の一例に相当する。そして、算出した結合位置情報を結合画像生成部１５０へと出力する。
　結合位置として、第１の時相画像上の所定の位置と対応する第２の時相画像上の位置を算出する。例えば、第１の時相画像のｉ番目のスライス位置をＰ１＿ｉとしたとき、第１の時相画像のスライス位置Ｐ１＿ｉと対応する第２の時相画像のｊ番目のスライス位置Ｐ２＿ｊを探索する。そして、第１の時相画像のスライス位置Ｐ１＿ｉに対応する位置である第２の時相画像のスライス位置Ｐ２＿ｊを結合位置として保持する。ここで、スライス位置Ｐ１＿ｉは、第１の動画像と第２の動画像の重複領域の中から選択することが望ましい。結合位置はスライス位置ではなく、第１の時相画像のスライス位置Ｐ１＿ｉ上の各画素と対応する第２の時相画像上の画素の位置を算出してもよい。
　結合位置の算出は、公知の画像処理手法により、第１の時相画像と第２の時相画像の間の同一位置を表す画素が略一致するように探索することによって算出できる。例えば、所定のスライス位置における断層像間の画像類似度が高くなるスライス位置の探索を行う。画像類似度としては、一般的に用いられているＳｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）や相互情報量、相互相関係数などの公知の方法を用いることができる。
　また、結合位置だけでなく結合位置の信頼度も結合位置情報として算出できる。基準位相から比較位相までの肺の頭尾方向の動きは略一方向であり、各時相におけるスライス位置Ｐ１＿ｉと対応するスライス位置Ｐ２＿ｊを探索した場合、ｉを固定値としたときのｊの値は一方向に単調に変化するか、ほとんど変化しないことが期待される。すなわち、例えば、ある１時相のみ他の時相と大きく異なる結合位置を示した場合、その時相の結合位置の算出結果は誤っている可能性が高く、結合位置の信頼度が低いと判断できる。結合位置の信頼度は、連続する時相において算出した結合位置の２次微分の値に基づいて、例えば、２次微分の値に反比例した値（信頼度の高さに比例した値）を利用することができる。すなわち、結合位置取得部１４０は、対応付け手段により対応付けられた第１の動画像から得られる時相画像と第２の動画像から得られる時相画像の結合位置の信頼度を算出する算出手段の一例に相当する。
　（Ｓ２４０）（結合画像の生成）
　ステップＳ２４０において、結合画像生成部１５０は、ステップＳ２３０において算出した各時相の結合位置に基づいて、第１の時相画像と第２の時相画像を結合した結合画像を生成する。そして、生成した結合画像を変形情報推定部１６０および表示制御部１８０へと出力する。
　結合画像生成部１５０は、ステップＳ２３０において算出した結合位置に基づいて、第１の時相画像上の位置と対応する第２の時相画像上の位置が重なるように結合することにより結合画像を生成する。図４を用いて具体的に説明する。図４において、画像４００は第１の時相画像の冠状断面を表しており、破線４１０はスライス位置Ｐ１＿ｉを表している。また、画像４２０は第２の時相画像の冠状断面を表しており、破線４３０はステップＳ２３０において算出したスライス位置Ｐ１＿ｉと対応するスライス位置Ｐ２＿ｊを表している。そして、画像４４０は、第１の時相画像のスライス位置Ｐ１＿ｉと第２の時相画像のスライス位置Ｐ２＿ｊが重なるように、第２の時相画像をスライス方向に並進移動させて結合した結合画像を表している。そして、領域４５０は第１の時相画像にのみ撮像されている領域、領域４６０は第１の時相画像と第２の時相画像の両方に撮像されている領域、領域４７０は第２の時相画像にのみ撮像されている領域を示している。領域４５０および領域４７０における結合画像の画素値は、第１の時相画像および第２の時相画像の一方の時相画像の画素値とする。領域４６０における結合画像の画素値は、第１の時相画像と第２の時相画像の画素値のいずれか一方の画素値でもよいし、平均値でもよい。また、領域４６０内の位置に応じて、肺尖部側の画素では第１の時相画像の画素値の重みを大きくし、肺底部側の画素では第２の時相画像の画素値の重みを大きくした重み付き平均値を利用してもよい。
　なお、本実施形態において、ステップＳ２３０において算出した結合位置の信頼度に基づいて、結合画像を生成するか否かを決定してもよい。結合位置の信頼度を算出している場合、あらかじめ設定した所定の閾値以上か否かを判定し、閾値以上の場合のみ、結合位置の信頼度が高いと判断して結合画像を生成してもよい。換言すると、ステップＳ２２０において対応付けられた時相画像の組のうち、算出した結合位置の信頼度が所定の閾値以上の時相画像の組を選択して結合画像を生成してもよい。なお、結合画像を生成する時相画像の組の選択は、ユーザが行ってもよいし、信頼度に基づいて自動で選択されてもよい。
　すなわち、結合画像生成部１５０は、信頼度が閾値以上の時相画像の組を少なくとも２つ以上選択し結合画像を生成する生成手段の一例に相当する。
　これにより、結合位置がずれている結合画像が生成されてしまう可能性を低減することができる。また、信頼度の高い結合画像のみを用いることにより、後段の処理において滑り度を高精度に算出できる。
　本実施形態において、第１の時相画像のスライス位置Ｐ１＿ｉと対応する第２の時相画像のスライス位置Ｐ２＿ｊが重なるように並進移動させて結合画像を生成したが、結合画像の生成方法はこれに限らない。例えば、結合位置情報としてスライス位置ではなく、各画素の位置を算出している場合、各画素が結合位置で重なるように第２の変形画像を変形させて結合してもよい。また、第１の時相画像のスライス位置Ｐ１＿ｉと対応する第２の時相画像のスライス位置Ｐ２＿ｊが重なるように並進移動させて結合画像を生成する場合、体表位置や気管支の分岐の位置などの所定の部位が合うように第２の時相画像を変形させてから結合してもよい。
　これにより、複数の時相における結合画像を生成することができる。すなわち、観察対象の領域全体を含む時系列の結合画像を取得できる。なお、以下では、基準位相である第１の基準画像と第２の基準画像を結合した結合画像を基準結合画像（または第１の結合画像）と呼ぶ。また、比較位相である第１の比較画像と第２の比較画像を結合した結合画像を比較結合画像（または第２の結合画像）と呼ぶ。
　（Ｓ２５０）（変形情報の推定）
　ステップＳ２５０において、変形情報推定部１６０は、複数の時相の結合画像間で位置合わせを行い、被検体の時系列の変形を表す変形情報を推定する。そして、推定した変形情報を滑り度算出部１７０へと出力する。
　本実施形態において、変形情報は公知の画像処理手法により求める。例えば、変形後の画像間の画像類似度が高くなるように、一方の画像を変形させることにより求める。画像の変形モデルには、Ｔｈｉｎ　Ｐｌａｔｅ　Ｓｐｌｉｎｅ（ＴＰＳ）などの放射基底関数に基づく変形モデルやＦｒｅｅ　Ｆｏｒｍ　Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）等の公知の変形モデルを利用できる。
　画像類似度ではなく、解剖学的特徴点が略一致するように変形情報を推定してもよい。例えば、肺領域内の気管支や血管の分岐と、肺領域外にある肋骨や胸骨に特徴点を設定し、特徴点の移動量を変形情報として推定してもよい。
　変形情報は、隣り合う時相間の結合画像の位置合わせを全て行うことにより、基準位相における結合画像である基準結合画像と比較位相における結合画像である比較結合画像の間の時系列の動きを推定する。なお、例えばステップＳ２４０において基準結合画像と比較結合画像の少なくとも一方の画像を基準位相と比較位相とは異なる他の時相における結合画像とした場合、時系列の動きを推定する対象は、基準結合画像と比較結合画像の間の時系列に限定されない。
　これにより、基準位相と比較位相の間で変形が大きい場合でも、隣り合う時相の結合画像の間では変形が小さくなるため、位置合わせ処理が容易となる。一方で、時相数に比例して位置合わせ処理に要する処理時間が増大するため、所定の間隔で間引いた一部の時相のみを利用して変形情報を推定してもよい。また、基準結合画像と比較結合画像との間の変形を直接求めてもよい。変形情報は、例えば、基準結合画像から比較結合画像への変位ベクトル場によって表現される。
　また、本実施形態において、ステップＳ２３０において算出した結合位置の信頼度に基づいて、変形情報の推定に使用する結合画像を選択してもよい。結合位置が誤っている場合、結合画像の結合位置付近で解剖学的な不整合が生じている可能性がある。そのため、結合位置の信頼度を算出している場合、あらかじめ設定した所定の閾値以上か否かを判定し、閾値以上の場合のみ変形情報の推定に使用する画像として選択することにより変形情報を精度よく推定することができる。
　なお、この場合、少なくとも１つの結合画像を信頼度に基づいて間引くとすると、結合画像が２つ以上でなければ変形情報を推定することができないため、ステップＳ２４０において３つ以上の結合画像が生成されていることが望ましい。
　すなわち、変形情報推定部１６０は、３つ以上の結合画像のうち信頼度が閾値以上の結合画像を２つ以上選択し、選択された結合画像から変形情報を推定する。
　なお、必ずしも結合画像を間引かない場合には、ステップＳ２４０において生成される結合画像は２つであってもよい。
　これにより、信頼度の高い結合画像のみを用いて変形情報を推定できるため、後段の処理において滑り度を高精度に算出できる。
　（Ｓ２６０）（滑り度の算出）
　ステップＳ２６０において、滑り度算出部１７０は、ステップＳ２５０において推定した変形情報に基づいて、対象臓器の輪郭付近の各位置における滑り度を算出する。すなわち、滑り度算出部１７０は、第１の結合画像と第２の結合画像とから推定される変形情報に基づいて、対象物の滑り度を算出する滑り度算出手段の一例に相当する。そして、算出した滑り度を、表示制御部１８０へと出力する。
　本実施形態において、滑り度は、ステップＳ２０５において抽出した対象臓器の領域内における当該対象領域の輪郭付近の画素が、対象臓器の領域外の近傍画素に対して、どの程度滑っているかを算出することによって求める。例えば、図５に示すように基準位相の結合画像５００（基準結合画像）における肺領域の輪郭線５１０に対して法線方向に隣接する肺の領域内の画素５２０と領域外の画素５３０の２つの画素を基準点として設定する。そして、設定された２つの基準点の基準位相における結合画像（基準結合画像）と比較位相における結合画像（比較結合画像）との間の変形情報（ベクトル）の差分のノルムを、対象臓器の当該位置における滑り度として算出できる。すなわち、滑り度は輪郭線を基準として肺領域の内部に設定された基準点と肺領域の外部に設定された基準点との間の相対的な移動量の一例に相当する。なお、変形情報のノルムは、肺の輪郭の面に沿ったベクトルの差分のノルムでもよい。また、設定する基準点の数は例示であり、上記に限定されない。さらに、対応する２つの基準点のうち一方は輪郭線上に設定してもよい。さらに、滑り度は必ずしも基準位相と比較位相との間の変形情報から求めなくてもよく、その間の任意の位相の時相画像から算出される変形情報を用いることができる。なお、滑り度の算出方法はこれに限らず、公知の画像処理手法を利用してもよい。
　（Ｓ２７０）（滑り度の表示）
　ステップＳ２７０において、表示制御部１８０は、ステップＳ２６０において算出した滑り度を可視化して表示部１２に表示する。
　滑り度の可視化の方法として、滑り度マップを生成して表示部１２に表示させることができる。滑り度マップは、例えば肺の輪郭位置の画素に、滑り度に応じたグレースケール値あるいはカラースケール値を画素値とする画像であり、基準位相の結合画像（基準結合画像）と並列表示してもよいし重畳表示してもよい。また、基準位相以外の結合画像と並列表示してもよいし重畳表示してもよい。この場合、基準位相以外の結合画像と位置が整合するように滑り度マップの座標変換するのが望ましい。また、複数の時相の結合画像と並列表示してもよいし重畳表示してもよい。さらに、それらを連続的に切り替えた動画像として表示しても良い。さらに、入力画像である第１の動画像や第２の動画像と並列表示してもよいし重畳表示してもよい。この場合も滑り度マップを第１の動画像や第２の動画像と空間的に整合させて表示するのが望ましい。なお、滑り度を表示する処理は必ずしも必要ではなく、ステップＳ２６０で算出した滑り度の情報をデータサーバ１１に出力し保存させる構成であってもよい。
　以上によって、画像処理装置１０の処理が実施される。
　上記によれば、観察対象の領域全体が含まれる複数の時相の結合画像を生成し、時相間の結合画像の位置合わせを行うことにより、観察対象の領域全体の輪郭付近における滑り度を精度良く算出することができる。より具体的には、輪郭線を挟んで設定される２つの基準点が動画像の境界付近に設定された場合には、位相変化後の基準点の位置が撮像範囲に収まらない可能性がある。例えばＣＴ装置により肺を撮像する場合、ＣＴ装置のセンササイズは心臓の大きさ程度のため、心臓よりも体積の大きい肺の領域全体を撮像するためには頭尾方向に上下に分割して撮像する必要がある。そのため、分割して撮像された画像の結合対象となる境界付近の滑り度を算出することが難しかった。
　しかしながら、上記によれば、臓器の領域を分割して撮像した複数の動画像を結合することにより位相変化後の基準点の位置が任意の結合画像内に収まる。これにより、２つの基準点が動画像の境界付近に設定された場合であっても変形情報に基づいて滑り度を精度よく算出することができる。そして、ユーザは、観察対象の領域全体が含まれる結合画像と滑り度を観察することができる。また、上記により観察対象（肺）の領域全体の滑り度を精度良く算出することができるため、ユーザが癒着を誤認する可能性を低減できる。
　（変形例１－１）
　本実施形態では、ステップＳ２３０において、第１の時相画像のスライス位置Ｐ１＿ｉと対応する１つの第２の時相画像のスライス位置Ｐ２＿ｊを算出していたが、必ずしも１つの位置でなくてもよい。
　肺の呼吸運動では、肺の領域内と領域外の動きの方向が異なる。したがって、画像類似度を利用して第１の時相画像のスライス位置Ｐ１＿ｉと対応する第２の時相画像のスライス位置Ｐ２＿ｊを探索した場合、肺の領域内と領域外の一方は結合位置が正しく算出できても、他方は正しく算出されない場合がある。そのため、ステップＳ２０５において抽出した肺領域を利用して、肺の領域内と領域外の結合位置をそれぞれ探索してもよい。この場合、第１の時相画像のスライス位置Ｐ１＿ｉと肺の領域内の画像類似度が高い第２の時相画像のスライス位置Ｐ２＿ｋと、肺の領域外の画像類似度が高いスライス位置Ｐ２＿ｌを結合位置とする。この場合、ステップＳ２４０において、それぞれの結合位置で結合した結合画像を生成できる。すなわち、各時相において肺領域内と肺領域外のそれぞれの結合位置で結合した２つの結合画像が生成される。そして、ステップＳ２５０において、それぞれの結合画像の変形情報を推定する。肺領域内と領域外で夫々推定した変形情報は、ステップＳ２０５において抽出した肺の領域を利用して、肺の領域内を合わせた結合画像を利用して推定した変形情報と、肺の領域外を合わせた結合画像を利用して推定した変形情報を一つの変形情報に統合してもよい。そして、ステップＳ２６０において、肺の領域内において推定した変形情報と肺の領域外において推定した変形情報とに基づいて、対象臓器の輪郭付近の各位置における滑り度を算出する。もしくは、肺の領域内において推定した変形情報と肺の領域外において推定した変形情報とを統合させた変形情報に基づいて、対象臓器の輪郭付近の各位置における滑り度を算出する。
　これにより、観察対象となる臓器の領域内部と領域外部とで最も類似度の高い時相画像同士から結合画像を生成できるため、さらに精度よく滑り度を算出することができる。
　（変形例１－２）
　本実施形態におけるステップＳ２５０において、複数の時相の結合画像の間で変形情報を推定する場合に、肺の領域内と領域外それぞれにおいて変形情報を推定してもよい。すなわち、滑り度算出部１７０は、第１の結合画像と第２の結合画像とから推定される対象物の内部における変形情報と対象物の外部における変形情報とに基づいて対象物の滑り度を算出してもよい。例えば、肺領域内の結合位置で結合した結合画像の変形情報を推定する場合、肺領域内の観察に適した条件（例えば、ウインドウレベル（ＷＬ）を－６００、ウインドウ幅（ＷＷ）を１５００）に画素値変換等の前処理を施して変形情報を推定してもよい。肺領域外の結合位置で結合した結合画像の変形情報を推定する場合、肺領域外の観察に適した条件（例えば、ＷＬを６０、ＷＷを４００）に画素値変換等の前処理を施して変形情報を推定してもよい。
　これにより、観察対象となる臓器の領域内部と領域外部とでそれぞれ観察に適した条件から変形情報を推定できるため、さらに精度よく滑り度を算出することができる。
　（変形例１－３）
　本実施形態では、ステップＳ２４０において結合画像を生成したが、ステップＳ２３０からステップＳ２５０を以下の処理に置き換えることで、結合画像を生成せずに変形情報を推定してもよい。まず、結合位置取得部１４０は、第１の動画像に含まれる第１の基準画像と、第２の動画像に含まれる第２の基準画像の相対的な位置情報を結合位置情報として取得する。そして、変形情報推定部１６０は、第１の基準画像と第１の動画像に含まれる第１の比較画像との間の第１の変形情報を推定し、第２の基準画像と第２の動画像に含まれる第２の比較画像との間の第２の変形情報を推定する。さらに、結合位置情報に基づいて、第１の基準画像と第２の比較画像との間の第３の変形情報を推定する。もしくは、第１の比較画像と第２の基準画像との間の変形情報を第３の変形情報として推定する。例えば、第１の基準画像と第２の比較画像に共通して撮像されている部位の変形情報は、結合位置情報と第２の変形情報を統合することで算出できる。以上の処理により算出した第１の変形情報と第２の変形情報と第３の変形情報を統合することにより、第１の実施形態のステップＳ２５０で説明した変形情報と同様の変形情報を推定する。具体的には、例えば第１の基準画像と第１の比較画像に共通して撮像されている領域の変形情報を第１の変形情報とするように、共通領域を利用して統合できる。この場合、第２の基準画像と第２の比較画像の共通領域の変形情報を第２の変形情報、第１の基準画像と第２の比較画像の共通領域の変形情報を第３の変形情報とすることで統合できる。
　これにより、結合画像を生成せずに、滑り度の算出を行うことができるため、結合画像を保持するために必要なコンピュータのメモリを削減することができる。
　（変形例１－４）
　また、本実施形態では、ステップＳ２４０において複数の時相の結合画像を生成したが、ステップＳ２３０からステップＳ２５０を以下の処理に置き換えることで、１時相のみ結合画像を生成して変形情報を推定してもよい。第１の基準画像と第２の基準画像の相対的な位置情報を結合位置情報として取得し、結合位置情報に基づいて、第１の基準画像と第２の基準画像を結合した基準結合画像を生成する。そして、基準結合画像と第１の比較画像との間の第４の変形情報を推定し、基準結合画像と第２の比較画像との間の第５の変形情報を推定する。以上の処理により算出した第４の変形情報と第５の変形情報を統合することで、第１の実施形態のステップＳ２５０で説明した変形情報と同様の変形情報を推定する。具体的には、基準結合画像と第１の比較画像との共通領域の変形情報を第４の変形情報とし、結合画像と第２の比較画像との共通領域の変形情報を第５の変形情報とすることで統合できる。
　これにより、生成する結合画像が１時相のみであるため、結合画像を保持するために必要なコンピュータのメモリを削減することができる。
　＜第２実施形態＞
　第１実施形態では、第１の動画像と第２の動画像において同一の位相と対応付けられた時相画像を結合することにより結合画像を生成していた。一方、本実施形態に係る画像処理装置は、必要に応じて時相画像の間の補間画像を生成し、補間画像を利用した結合画像を生成する。
　具体的には例えば、第２の動画像において、第１の動画像の第１の時相画像の第１の位相パラメータと類似する第２の位相パラメータの時相画像が存在しない場合、第２の動画像に含まれる２つの時相画像から第１の時相画像と位相が対応する補間画像を生成する。そして、第１の時相画像と補間画像から結合画像を生成する。
　これにより、第１の時相画像と位相が対応する補間画像を第２の動画像から生成することができ、ユーザは、位相が対応する時相画像を結合した結合画像を観察することができる。
　なお、以下では第１実施形態と同様に観察対象となる臓器は肺であって、第１の動画像と第２の動画像は４次元ＣＴ画像であるとして説明を行う。しかしながら、観察対象となる臓器や、撮像装置はこれに限定されない。
　以下、図６から図８を用いて本実施形態の構成および処理を説明する。
　図６は、本実施形態に係る画像処理装置の構成を示す。時相対応情報取得部１３０と補間画像生成部６１０は、以下でその機能を説明する。その他の構成については、第１実施形態と機能が同じであるため説明を省略する。
　時相対応情報取得部１３０は、第１の動画像と第２の動画像のいずれか一方の所定の時相画像（第１の時相画像）と位相が対応する他方の補間時相を取得する。補間時相とは、撮像された連続する時相の間の時相を表している。補間画像生成部６１０は、補間時相に相当する時相画像（補間画像）を他の時相の時相画像から生成する。
　図７は、画像処理装置６０が行う全体の処理手順のフローチャートを示している。ステップＳ７００からＳ７１０、Ｓ７３０からＳ７７０は、第１の実施形態のステップＳ２００からＳ２１０、Ｓ２３０からＳ２７０と同様の処理を行うため、説明を省略する。以下、図２のフローチャートとの相違部分についてのみ説明する。
　（Ｓ７２０）（時相の対応情報の取得）
　ステップＳ７２０において、時相対応情報取得部１３０は、第１の実施形態におけるステップＳ２２０の処理と同様に、第１の位相パラメータと第２の位相パラメータに基づいて、位相が対応する第１の動画像と第２の動画像の時相画像を対応付ける。そして、位相の類似度を示す情報を時相の対応情報として取得する。ただし、所定の（注目する）時相画像において、一方の位相パラメータと一致する他方の位相パラメータの時相が存在しない場合には、補間時相と対応付ける処理を行う。
　図８を用いて具体的に説明する。図８は、横軸を時間、縦軸を位相パラメータとしたとき、第１の位相パラメータを黒点、第２の位相パラメータを白点として、左から時相順に並べて示している。ここで、第２の位相パラメータを基準に最も位相パラメータが類似する時相画像同士の対応付けを行った場合、第１の動画像の５時相目の時相画像８００は第２の動画像のいずれの時相画像とも対応付かないこととなる。このとき、本実施形態では、第１の動画像の５時相目の時相画像８００と対応付ける補間時相を取得する。例えば、第１の動画像と第２の動画像の４時相目の時相画像同士が対応付いており、第１の動画像の６時相目の時相画像８１０と第２の動画像の５時相目の時相画像８１５が対応付いている。このことから、第１の動画像の５時相目の時相画像８００は第２の動画像の４時相目の時相画像８０５と５時相目の時相画像８１５の間の被検体の状態を表していると推定することができる。したがって、第１の動画像の５時相目の時相画像８００を第２の動画像の４時相目の時相画像８０５と５時相目の時相画像８１５の間の補間時相（例えば、４．５時相）と対応付ける。補間時相は次のように算出することもできる。
　例えば、第１の動画像のａ時相目と第２の動画像のｂ時相目の時相画像が対応付いており、さらに第１の動画像のａ＋ｃ（０＜ｃ）時相目の時相画像と第２の動画像のｂ＋ｄ（０＜ｄ）時相目の時相画像が対応付いている場合を例とする。この場合、第１の動画像のａ＋ｅ時相目の時相画像（０＜ｅ＜ｃ）と対応付く第２の動画像の補間時相ｂ＋ｆ（０＜ｆ＜ｄ）は、式（１）を用いて取得できる。
ｂ＋ｆ＝ｂ＋ｄ×ｅ／ｃ・・・（１）
　なお、補間時相の取得方法は、上記の方法に限定されず、例えば位相パラメータの値に基づいて、補間時相を取得してもよい。
　例えば、第１の動画像のａ＋ｅ時相目の時相画像の第１の位相パラメータの値をｐ＿ｅ、第２の動画像のｂ時相目とｂ＋ｄ時相目の時相画像の第２の位相パラメータの値をそれぞれｐ＿ｂとｐ＿ｄ（ｐ＿ｂ＜ｐ＿ｅ＜ｐ＿ｄ）とした場合を例とする。この場合、補間時相ｂ＋ｆは、位相パラメータの比に応じて式（２）を用いて取得できる。
ｂ＋ｆ＝ｂ＋ｄ×（ｐ＿ｅ－ｐ＿ｂ）／（ｐ＿ｄ－ｐ＿ｂ）・・・（２）
　本実施形態では、第１の動画像の所定の（注目する）時相画像に対応する第２の動画像の補間時相を取得する方法を説明したが、第２の動画像の所定の（注目する）時相画像に対応する第１の動画像の補間時相を同様の方法によって取得してもよい。
　（Ｓ７２５）（補間画像の生成）
　ステップＳ７２５において、補間画像生成部６１０は、ステップＳ７２０において補間時相を取得した場合には、当該補間時相における補間画像を生成する。そして、生成した補間画像を、第１の動画像の注目する時相画像に対応する第２の動画像の時相画像として、結合位置取得部１４０および結合画像生成部１５０へと出力する。
　補間画像は、補間時相の近傍の時相画像における被検体の時系列の動きに基づいて生成する。
　例えば、第１の動画像の５時相目の時相画像と対応付いている第２の動画像の補間時相である４．５時相目の補間画像を生成する場合を例とする。この場合、第２の動画像の４．５時相目の前後の時相画像である４時相目と５時相目の時相画像間の時系列の動きに基づいて、補間画像を生成する。すなわち、４時相目と５時相目の間の変形情報を推定し、例えば、いずれか一方の画像を変形させることにより補間画像を生成する。このとき、変形情報を補間することにより、４時相目と５時相目の時相画像間の被検体の状態を表す補間画像を生成する。具体的には、５時相目の時相画像を変形させる場合、５時相目の時相画像から４時相目の時相画像へと変形させる変形量に補間時相から求めた補間率を乗じた変形情報を用いて５時相目の時相画像を変形させることにより補間画像を生成する。上記の場合、補間率は例えば、５（時相目）－４．５（時相目）＝０．５を用いる。これによって、４時相目と５時相目の間の被検体の状態を表す補間画像を生成することができる。
　なお、補間画像を生成する際に使用する時相は、補間時相の前後の隣り合う時相の画像でなくてもよい。例えば、補間時相ｂ＋ｆより前のｂ時相目と後のｂ＋ｄ時相目の間の変形情報を推定し、変形量に（ｄ－ｆ）／ｄの値を乗じた変形情報を用いてｂ＋ｄ時相目の時相画像を変形させることにより補間画像を生成することもできる。また、変形情報を推定する２つの時相における位相パラメータに基づいて変形情報に乗じる値（補間率）を求めてもよい。
　なお、変形情報を推定する際に使用する２つの時相は、補間時相の前後の時相でなくてもよい。例えば、図８に示した第２の動画像の７時相目の時相画像８２５と位相が類似する第１の動画像の補間画像を生成する場合を例とする。この場合、第１の動画像の６時相目の時相画像８１０と７時相目の時相画像８２０の間の変形情報を推定し、その変形情報を外挿することにより補間画像を生成してもよい。
　また、図８において、第２の動画像の７時相目の時相画像８２５の第２の位相パラメータの値は、第１の動画像の２時相目の時相画像と３時相目の時相画像の第１の位相パラメータの間の値である。そのため、位相がこの２時相の間であると推定できる。したがって、第１の動画像の２時相目と３時相目の間の時相画像の変形情報を推定し、いずれか一方の位相画像を変形させることにより、第２の動画像の７時相目の位相画像８２５と対応する第１の動画像の補間時相の補間画像を生成してもよい。
　なお、本実施形態における変形情報の推定方法は、第１実施形態のステップＳ２５０と同様の方法を用いることができる。
　以上によって、画像処理装置６０の処理が実施される。
　これにより、観察対象となる肺における換気量が類似する時相画像を結合した結合画像を生成することができる。すなわち、第１の動画像と第２の動画像の撮像時の呼吸運動のペースが異なる場合でも、任意の換気量の時相画像を結合することができる。そして、ユーザは換気量が類似する時相画像を結合した結合画像を時系列に観察することにより、容易に肺の領域全体の動きを観察することができる。また、より適切に位相が対応付けられた結合画像に基づいて滑り度を算出できるため、より精度の高い滑り度を算出できる。
　＜その他の実施形態＞
　また、本明細書に開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。
　また、本明細書に開示の技術の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本明細書に開示の技術を構成することになる。
　また、本明細書の開示は上記実施形態に限定されるものではなく、本明細書の開示の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本明細書の開示の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本明細書に開示の実施形態に含まれるものである。
　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。
　本願は、２０１８年１２月２７日提出の日本国特許出願特願２０１８－２４５１３８を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims (20)

  1. 　撮像装置により対象物を互いに異なる位置から撮像して得られた第１の動画像と第２の動画像を取得する動画像取得手段と、
    　前記第１の動画像から得られる第１の基準画像と前記第２の動画像から得られる第２の基準画像とを結合することにより第１の結合画像を生成し、且つ前記第１の動画像から得られる第１の比較画像と前記第２の動画像から得られる第２の比較画像とを結合することにより第２の結合画像を生成する生成手段と、
    　前記第１の結合画像と前記第２の結合画像とから推定される変形情報に基づいて、前記対象物の滑り度を算出する滑り度算出手段と、
    　を有することを特徴とする画像処理装置。
  2. 　前記滑り度は、前記対象物の輪郭線を挟んで前記対象物の内部と前記対象物の外部に夫々設定された２つの基準点の、前記第１の結合画像における位置と第２の結合画像における位置とに基づいて算出される相対的な移動量であることを特徴とする請求項１に記載の画像処理装置。
  3. 　前記対象物は、周期的な運動を行う臓器であって、
    　前記第１の動画像の各時相における前記対象物の動きの位相情報を示す第１の位相パラメータと、前記第２の動画像の各時相における前記対象物の動きの位相情報を示す前記第２の動画像の各時相における第２の位相パラメータとを取得する位相取得手段と、
    　前記第１の位相パラメータと前記第２の位相パラメータに基づいて、前記第１の動画像から得られる前記第１の基準画像と前記第１の比較画像とを含む複数の時相画像と前記第２の動画像から得られる前記第２の基準画像と前記第２の比較画像とを含む複数の時相画像とを対応付ける対応付け手段と、をさらに有し、
    　前記第１の基準画像及び前記第２の基準画像と、前記第１の比較画像及び前記第２の比較画像は前記対応付け手段により対応付けられた画像であることを特徴とする請求項１または２に記載の画像処理装置。
  4. 　前記位相取得手段は、前記第１の動画像に撮像された前記対象物の様態に基づいて、前記第１の位相パラメータを取得し、前記第２の動画像に撮像された前記対象物の様態に基づいて、前記第２の位相パラメータを取得することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記対応付け手段は、前記第１の位相パラメータと前記第２の位相パラメータとが類似する時相画像同士を対応付けることを特徴とする請求項３または４に記載の画像処理装置。
  6. 　前記対応付け手段は、前記対象物の内部における、前記第１の位相パラメータと前記第２の位相パラメータとが類似する時相画像同士を対応付け、且つ前記対象物の外部における、前記第１の位相パラメータと前記第２の位相パラメータとが類似する時相画像同士を対応付けることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
  7. 　前記対応付け手段により対応付けられた前記第１の動画像から得られる時相画像と前記第２の動画像とから得られる時相画像の結合位置の信頼度を算出する算出手段をさらに有することを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
  8. 　前記生成手段は、前記信頼度が閾値以上の時相画像の組を少なくとも２つ以上選択し結合画像を生成することを特徴とする請求項７に記載の画像処理装置。
  9. 　前記生成手段は前記第１の動画像から得られる時相画像と前記第２の動画像から得られる時相画像とから少なくとも３つ以上の結合画像を生成し、
    　前記滑り度算出手段は、前記３つ以上の結合画像のうち前記信頼度が閾値以上の結合画像を２つ以上選択し、前記選択された結合画像から推定される変形情報に基づいて前記対象物の滑り度を算出することを特徴とする請求項７または８に記載の画像処理装置。
  10. 　前記生成手段は、前記第１の基準画像と前記第１の比較画像のうち少なくとも一方を、前記第１の動画像から得られる少なくとも１つの時相画像から生成することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
  11. 　前記生成手段は、前記第２の基準画像と前記第２の比較画像のうち少なくとも一方を、前記第２の動画像から得られる少なくとも１つの時相画像から生成することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
  12. 　前記生成手段は、前記第１の基準画像と前記第２の動画像から得られる第３の基準画像とを結合することにより第３の結合画像をさらに生成し、
    　前記滑り度算出手段は、前記第１の結合画像及び前記第２の結合画像から推定される第１の変形情報と前記第１の結合画像及び前記第３の結合画像から推定される第２の変形情報とに基づいて、前記対象物の滑り度を算出することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
  13. 　前記滑り度算出手段は、前記第１の結合画像と前記第２の結合画像とから推定される前記対象物の内部における変形情報と前記対象物の外部における変形情報とに基づいて前記対象物の滑り度を算出することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
  14. 　撮像装置により対象物を互いに異なる位置から撮像して得られた第１の動画像と第２の動画像を取得する動画像取得手段と、
    　前記第１の動画像から得られる第１の基準画像と前記第２の動画像から得られる第２の基準画像との間の結合位置情報を取得する結合位置情報取得手段と、
    　前記結合位置情報と、
    　前記第１の基準画像及び前記第１の動画像から得られる第１の比較画像から推定される第１の変形情報と、
    　前記第２の基準画像及び前記第２の動画像から得られる第２の比較画像から推定される第２の変形情報と、
    　前記第１の基準画像及び前記第２の比較画像もしくは前記第１の比較画像及び前記第２の基準画像の少なくとも一方の組から推定される第３の変形情報と、に基づいて前記対象物の滑り度を算出する滑り度算出手段と、
    　を有することを特徴とする画像処理装置。
  15. 　撮像装置により対象物を互いに異なる位置から撮像して得られた第１の動画像と第２の動画像を取得する動画像取得手段と、
    　前記第１の動画像から得られる第１の基準画像と前記第２の動画像から得られる第２の基準画像を結合した結合画像を生成する生成手段と、
    　前記結合画像及び前記第１の動画像から得られる第１の比較画像から推定される第１の変形情報と、前記結合画像及び前記第２の動画像から得られる前記第２の比較画像から推定される第２の変形情報と、に基づいて前記対象物の滑り度を算出する滑り度算出手段と、
    　を有することを特徴とする画像処理装置。
  16. 　前記撮像装置はＸ線ＣＴ装置であって、前記第１の動画像と前記第２の動画像は４次元ＣＴ画像であることを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
  17. 　前記対象物は、肺であって、前記第１の動画像と前記第２の動画像とは、前記肺を頭尾方向に分割して撮像して得られた動画像であることを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
  18. 　前記対応付け手段は、前記第１の動画像から得られる最大吸気位における時相画像と前記第２の動画像から得られる前記最大吸気位における時相画像を対応付け、前記第１の動画像から得られる最大呼気位における時相画像と前記第２の動画像から得られる前記最大呼気位の時相画像を対応付けることを特徴とする請求項１７に記載の画像処理装置。
  19. 　撮像装置により対象物を互いに異なる位置から撮像して得られた第１の動画像と第２の動画像を取得する動画像取得工程と、
    　前記第１の動画像から得られる第１の基準画像と前記第２の動画像から得られる第２の基準画像とを結合することにより第１の結合画像を生成し、且つ前記第１の動画像から得られる第１の比較画像と前記第２の動画像から得られる第２の比較画像とを結合することにより第２の結合画像を生成する生成工程と、
    　前記第１の結合画像と前記第２の結合画像とから推定される変形情報に基づいて、前記対象物の滑り度を算出する滑り度算出工程と、
    　を有することを特徴とする画像処理方法。
  20. 　請求項１乃至１８のいずれか１項に記載の画像処理装置の各手段をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2019/050752 2018-12-27 2019-12-25 画像処理装置、画像処理方法及びプログラム Ceased WO2020138136A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020563335A JP7536653B2 (ja) 2018-12-27 2019-12-25 画像処理装置、画像処理方法及びプログラム
US17/346,000 US11836923B2 (en) 2018-12-27 2021-06-11 Image processing apparatus, image processing method, and storage medium
JP2024130996A JP2024156932A (ja) 2018-12-27 2024-08-07 画像処理装置、画像処理方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-245138 2018-12-27
JP2018245138 2018-12-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/346,000 Continuation US11836923B2 (en) 2018-12-27 2021-06-11 Image processing apparatus, image processing method, and storage medium

Publications (1)

Publication Number Publication Date
WO2020138136A1 true WO2020138136A1 (ja) 2020-07-02

Family

ID=71129443

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050752 Ceased WO2020138136A1 (ja) 2018-12-27 2019-12-25 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11836923B2 (ja)
JP (2) JP7536653B2 (ja)
WO (1) WO2020138136A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022049275A (ja) * 2020-09-16 2022-03-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20230079025A1 (en) * 2021-09-10 2023-03-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2023040913A (ja) * 2021-09-10 2023-03-23 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2023040874A (ja) * 2021-09-10 2023-03-23 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000411A (ja) * 2002-04-03 2004-01-08 Canon Inc 動画像表示方法、動画像処理方法、プログラム、コンピュータ可読記憶媒体、動画像表示装置、動画像処理装置、動画像表示システム、動画像処理システム、画像診断支援方法、及び画像診断支援システム
JP2011255055A (ja) * 2010-06-11 2011-12-22 Konica Minolta Medical & Graphic Inc 放射線画像処理装置、放射線画像処理方法及びプログラム
JP2016067832A (ja) * 2014-10-01 2016-05-09 キヤノン株式会社 医用画像処理装置、医用画像処理方法
JP2017018317A (ja) * 2015-07-10 2017-01-26 コニカミノルタ株式会社 胸部画像表示システム及び画像処理装置
JP2017225724A (ja) * 2016-06-24 2017-12-28 コニカミノルタ株式会社 放射線画像撮影システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6932934B2 (ja) * 2017-01-23 2021-09-08 セイコーエプソン株式会社 スキャナー、スキャンプログラムおよびスキャンデータの生産方法
JP7153425B2 (ja) * 2017-01-23 2022-10-14 セイコーエプソン株式会社 スキャナー、スキャンプログラムおよびスキャンデータの生産方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000411A (ja) * 2002-04-03 2004-01-08 Canon Inc 動画像表示方法、動画像処理方法、プログラム、コンピュータ可読記憶媒体、動画像表示装置、動画像処理装置、動画像表示システム、動画像処理システム、画像診断支援方法、及び画像診断支援システム
JP2011255055A (ja) * 2010-06-11 2011-12-22 Konica Minolta Medical & Graphic Inc 放射線画像処理装置、放射線画像処理方法及びプログラム
JP2016067832A (ja) * 2014-10-01 2016-05-09 キヤノン株式会社 医用画像処理装置、医用画像処理方法
JP2017018317A (ja) * 2015-07-10 2017-01-26 コニカミノルタ株式会社 胸部画像表示システム及び画像処理装置
JP2017225724A (ja) * 2016-06-24 2017-12-28 コニカミノルタ株式会社 放射線画像撮影システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022049275A (ja) * 2020-09-16 2022-03-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7546423B2 (ja) 2020-09-16 2024-09-06 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20230079025A1 (en) * 2021-09-10 2023-03-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2023040913A (ja) * 2021-09-10 2023-03-23 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2023040874A (ja) * 2021-09-10 2023-03-23 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
US20210304409A1 (en) 2021-09-30
JPWO2020138136A1 (ja) 2021-11-11
JP7536653B2 (ja) 2024-08-20
JP2024156932A (ja) 2024-11-06
US11836923B2 (en) 2023-12-05

Similar Documents

Publication Publication Date Title
US8867808B2 (en) Information processing apparatus, information processing method, program, and storage medium
JP6346445B2 (ja) 処理装置、処理装置の制御方法、およびプログラム
KR101982149B1 (ko) 의료 영상의 일부 정보를 활용한 장기 영상 생성 방법 및 장치
US11836923B2 (en) Image processing apparatus, image processing method, and storage medium
KR102338018B1 (ko) 초음파 이미지상의 특징점들을 이용한 초음파 지방간 자동 진단 장치 및 이를 이용한 원격 의료 진단 방법
JP2012205899A (ja) ３次元的モデルを利用した身体臓器の映像生成方法及び装置並びにコンピュータ読み取り可能な記録媒体
KR20120111871A (ko) 3차원적 모델을 이용한 신체 장기의 영상 생성 방법 및 장치
JP6541334B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6131161B2 (ja) 画像位置合わせ装置、方法、およびプログラム、並びに３次元変形モデル生成方法
US11062452B2 (en) Image processing apparatus, image processing method and non-transitory computer-readable medium
KR20140096919A (ko) 의료 영상 정합 방법 및 장치
JP2013123528A (ja) 画像診断支援装置、画像診断支援方法
JP2002140689A (ja) 医用画像処理装置及びその方法
JP2015130973A (ja) 処理装置、処理方法、およびプログラム
KR20240086195A (ko) 확산 모델을 이용한 비지도 학습 기반 변형 영상 정합 및 합성 영상 생성 시스템 및 그 방법
JP7551419B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20130079987A (ko) 장기 변형모델을 추정하는 방법, 장치 및 의료영상시스템
US12347118B2 (en) Information processing apparatus, information processing method, and non-transitory storage medium for processing image features of anatomical parts from examination images of a subject
JP2017080157A (ja) 画像処理装置
JP6501569B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
JP6660428B2 (ja) 処理装置、処理方法、およびプログラム
JP7500360B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7546423B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5706933B2 (ja) 処理装置および処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19902319

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020563335

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19902319

Country of ref document: EP

Kind code of ref document: A1