[go: up one dir, main page]

WO2018143565A1 - 영상 처리 방법 - Google Patents

영상 처리 방법 Download PDF

Info

Publication number
WO2018143565A1
WO2018143565A1 PCT/KR2017/015389 KR2017015389W WO2018143565A1 WO 2018143565 A1 WO2018143565 A1 WO 2018143565A1 KR 2017015389 W KR2017015389 W KR 2017015389W WO 2018143565 A1 WO2018143565 A1 WO 2018143565A1
Authority
WO
WIPO (PCT)
Prior art keywords
size information
image
data
transform data
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2017/015389
Other languages
English (en)
French (fr)
Inventor
이경준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seoul National University Hospital
Original Assignee
Seoul National University Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seoul National University Hospital filed Critical Seoul National University Hospital
Publication of WO2018143565A1 publication Critical patent/WO2018143565A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Definitions

  • the present invention relates to an image processing method, and more particularly, to an image processing method for extracting a common element or a non-common element from two images.
  • a motion vector is calculated by selecting key points in the reference image and the target image (eg, grid point setting, feature point detection, region of interest designation, etc.), and identifying correspondences between the key points between the reference image and the target image. (E.g., block matching, feature point matching, region of interest tracking, etc.), warping the reference image to the target image (e.g., free-form deformation (FFD), thin-plate spline (TPS)) , Affine transformation, pixel-shift, etc.), and the reference image and the target image are subtracted from each other to generate a result image from which the difference between the reference image and the target image is extracted.
  • key points in the reference image and the target image e.g, grid point setting, feature point detection, region of interest designation, etc.
  • identifying correspondences between the key points between the reference image and the target image e.g., block matching, feature point matching, region of interest tracking, etc.
  • warping the reference image to the target image e.g., free-form deformation
  • Oclusions often cause inconsistencies between the two images, and two-dimensional perspective images, such as X-rays, have a plurality of objects superimposed on one pixel and thus multiple images in different images.
  • the problem of obscuring correspondences often arises when objects move in different directions.
  • An object of the present invention is to provide an image processing method capable of effectively selecting common or non-common elements from two images even in noise and dynamic noise.
  • a method of processing an image including: obtaining a plurality of first transform data having different scale spaces and orientations based on a first image, Acquiring a plurality of second transform data having different scale spaces and directions based on the second image, and converting the transform data having the same scale space and direction among the plurality of first transform data and the plurality of second transform data Comparing size information with each other, extracting any one of the compared size information according to an extraction rule, obtaining a plurality of third converted data based on the extracted size information, and the plurality of third conversions. Restoring the data to the spatial domain.
  • the acquiring of the plurality of first transformed data may include applying a steerable filter having an adjustable property to scale space and directionality to the first image to obtain the plurality of first transformed data.
  • the plurality of second transform data may be obtained by applying the steerable filter to the second image.
  • the plurality of first transform data and the plurality of second transform data may be represented by a complex steerable pyramid.
  • Each of the first transform data and the second transform data may include a magnitude image in which the magnitude information is represented as an image and a phase image in which phase information is represented as an image on the complex steerable pyramid.
  • the size image of the first converted data and the size image of the second converted data may be compared for each pixel.
  • the extraction rule may be to extract size information of a smaller value among pixel size information of the first transform data and pixel size information of the second transform data.
  • the extraction rule extracts the size information of the first transform data when the difference between the pixel size information of the first transform data and the pixel size information of the second transform data is equal to or less than a threshold value, and extracts the first transform data. If the difference between the pixel size information of the data and the pixel size information of the second converted data exceeds the threshold, among the pixel size information of the first converted data and pixel size information of the second converted data, It may be to extract smaller size information.
  • the extraction rule may be to extract size information of a larger value among pixel size information of the first transform data and pixel size information of the second transform data.
  • the extraction rule extracts the size information of the second transform data when the difference between the pixel size information of the first transform data and the pixel size information of the second transform data is equal to or less than a threshold value. If the difference between the pixel size information of the data and the pixel size information of the second converted data exceeds the threshold, among the pixel size information of the first converted data and pixel size information of the second converted data, It may be to extract larger size information.
  • the plurality of third transform data may be obtained by extracting the phase information corresponding to the extracted magnitude information.
  • the plurality of first transform data, the plurality of second transform data, and the plurality of third transform data may be configured by a combination of M different scale spaces and N different directionalities.
  • FIG. 1 is a block diagram of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
  • FIG 3 is a view schematically illustrating an example of a first image.
  • FIG. 4 is a view schematically illustrating an example of a second image.
  • FIG. 5 is a diagram illustrating a steerable filter in the frequency domain.
  • 6 is an actual image used as the first image.
  • FIG. 7 is a diagram illustrating a complex stirrable pyramid obtained by applying the steerable filter of FIG. 5 to the image of FIG. 6.
  • FIG. 9 is a diagram schematically illustrating a common element extracted through an image processing method according to an embodiment of the present invention.
  • FIG. 10 is a schematic representation of a non-common element extracted through an image processing method according to an embodiment of the present invention.
  • 11 and 12 are actual images used as the first image and the second image.
  • FIG. 13 is an image representing a common element extracted by applying an image processing method according to an exemplary embodiment of the present invention with respect to the images of FIGS. 11 and 12.
  • FIG. 14 is an image representing non-common elements extracted by applying an image processing method according to an exemplary embodiment to the images of FIGS. 11 and 12.
  • FIG. 15 is an image representing non-common elements extracted by applying an existing image processing method to the images of FIGS. 11 and 12.
  • FIG. 1 is a block diagram of an image processing apparatus according to an embodiment of the present invention
  • FIG. 2 is a flowchart illustrating an image processing method according to an embodiment of the present invention.
  • an image processing apparatus may include an image receiver 10, an image converter 20, a comparator 30, an extractor 40, and a reconstructor 50. And a subtraction unit 60 and a display unit 70.
  • a first image and a second image are acquired, and a plurality of first converted data are obtained in operation S12.
  • Acquiring a plurality of second transform data (S13) comparing the size information (S14), extracting the size information and the phase information (S15), and obtaining a plurality of third converted data (S16). And restoring to the spatial domain (S17).
  • the image receiving unit 10, the image converting unit 20, the comparing unit 30, the extracting unit 40, the reconstructing unit 50, and the subtracting unit 60 constituting the image processing apparatus according to an exemplary embodiment of the present invention.
  • the functions of the display unit 70 will be described below with the image processing method according to an embodiment of the present invention.
  • the image receiver 10 receives the first image and the second image.
  • the first image and the second image are images including common elements commonly present in the two images, and may be images captured by the same region with a time difference, or images captured so that some regions overlap.
  • At least one of the first image and the second image may include a non-common element that does not exist in another image.
  • the first image is an image of an X-ray, a CT, etc. of a body part of a patient
  • the second image may be an image of an X-ray, a CT, and the like taken after injecting a contrast agent to the same patient.
  • FIG. 3 is a diagram schematically illustrating an example of a first image
  • FIG. 4 is a diagram schematically illustrating an example of a second image.
  • the first image is an image of the spine 1 and the internal organs 2 and 3.
  • Internal organs 2, 3 may be liver 2, stomach 3, and the like.
  • the second image is an image obtained by capturing the same region as the first image, and is photographed after the injection of a blood vessel contrast agent to further capture the blood vessel 4.
  • the liver 2 ′ and the stomach 3 ′ may be different from the positions 2 and 3 of the first image due to movement or breathing of the patient.
  • the image processing apparatus may receive the first and second images captured by the separate photographing equipment by the image receiving unit 10 or may be configured to include the photographing equipment.
  • the display unit 70 is a configuration for visually displaying image information. According to an embodiment, the display unit 70 receives image information of the first image and the second image from the image receiver 10 to visually display the first image and the second image. can do.
  • the image converter 20 steerable filters the first image and the second image, respectively. ) To obtain a plurality of first transform data and a plurality of first transform data.
  • the image converting unit 20 receives the first image and the second image from the image receiving unit 10, and acquires a stiffable filter on the first image in step S12 of obtaining a plurality of first converted data.
  • a plurality of second transform data may be obtained by applying a steerable filter to the second image.
  • Steerable filters have adjustable characteristics for scale space and directionality.
  • the steerable filter when applied to the image, the image is transformed into transform data having a spatial frequency band and a direction band.
  • FIG. 5 is a diagram illustrating a steerable filter in the frequency domain.
  • FIG. 5 illustrates steerable filters having three scale spaces and four directivity as an example of a stiffable filter.
  • the steerable filters F11 to F34 composed of three different scale spaces and four directional combinations may be represented on the two-dimensional frequency domain, as shown in FIG. 5.
  • the steerable filters of F11, F21, and F31 are filters having the same directionality, and the steerable filters of F11, F12, F13, and F14 are filters having the same scale space.
  • the steerable filters of F12, F22, and F32 have the same directivity, and the steerable filters of F21, F22, F23, and F24 are filters having the same scale space.
  • the steerable filters of F13, F23, and F33 have the same directionality
  • the steerable filters of F31, F32, F33, and F34 are filters having the same scale space.
  • the steerable filters of F14, F24, and F34 are filters having the same directivity.
  • the steerable filters having three scale spaces and four directionality are illustrated, but the number of scale spaces and the number of directionality can be adjusted.
  • the low frequency region Z L and the high frequency region Z H which do not include the main information, may be excluded, and the steerable filters ( The symmetry region Z S symmetric to F11 to F34 may also be excluded.
  • the first transform data (or second transform data) that is a result of applying the steerable filter to the first image (or the second image) may be expressed by the following equation.
  • R w, ⁇ means first transform data (or second transform data) as a complex value
  • I means first image (or second image)
  • ⁇ w, ⁇ means steerable filter do.
  • (x, y) means pixel coordinates of the image. w corresponds to scale space and ⁇ corresponds to directionality.
  • a w, ⁇ and ⁇ w, ⁇ can be calculated as follows , respectively.
  • a w, ⁇ means size information of the first transform data (or second transform data), and ⁇ w, ⁇ means phase information.
  • the first transform data and the second transform data include size information A w, ⁇ and phase information ⁇ w, ⁇ according to the pixel coordinates x and y.
  • FIG. 6 is an actual image used as a first image
  • FIG. 7 is a diagram illustrating a complex stirrable pyramid obtained by applying the steerable filter of FIG. 5 to the image of FIG. 6.
  • the plurality of first transformed data obtained in step S12 may be represented by a complex steerable pyramid.
  • the complex stableable pyramid shown in FIG. 7 is a result of the stiffable filters F11 ⁇ F34 shown in FIG. 5, and thus has four orientations and three scale spaces.
  • the plurality of first transformed data on the complex stirrable pyramid is represented by a set of 3 ⁇ 4 images.
  • each first transformed data is identified by a dotted line.
  • each first transform data has size information A w, ⁇ and phase information ⁇ w, ⁇ according to each pixel coordinate x, y, as shown in FIG.
  • Each of the first converted data is a size image (A11 to A34) in which the size information A w, ⁇ for each pixel is represented as an image, and a phase image (P11 to P34) in which the phase information ( ⁇ w, ⁇ ) for each pixel is represented as an image. ) Will be included. That is, the size images A11 to A34 and the phase images P11 to P34 are configured as one image set to constitute the first converted data.
  • the number of pixels of the size images A11 to A34 may be different according to the scale space.
  • the number of pixels of the phase images P11 to P34 may also be different depending on the scale space.
  • the size images A11 to A34 and the phase images P11 to P34 may have a larger number of pixels. As the number of pixels increases, more texture information of the first image may be retained.
  • the plurality of second transformed data is also represented by a complex steerable pyramid similar to that shown in FIG. Since the detailed description of the complex stirrable pyramid has been described above, the detailed description thereof will be omitted.
  • the display unit 70 receives a plurality of first transformed data and a plurality of second transformed data A11 through A34 and a phase image P11 through P34 from the image converter 20 to visualize the complex stable pyramid. Can be displayed as
  • step S14 of comparing the size information the comparator 30 compares the plurality of first transform data and the plurality of second transform data obtained in steps S12 and S13.
  • a plurality of first transform data C1 and a plurality of second transform data C2 represented by the complex stirrable pyramid are obtained through steps S12 and S13.
  • the comparator 30 compares, for each pixel, a size image of the converted data among the plurality of first converted data C1 and the plurality of second converted data C2.
  • the size image A11 of the specific transform data among the plurality of first transform data C1 is equal to the size image A11 of the transform data having the same scale space and directivity among the plurality of second transform data C2.
  • the comparison unit converts the size information A w and ⁇ of each pixel of the size image A11 of the first transform data C1 into the size information A w, of each pixel of the second transform data C2 size image A11 . ⁇ ) and one-to-one comparison.
  • the comparison unit 30 performs such a task for each of the first transform data and the second transform data, and compares both the plurality of first transform data and the size images of the plurality of second transform data.
  • the extractor 40 may match any one of the pixel size information A w and ⁇ compared by the comparator 30 in step S14 according to a predetermined extraction rule.
  • the extracted pixel size information A w, ⁇ and the corresponding phase information ⁇ w, ⁇ are extracted together.
  • the size information A w, ⁇ of each pixel of the size image A11 of the first converted data C1 is extracted by comparing the size information A w, ⁇ , the phase of the first converted data C1 is determined.
  • the phase information ( ⁇ w, ⁇ ) of a pixel to be extracted from the image (P11) is extracted along.
  • the extraction rule based on this may vary depending on the embodiment.
  • any one of the following two extraction rules may be used. Can be applied.
  • One extraction rule has a smaller value among the pixel-specific size information A w, ⁇ of the first transformed data C1 and the pixel-specific size information A w, ⁇ of the second transformed data C2.
  • the size information A w, ⁇ is extracted.
  • the other one of the extraction rules the difference comparing a first pixel-by-pixel size information of the converted data (C1) (A w, ⁇ ) and the second conversion (A w, ⁇ ) pixel-by-pixel size information of the data (C2) preset If it is less than (or less than) the threshold, the pixel-specific size information A w, ⁇ of the transformed first transformed data C1 is extracted from the first image in which the non-common element 4 is not present, and the difference thereof. If is greater than (or greater than) the predetermined threshold value, the size information A w, ⁇ having a smaller value is extracted. Performed according to the example may be configured such that the difference is a predetermined threshold value or less (or less than) the case where the second conversion data (C2) size information (A w, ⁇ ) by the pixel extraction.
  • any one of the following two extraction rules may be applied.
  • One extraction rule has a larger value among the pixel-specific size information A w, ⁇ of the first transformed data C1 and the pixel-specific size information A w, ⁇ of the second transformed data C2.
  • the size information A w, ⁇ is extracted.
  • the other one of the extraction rules the difference comparing a first pixel-by-pixel size information of the converted data (C1) (A w, ⁇ ) and the second conversion (A w, ⁇ ) pixel-by-pixel size information of the data (C2) preset If it is less than (or less than) the threshold, the pixel-specific size information A w, ⁇ of the transformed second transform data C2 is extracted from the second image in which the non-common element 4 is present, and the difference is In the case of exceeding (or exceeding) a predetermined threshold value, the size information A w, ⁇ having a larger value is extracted. According to an exemplary embodiment, when the difference is less than (or less than) a preset threshold, the pixel-specific size information A w and ⁇ of the first transform data C1 may be extracted.
  • the extractor 40 performs step S15 on all pixels of the plurality of first transform data C1 and the plurality of second transform data C2. As shown in FIG. 8, a plurality of third converted data C3 are obtained.
  • the extractor 40 compares all the pixels of the plurality of first transform data C1 and the plurality of second transform data C2 in one-to-one relationship, and compares the size information A w and ⁇ and the phase information of one pixel. ⁇ w, ⁇ ), and thus, as shown in FIG. 8, a plurality of third transforms represented by a complex stable pyramid similar to the plurality of first transform data C1 or the plurality of second transform data C2. Data C3 is obtained.
  • step S17 of restoring to the spatial domain the restoring unit 50 restores the plurality of third converted data C3 to the spatial domain.
  • the spatial domain means the same domain as the image shown in FIG. 3, 4, or 6.
  • the reconstructor 50 may reconstruct the plurality of third transform data C3 into the spatial domain through inverse Fourier transform after converting the plurality of third transform data C3.
  • the display unit 70 may receive image information of the restored image from the restorer 50 and visually display the restored image.
  • FIG. 9 is a view schematically illustrating a common element extracted through an image processing method according to an embodiment of the present invention
  • FIG. 10 is a schematic view of a non-common element extracted through an image processing method according to an embodiment of the present invention. This is expressed as.
  • the image reconstructed into the spatial domain in step S17 is illustrated in FIG. 9.
  • the common elements 1, 2 (2 ′, 3 (3 ′)) of the first image (see FIG. 3) and the second image (FIG. 4) are represented as shown in FIG. 10.
  • the non-common element 4 of the first image (see FIG. 3) and the second image (see FIG. 4) can be represented.
  • Steer scalable pyramids are a common element (1, 2 (2 ') on the basis of the size information (A w, ⁇ ) based on the orientation band are distinguished by the spatial frequency band and directional distinguishing the scale space by the steering scalable filter, 3 ( 3 ')) and the non-common element (4), so that the elements (1, 2 (2'), 3 (3 ') common to the two images that are strong against noise and are not present at the same location It also has a strong advantage in the dynamic noise due to the non-rigid nature of the variable.
  • the non-common element ( A subtraction step for extracting 4) can be added.
  • the subtraction unit 60 may obtain an image from which the non-common element 4 is extracted by subtracting the image reconstructed in step S17 (see FIG. 9) from the second image (see FIG. 4).
  • the display unit 70 may receive image information of the subtracted image from the subtractor 60 to visually display the subtracted image.
  • FIGS. 11 and 12 are actual images used as the first image and the second image
  • FIG. 13 is extracted by applying an image processing method according to an embodiment of the present invention to the images of FIGS. 11 and 12.
  • a common element is an image
  • FIG. 14 is an image representing a non-common element extracted by applying an image processing method according to an exemplary embodiment of the present invention with respect to the image of FIGS. 11 and 12.
  • FIG. 12 it can be seen in FIG. 12 that a blood vessel image (non-common element) not shown in FIG. 11 is observed.
  • FIG. 13 it can be seen that only the common elements common to FIGS. 11 and 12 are represented in the reconstructed image as a result of applying the step S17 of the image processing method according to the exemplary embodiment of the present invention. have.
  • FIG. 14 it can be seen that the blood vessel image (non-common element) existing only in FIG. 12 is clearly expressed in the result of applying the subtraction step of the image processing method according to the exemplary embodiment of the present invention. .
  • FIG. 15 is an image representing non-common elements extracted by applying an existing image processing method to the images of FIGS. 11 and 12. As shown in FIG. 15, as a result of applying the conventional image processing method, it may be confirmed that a large amount of noise is expressed compared to the image shown in FIG. 14.
  • the image processing apparatus and the image processing method according to an embodiment of the present invention may extract and extract common elements and non-common elements in two images, and common elements are present at the same position in the two images. Common elements can also be selected for dynamic noise due to non-rigid or non-rigid characteristics.
  • an image processing method includes obtaining a plurality of first transformed data having different scale spaces and orientations based on a first image, and based on a second image. Acquiring a plurality of second transform data having different scale spaces and directions, and comparing size information of the transform data having the same scale space and direction among the plurality of first transform data and the plurality of second transform data; Extracting any one of the compared size information according to an extraction rule, obtaining a plurality of third converted data based on the extracted size information, and restoring the plurality of third converted data to a spatial domain It includes a step.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 영상 처리 방법은, 제1 이미지를 기초로 서로 다른 스케일 공간(scale space) 및 방향성(orientation)을 갖는 복수의 제1 변환 데이터를 획득하는 단계, 제2 이미지를 기초로 서로 다른 스케일 공간 및 방향성을 갖는 복수의 제2 변환 데이터를 획득하는 단계, 상기 복수의 제1 변환 데이터와 상기 복수의 제2 변환 데이터 중 동일한 스케일 공간 및 방향성을 갖는 변환 데이터들의 크기 정보를 상호 비교하는 단계, 상기 비교한 크기 정보 중 어느 하나를 추출 규칙에 따라 추출하는 단계, 상기 추출된 크기 정보들을 기초로 복수의 제3 변환 데이터를 획득하는 단계 및 상기 복수의 제3 변환 데이터를 공간 도메인으로 복원하는 단계를 포함한다.

Description

영상 처리 방법
본 발명은 영상 처리 방법에 관한 것으로서, 보다 상세하게는 2개의 이미지에서 공통 요소 또는 비공통 요소를 추출하는 영상 처리 방법에 관한 것이다.
의료 영상 분야나 보안 영상 분야 등에서는 서로 유사한 2개의 영상의 차이를 시각적으로 뚜렷하게 추출하고자 하는 요구들이 존재한다.
의료 영상 분야에서는 환자의 정확한 병변 진단을 위한 것이고, 보안 영상 분야에서는 감시 영역에서 외부 침입자의 출현 또는 기타 환경 변화 등을 보다 쉽고 빠르게 확인하기 위해서이다.
서로 유사한 2개의 영상(참조 영상과 목표 영상)의 차이를 추출하기 위해서 사용되는 방법으로는 다양한 방법들이 사용되고 있으나, 주로 다음과 같은 접근법을 공통적으로 사용한다.
참조 영상과 목표 영상 내의 주요 지점을 선정하고(예를 들어, 격자점 세팅, 특징점 검출, 관심 영역 지정 등), 참조 영상과 목표 영상 사이의 주요 지점들에 대한 대응 관계를 파악하여 움직임 벡터를 연산하고(예를 들어, 블록 매칭, 특징점 매칭, 관심 영역 추적 등), 참조 영상을 목표 영상으로 변형(warping)한 후(예를 들어, FFD (free-form deformation), TPS (thin-plate spline), 아핀변환(affine transformation), 화소이동(pixel-shift) 등), 참조 영상과 목표 영상을 서로 감산(subtraction)하여, 참조 영상과 목표 영상 사이의 차이가 추출된 결과 영상을 생성한다.
그러나 종래에 사용되는 방법은 다음과 같은 문제들이 있다.
가리움(occlusion)에 의해 두 영상 간의 대응관계가 매칭되지 않는 경우가 종종 발생하며, X-ray와 같은 2차원 투시 영상은 하나의 화소에 복수의 물체(object)가 중첩되어 있어 다른 이미지에서 복수의 물체가 서로 다른 방향으로 이동한 경우 대응관계가 모호해지는 문제 역시 종종 발생한다.
또한, 높은 정밀도를 요구하는 경우 일반적으로 반복적 최적화 과정(iterative optimization)을 포함하게 되어 계산량이 크게 증가하는 문제가 있다.
본 발명이 해결하고자 하는 과제는, 노이즈와 동적 잡음에도 2개의 이미지에서 공통 요소나 비공통 요소를 효과적으로 선별할 수 있는 영상 처리 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 처리 방법은, 제1 이미지를 기초로 서로 다른 스케일 공간(scale space) 및 방향성(orientation)을 갖는 복수의 제1 변환 데이터를 획득하는 단계, 제2 이미지를 기초로 서로 다른 스케일 공간 및 방향성을 갖는 복수의 제2 변환 데이터 획득하는 단계, 상기 복수의 제1 변환 데이터와 상기 복수의 제2 변환 데이터 중 동일한 스케일 공간 및 방향성을 갖는 변환 데이터들의 크기 정보를 상호 비교하는 단계, 상기 비교한 크기 정보 중 어느 하나를 추출 규칙에 따라 추출하는 단계, 상기 추출된 크기 정보들을 기초로 복수의 제3 변환 데이터를 획득하는 단계 및 상기 복수의 제3 변환 데이터를 공간 도메인으로 복원하는 단계를 포함한다.
상기 복수의 제1 변환 데이터를 획득하는 단계는 상기 제1 이미지에 스케일공간 및 방향성에 대해 조정 가능한 특성을 갖는 스티어러블 필터(steerable filter)를 적용하여 상기 복수의 제1 변환 데이터를 획득하고, 상기 복수의 제2 변환 데이터를 획득하는 단계는 상기 제2 이미지에 상기 스티어러블 필터를 적용하여 상기 복수의 제2 변환 데이터를 획득할 수 있다.
상기 복수의 제1 변환 데이터 및 상기 복수의 제2 변환 데이터는 콤플렉스 스티어러블 피라미드(complex steerable pyramid)로 표현될 수 있다.
상기 제1 변환 데이터 및 상기 제2 변환 데이터는 각각 상기 콤플렉스 스티어러블 피라미드 상에서 상기 크기 정보가 이미지로 표현된 크기 이미지와 위상 정보가 이미지로 표현된 위상 이미지를 포함할 수 있다.
상기 크기 정보를 상호 비교하는 단계에서는, 상기 제1 변환 데이터의 크기 이미지와 상기 제2 변환 데이터의 크기 이미지를 픽셀 별로 비교할 수 있다.
상기 추출 규칙은, 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보 중 더 작은 값의 크기 정보를 추출하는 것일 수 있다.
상기 추출 규칙은, 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보의 차이가 임계값 이하인 경우에는 상기 제1 변환 데이터의 크기 정보를 추출하고, 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보의 차이가 상기 임계값을 초과하는 경우에는 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보 중 더 작은 크기 정보를 추출하는 것일 수 있다.
상기 추출 규칙은, 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보 중 더 큰 값의 크기 정보를 추출하는 것일 수 있다.
상기 추출 규칙은, 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보의 차이가 임계값 이하인 경우에는 상기 제2 변환 데이터의 크기 정보를 추출하고, 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보의 차이가 상기 임계값을 초과하는 경우에는 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보 중 더 큰 크기 정보를 추출하는 것일 수 있다.
상기 복수의 제3 변환 데이터를 획득하는 단계에서는, 상기 추출된 크기 정보와 대응하는 상기 위상 정보를 추출하여 상기 복수의 제3 변환 데이터를 획득할 수 있다.
상기 복수의 제1 변환 데이터, 상기 복수의 제2 변환 데이터 및 상기 복수의 제3 변환 데이터는, 서로 다른 M개의 스케일 공간과 서로 다른 N개의 방향성의 조합으로 구성될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
노이즈와 동적 잡음에도 2개의 이미지에서 공통 요소나 비공통 요소를 효과적으로 선별할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 순서도이다.
도 3은 제1 이미지의 일례를 개략적으로 표현한 도면이다.
도 4는 제2 이미지의 일례를 개략적으로 표현한 도면이다.
도 5는 스티어러블 필터를 주파수 도메인 상에서 표현한 도면이다.
도 6은 제1 이미지로 사용된 실제 이미지이다.
도 7은 도 6의 이미지에 도 5의 스티어러블 필터를 적용하여 획득한 콤플렉스 스티어러블 피라미드를 도시한 도면이다.
도 8은 S14 내지 S16 단계를 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법을 통해 추출된 공통 요소를 개략적으로 표현한 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 처리 방법을 통해 추출된 비공통 요소를 개략적으로 표현한 도면이다.
도 11 및 도 12는 제1 이미지와 제2 이미지로 사용된 실제 이미지이다.
도 13은 도 11 및 도 12의 이미지에 대해 본 발명의 일 실시예에 따른 영상 처리 방법을 적용하여 추출된 공통 요소가 표현된 이미지이다.
도 14는 도 11 및 도 12의 이미지에 대해 본 발명의 일 실시예에 따른 영상 처리 방법을 적용하여 추출된 비공통 요소가 표현된 이미지이다.
도 15는 도 11 및 도 12의 이미지에 대해 기존의 영상 처리 방법을 적용하여 추출된 비공통 요소가 표현된 이미지이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이하, 본 발명의 일 실시예에 따른 영상 처리 장치 및 영상 처리 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대하여 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치에 대한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 설명하는 순서도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 장치는 이미지 수신부(10), 이미지 변환부(20), 비교부(30), 추출부(40), 복원부(50), 감산부(60) 및 표시부(70)를 포함한다.
그리고, 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 방법은 제1 이미지 및 제2 이미지를 획득하는 단계(S11), 복수의 제1 변환 데이터를 획득하는 단계(S12), 복수의 제2 변환 데이터를 획득하는 단계(S13), 크기 정보를 비교하는 단계(S14), 크기 정보 및 위상 정보를 추출하는 단계(S15), 복수의 제3 변환 데이터를 획득하는 단계(S16) 및 공간 도메인으로 복원하는 단계(S17)를 포함한다.
본 발명의 일 실시예에 따른 영상 처리 장치를 구성하는 이미지 수신부(10), 이미지 변환부(20), 비교부(30), 추출부(40), 복원부(50), 감산부(60) 및 표시부(70)의 기능들에 대해서는 이하에서 본 발명의 일 실시예에 따른 영상 처리 방법과 함께 설명하도록 한다.
제1 이미지 및 제2 이미지를 획득하는 단계(S11)에서 이미지 수신부(10)는 제1 이미지와 제2 이미지를 수신한다.
제1 이미지와 제2 이미지는 2개의 이미지 내에 공통적으로 존재하는 공통 요소를 포함하는 이미지로서, 시간차를 두고 동일한 영역을 촬영한 이미지이거나, 일부 영역이 중첩되도록 촬영된 이미지일 수 있다.
또한, 제1 이미지와 제2 이미지 중 적어도 하나의 이미지 내에는 다른 이미지에는 존재하지 않는 비공통 요소를 포함할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 영상 처리 장치 및 영상 처리 방법이 의료 분야에 사용되는 경우, 제1 이미지는 환자의 신체 일부를 촬영한 X선, CT 등의 이미지이고, 제2 이미지는 같은 환자에게 혈관 조영제를 주입한 이후에 촬영한 X선, CT 등의 이미지일 수 있다.
도 3은 제1 이미지의 일례를 개략적으로 표현한 도면이고, 도 4는 제2 이미지의 일례를 개략적으로 표현한 도면이다.
도 3에 도시된 바와 같이, 제1 이미지는 척추(1)와 내부 장기들(2, 3)이 촬영된 이미지이다. 내부 장기들(2, 3)은 간(2), 위(3) 등이 될 수 있다.
도 4에 도시된 바와 같이, 제2 이미지는 제1 이미지와 동일한 영역을 촬영한 이미지로서, 혈관 조영제를 주입한 이후에 촬영되어 혈관(4)이 추가로 촬영되어 있다. 또한, 도 4에 도시된 바와 같이, 간(2')과 위(3')는 환자의 움직임이나 호흡 등에 의해 제1 이미지의 위치(2, 3)와 달라질 수 있다.
제1 이미지와 제2 이미지에 공통적으로 존재하는 척추(1) 및 내부 장기들(2, 2', 3, 3')은 공통 요소가 되고, 혈관(4)은 제2 이미지에만 존재하는 비공통 요소가 된다.
본 발명의 일 실시예에 따른 영상 처리 장치는 별도의 촬영 장비에 의해 촬영된 제1 및 제2 이미지를 이미지 수신부(10)가 수신할 수도 있고, 촬영 장비를 포함하도록 구성될 수도 있다.
표시부(70)는 화상 정보를 시각적으로 표시하는 구성으로서, 실시예에 따라, 이미지 수신부(10)로부터 제1 이미지 및 제2 이미지의 화상 정보를 수신하여 제1 이미지 및 제2 이미지를 시각적으로 표시할 수 있다.
복수의 제1 변환 데이터를 획득하는 단계(S12)와 복수의 제2 변환 데이터를 획득하는 단계(S13)에서는 이미지 변환부(20)가 제1 이미지와 제2 이미지에 각각 스티어러블 필터(steerable filter)를 적용하여 복수의 제1 변환 데이터과 복수의 제1 변환 데이터를 획득한다.
보다 구체적으로, 이미지 변환부(20)는 이미지 수신부(10)로부터 제1 이미지와 제2 이미지를 전달받아, 복수의 제1 변환 데이터를 획득하는 단계(S12)에서 제1 이미지에 스티어러블 필터를 적용하여 복수의 제1 변환 데이터를 획득하고, 복수의 제2 변환 데이터를 획득하는 단계(S13)에서 제2 이미지에 스티어러블 필터를 적용하여 복수의 제2 변환 데이터를 획득할 수 있다.
스티어러블 필터는 스케일 공간과 방향성에 대해 조정 가능한 특성을 갖는다. 따라서, 이미지에 스티어러블 필터를 적용하면, 이미지는 공간적 주파수 밴드와 방향 밴드를 갖는 변환 데이터로 변환된다.
도 5는 스티어러블 필터를 주파수 도메인 상에서 표현한 도면이다. 도 5에는 스티어러블 필터의 일례로서, 3개의 스케일 공간과 4개의 방향성을 갖는 스티어러블 필터들을 도시하였다.
서로 다른 3개의 스케일 공간과 4개의 방향성의 조합으로 구성된 스티어러블 필터들(F11 ~ F34)은 2차원의 주파수 도메인 상에서 도 5에 도시된 바와 같이, 표현될 수 있다.
F11, F21, F31의 스티어러블 필터들은 동일한 방향성을 갖는 필터이고, F11, F12, F13, F14의 스티어러블 필터들은 동일한 스케일 공간을 갖는 필터들이다. 또한, F12, F22, F32의 스티어러블 필터는 동일한 방향성을 갖고, F21, F22, F23, F24의 스티어러블 필터들은 동일한 스케일 공간을 갖는 필터들이다. 또한, F13, F23, F33의 스티어러블 필터는 동일한 방향성을 갖고, F31, F32, F33, F34의 스티어러블 필터들은 동일한 스케일 공간을 갖는 필터들이다. 또한, F14, F24, F34의 스티어러블 필터는 동일한 방향성을 갖는 필터들이다.
도 5에는 스티어러블 필터의 일례로서, 3개의 스케일 공간과 4개의 방향성을 갖는 스티어러블 필터들을 도시하였지만, 스케일 공간의 수 및 방향성의 수는 조정이 가능하다.
스케일 공간과 방향성의 수가 많아질수록 변환 과정에서 누락되는 정보가 최소화 되지만, 연산 시간이 늘어나는 문제가 있다.
도 5에 도시된 바와 같이, 주요 정보를 포함하지 않는 저주파 영역(ZL)과 고주파 영역(ZH)을 배제할 수 있고, 연산의 중복을 방지하고 연산 효율을 향상하기 위해 스티어러블 필터들(F11 ~ F34)에 대칭되는 대칭 영역(ZS) 역시 배제할 수 있다.
제1 이미지(또는 제2 이미지)에 스티어러블 필터를 적용한 결과인 제1 변환 데이터(또는 제2 변환 데이터)는 아래의 수식으로 표현될 수 있다.
Figure PCTKR2017015389-appb-I000001
Rw,θ는 복소수의 결과값으로서 제1 변환 데이터(또는 제2 변환 데이터)를 의미하고, I는 제1 이미지(또는 제2 이미지)를 의미하고, Ψw,θ는 스티어러블 필터를 의미한다. (x,y)는 이미지의 픽셀 좌표를 의미한다. w는 스케일 공간에 대응하고 θ는 방향성과 대응한다.
Cw,θ는 실수부인 코사인(cosine) 파트이고, Sw,θ는 허수부인 사인(sine) 파트이다. 따라서, Aw,θ와 Φw,θ는 각각 아래와 같이 계산될 수 있다.
Figure PCTKR2017015389-appb-I000002
Aw,θ는 제1 변환 데이터(또는 제2 변환 데이터)의 크기 정보를 의미하고, Φw,θ는 위상 정보를 의미한다.
따라서, 제1 변환 데이터 및 제2 변환 데이터는 각 픽셀 좌표(x,y)에 따른 크기 정보(Aw,θ)와 위상 정보(Φw,θ)를 포함하게 된다.
도 6은 제1 이미지로 사용된 실제 이미지이고, 도 7은 도 6의 이미지에 도 5의 스티어러블 필터를 적용하여 획득한 콤플렉스 스티어러블 피라미드를 도시한 도면이다.
도 7에 도시된 바와 같이, S12단계에서 획득된 복수의 제1 변환 데이터는 콤플렉스 스티어러블 피라미드(complex steerable pyramid)로 표현될 수 있다.
도 7에 도시된 콤플렉스 스티어러블 피라미드는 도 5에 도시된 스티어러블 필터들(F11 ~ F34)에 의한 결과이므로 4개의 방향성(orientation)과 3개의 스케일 공간(scale space)를 갖도록 표현되었다. 따라서, 도 7에 도시된 바와 같이, 콤플렉스 스티어러블 피라미드 상에서 복수의 제1 변환 데이터는 3X4 개의 이미지 세트로 표현된다. 도 7에서 각각의 제1 변환 데이터는 점선으로 구별하였다.
전술한 바와 같이, 각 제1 변환 데이터는 각 픽셀 좌표(x,y)에 따른 크기 정보(Aw,θ)와 위상 정보(Φw,θ)를 가지므로, 도 7에 도시된 바와 같이, 각 제1 변환 데이터는 픽셀별 크기 정보(Aw,θ)가 이미지로 표현된 크기 이미지(A11 ~ A34)와 픽셀별 위상 정보(Φw,θ)가 이미지로 표현된 위상 이미지(P11 ~ P34)를 포함하게 된다. 즉, 크기 이미지(A11 ~ A34)와 위상 이미지(P11 ~ P34)가 하나의 이미지 세트로 구성되어 제1 변환 데이터를 구성하게 된다.
제1 변환 데이터는 스케일 공간에 따라 크기 이미지(A11 ~ A34)의 픽셀 수가 서로 다를 수 이다. 또한, 스케일 공간에 따라 위상 이미지(P11 ~ P34)의 픽셀 수 역시 서로 다를 수 있다.
도 7에 도시된 바와 같이, 스케일 공간이 커짐에 따라 크기 이미지(A11 ~ A34)와 위상 이미지(P11 ~ P34)는 픽셀 수가 많아질 수 있다. 그리고 픽셀 수가 많아짐에 따라 제1 이미지의 텍스쳐 정보를 더 많이 보유하고 있을 수 있다.
복수의 제2 변환 데이터 역시 도 7에 도시된 바와 유사한 콤플렉스 스티어러블 피라미드로 표현된다. 콤플렉스 스티어러블 피라미드에 대한 구체적인 설명은 이미 상술하였으므로 이에 대한 구체적은 설명은 생략한다.
표시부(70)는 이미지 변환부(20)로부터 복수의 제1 변환 데이터와 복수의 제2 변환 데이터의 크기 이미지(A11 ~ A34) 및 위상 이미지(P11 ~ P34)를 수신하여 콤플렉스 스티어러블 피라미드를 시각적으로 표시할 수 있다.
크기 정보를 비교하는 단계(S14)에서는, 비교부(30)가 S12 및 S13 단계에서 획득된 복수의 제1 변환 데이터와 복수의 제2 변환 데이터를 상호 비교한다.
도 8은 S14 내지 S16 단계를 설명하기 위한 도면이다.
도 8에 도시된 바와 같이, S12 및 S13 단계를 통해 콤플렉스 스티어러블 피라미드로 표현된 복수의 제1 변환 데이터(C1)와 복수의 제2 변환 데이터(C2)가 획득된다.
비교부(30)는 복수의 제1 변환 데이터(C1)와 복수의 제2 변환 데이터(C2) 중 상호 대응하는 변환 데이터의 크기 이미지를 픽셀 별로 비교한다.
즉, 복수의 제1 변환 데이터(C1) 중 특정 변환 데이터의 크기 이미지(A11)는 복수의 제2 변환 데이터(C2) 중 그와 동일한 스케일 공간 및 방향성을 갖는 변환 데이터의 크기 이미지(A11)와 비교된다.
비교부는 제1 변환 데이터(C1)의 크기 이미지(A11)의 각 픽셀별 크기 정보(Aw,θ)를 제2 변환 데이터(C2) 크기 이미지(A11)의 각 픽셀별 크기 정보(Aw,θ)와 일대일로 비교한다.
비교부(30)는 이와 같은 작업을 각각의 제1 변환 데이터 제2 변환 데이터마다 수행하여 복수의 제1 변환 데이터와 복수의 제2 변환 데이터의 크기 이미지를 모두 상호 비교한다.
크기 정보 및 위상 정보를 추출하는 단계(S15)에서 추출부(40)는 미리 정해진 추출 규칙에 따라 S14단계에서 비교부(30)가 비교한 픽셀별 크기 정보(Aw,θ) 중 어느 하나와 추출된 픽셀별 크기 정보(Aw,θ)와 대응하는 위상 정보(Φw,θ)를 함께 추출한다.
예를 들어, 제1 변환 데이터(C1)의 크기 이미지(A11) 중 어느 하나의 픽셀별 크기 정보(Aw,θ)와 제2 변환 데이터(C2) 크기 이미지(A11) 중 어느 하나의 픽셀별 크기 정보(Aw,θ)를 비교하여, 제1 변환 데이터(C1)의 크기 이미지(A11)의 픽셀별 크기 정보(Aw,θ)를 추출하는 경우에는 제1 변환 데이터(C1)의 위상 이미지(P11) 중 추출되는 픽셀의 위상 정보(Φw,θ)를 함께 추출한다.
픽셀별 크기 정보(Aw,θ)의 차이가 작을수록 공통된 신호이고 픽셀별 크기 정보(Aw,θ)의 차이가 클수록 공통되지 않은 신호가 된다. 이에 기초한 추출 규칙은 실시예에 따라 달라질 수 있다.
후술하는 S16단계에서 복원된 이미지에 제1 이미지와 제2 이미지의 공통 요소(1, 2(2'), 3(3'))가 표시되는 실시예에서는 아래의 2가지 추출 규칙 중 어느 하나가 적용될 수 있다.
하나의 추출 규칙은 비교한 제1 변환 데이터(C1)의 픽셀별 크기 정보(Aw,θ)와 제2 변환 데이터(C2)의 픽셀별 크기 정보(Aw,θ) 중 더 작은 값을 갖는 크기 정보(Aw,θ)를 추출하는 것이다.
다른 하나의 추출 규칙은 비교한 제1 변환 데이터(C1)의 픽셀별 크기 정보(Aw,θ)와 제2 변환 데이터(C2)의 픽셀별 크기 정보(Aw,θ)의 차이가 미리 설정된 임계값 이하(또는 미만)인 경우에는 비공통 요소(4)가 존재하지 않는 제1 이미지로부터 변환된 제1 변환 데이터(C1)의 픽셀별 크기 정보(Aw,θ)를 추출하고, 그 차이가 미리 설정된 임계값 초과(또는 이상)하는 경우에는 더 작은 값을 갖는 크기 정보(Aw,θ)를 추출하는 것이다. 실시예에 따라서는 차이가 미리 설정된 임계값 이하(또는 미만)인 경우에 제2 변환 데이터(C2)의 픽셀별 크기 정보(Aw,θ)가 추출되도록 구성될 수도 있다.
한편, 후술하는 S16단계에서 복원된 이미지에 제1 이미지와 제2 이미지의 비공통 요소(4)가 표시되는 실시예에서는 아래의 2가지 추출 규칙 중 어느 하나가 적용될 수 있다.
하나의 추출 규칙은 비교한 제1 변환 데이터(C1)의 픽셀별 크기 정보(Aw,θ)와 제2 변환 데이터(C2)의 픽셀별 크기 정보(Aw,θ) 중 더 큰 값을 갖는 크기 정보(Aw,θ)를 추출하는 것이다.
다른 하나의 추출 규칙은 비교한 제1 변환 데이터(C1)의 픽셀별 크기 정보(Aw,θ)와 제2 변환 데이터(C2)의 픽셀별 크기 정보(Aw,θ)의 차이가 미리 설정된 임계값 이하(또는 미만)인 경우에는 비공통 요소(4)가 존재하는 제2 이미지로부터 변환된 제2 변환 데이터(C2)의 픽셀별 크기 정보(Aw,θ)를 추출하고, 그 차이가 미리 설정된 임계값 초과(또는 이상)하는 경우에는 더 큰 값을 갖는 크기 정보(Aw,θ)를 추출하는 것이다. 실시예에 따라서는 차이가 미리 설정된 임계값 이하(또는 미만)인 경우에 제1 변환 데이터(C1)의 픽셀별 크기 정보(Aw,θ)가 추출되도록 구성될 수도 있다.
복수의 제3 변환 데이터를 획득하는 단계(S16)에서 추출부(40)는 S15 단계를 복수의 제1 변환 데이터(C1)와 복수의 제2변환 데이터(C2)의 모든 픽셀들에 대해 수행하여, 도 8에 도시된 바와 같이, 복수의 제3 변환 데이터(C3)를 획득한다.
추출부(40)는 복수의 제1 변환 데이터(C1)와 복수의 제2변환 데이터(C2)의 모든 픽셀들을 일대일로 비교하여 어느 하나의 픽셀의 크기 정보(Aw,θ) 및 위상 정보(Φw,θ)를 추출하므로, 도 8에 도시된 바와 같이, 복수의 제1 변환 데이터(C1) 또는 복수의 제2변환 데이터(C2)와 유사한 콤플렉스 스티어러블 피라미드로 표현된 복수의 제3 변환 데이터(C3)가 획득된다.
공간 도메인으로 복원하는 단계(S17)에서 복원부(50)는 복수의 제3 변환 데이터(C3)를 공간 도메인으로 복원한다. 공간 도메인은 도 3, 도 4 또는 도 6에 도시된 이미지와 동일한 도메인을 의미한다.
복원부(50)는 복수의 제3 변환 데이터(C3)를 주파수 도메인을 변환한 후, 역푸리에 변환을 통해 공간 도메인으로 복원할 수 있다.
표시부(70)는 복원부(50)로부터 복원된 이미지의 화상 정보를 수신하여 복원된 이미지를 시각적으로 표시할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 방법을 통해 추출된 공통 요소를 개략적으로 표현한 도면이고, 도 10은 본 발명의 일 실시예에 따른 영상 처리 방법을 통해 추출된 비공통 요소를 개략적으로 표현한 도면이다.
전술한 바와 같이, 미리 설정된 추출 규칙에 따라 S15 단계에서 추출되는 픽셀의 크기 정보(Aw,θ) 및 위상 정보(Φw,θ)가 달라지므로 S17 단계에서 공간 도메인으로 복원된 이미지에는 도 9와 같이 제1 이미지(도 3 참고)와 제2 이미지(도 4 참고)의 공통 요소(1, 2(2'), 3(3'))가 표현되거나, 도 10에 도시된 바와 같이, 제1 이미지(도 3 참고)와 제2 이미지(도 4 참고)의 비공통 요소(4)가 표현될 수 있다.
스티어러블 피라미드는 스티어러블 필터에 의해 스케일 공간으로 구별되는 공간적 주파수 밴드와 방향성으로 구별되는 방향 밴드에 기반한 크기 정보(Aw,θ)를 기초로 공통 요소(1, 2(2'), 3(3'))와 비공통 요소(4)를 구분하므로 노이즈에 강하고 비교되는 2개의 이미지에서 공통되는 요소(1, 2(2'), 3(3'))가 동일한 위치에 존재하지 않거나 외형이 다소 변할 수 있는 비강체 특성에 따른 동적 잡음에도 강한 장점을 보인다.
S17 단계에서 도 9에 도시된 바와 같은 공통 요소(1, 2(2'), 3(3'))가 표현된 이미지가 복원되도록 한 경우에는, 도 10에 도시된 바와 같이, 비공통 요소(4)를 추출하기 위한 감산 단계가 추가될 수 있다.
감산 단계에서, 감산부(60)는 제2 이미지(도 4 참고)에서 S17단계에서 복원된 이미지(도 9 참고)를 감산하여 비공통 요소(4)가 추출된 이미지를 획득할 수 있다.
표시부(70)는 감산부(60)로부터 감산된 이미지의 화상 정보를 수신하여 감산된 이미지를 시각적으로 표시할 수 있다.
한편, 도 11 및 도 12는 제1 이미지와 제2 이미지로 사용된 실제 이미지이고, 도 13은 도 11 및 도 12의 이미지에 대해 본 발명의 일 실시예에 따른 영상 처리 방법을 적용하여 추출된 공통 요소가 표현된 이미지이고, 도 14는 도 11 및 도 12의 이미지에 대해 본 발명의 일 실시예에 따른 영상 처리 방법을 적용하여 추출된 비공통 요소가 표현된 이미지이다.
도 11과 도 12를 비교하면, 도 12에는 도 11에 도시되지 않은 혈관 이미지(비공통 요소)가 관찰되는 것을 확인할 수 있다.
그리고, 도 13에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 방법의 S17 단계까지 적용한 결과 복원된 이미지에서는 도 11과 도 12에 공통적으로 존재하는 공통 요소들만이 표현되는 것을 확인할 수 있다.
그리고, 도 14에 도시된 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 방법의 감산 단계까지 적용한 결과의 이미지에서는 도 12에만 존재하는 혈관 이미지(비공통 요소)가 또렷하게 표현되는 것을 확인할 수 있다.
도 15는 도 11 및 도 12의 이미지에 대해 기존의 영상 처리 방법을 적용하여 추출된 비공통 요소가 표현된 이미지이다. 도 15에 도시된 바와 같이, 기존의 영상 처리 방법을 적용한 결과는 도 14에 도시된 이미지에 비해 노이즈가 다량으로 표현되는 것을 확인할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 영상 처리 장치 및 영상 처리 방법은 2개의 이미지 내의 공통 요소와 비공통 요소를 선별하여 추출할 수 있으며, 2개의 이미지에서 공통 요소가 동일한 위치에 존재하지 않거나 비강체 특성으로 인한 동적 잡음에도 공통 요소를 선별할 수 있다.
또한, 이미지 내의 요소들에 대한 움직임을 추적하는 방식이 아니고 스티어러블 필터에 의해 스케일 공간으로 구별되는 공간적 주파수 밴드와 방향성으로 구별되는 방향 밴드에 기반한 크기 정보(Aw,θ)를 기초로 공통 요소(1, 2(2'), 3(3'))와 비공통 요소(4)를 구분하므로 빠른 연산이 가능하다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명의 실시예에 따른 영상 처리 방법은, 제1 이미지를 기초로 서로 다른 스케일 공간(scale space) 및 방향성(orientation)을 갖는 복수의 제1 변환 데이터를 획득하는 단계, 제2 이미지를 기초로 서로 다른 스케일 공간 및 방향성을 갖는 복수의 제2 변환 데이터 획득하는 단계, 상기 복수의 제1 변환 데이터와 상기 복수의 제2 변환 데이터 중 동일한 스케일 공간 및 방향성을 갖는 변환 데이터들의 크기 정보를 상호 비교하는 단계, 상기 비교한 크기 정보 중 어느 하나를 추출 규칙에 따라 추출하는 단계, 상기 추출된 크기 정보들을 기초로 복수의 제3 변환 데이터를 획득하는 단계 및 상기 복수의 제3 변환 데이터를 공간 도메인으로 복원하는 단계를 포함한다.

Claims (11)

  1. 제1 이미지를 기초로 서로 다른 스케일 공간(scale space) 및 방향성(orientation)을 갖는 복수의 제1 변환 데이터를 획득하는 단계;
    제2 이미지를 기초로 서로 다른 스케일 공간 및 방향성을 갖는 복수의 제2 변환 데이터를 획득하는 단계;
    상기 복수의 제1 변환 데이터와 상기 복수의 제2 변환 데이터 중 동일한 스케일 공간 및 방향성을 갖는 변환 데이터들의 크기 정보를 상호 비교하는 단계;
    상기 비교한 크기 정보 중 어느 하나를 추출 규칙에 따라 추출하는 단계;
    상기 추출된 크기 정보들을 기초로 복수의 제3 변환 데이터를 획득하는 단계; 및
    상기 복수의 제3 변환 데이터를 공간 도메인으로 복원하는 단계를 포함하는, 영상 처리 방법.
  2. 제1항에 있어서,
    상기 복수의 제1 변환 데이터를 획득하는 단계는 상기 제1 이미지에 스케일공간 및 방향성에 대해 조정 가능한 특성을 갖는 스티어러블 필터(steerable filter)를 적용하여 상기 복수의 제1 변환 데이터를 획득하고,
    상기 복수의 제2 변환 데이터를 획득하는 단계는 상기 제2 이미지에 상기 스티어러블 필터를 적용하여 상기 복수의 제2 변환 데이터를 획득하는, 영상 처리 방법.
  3. 제2항에 있어서,
    상기 복수의 제1 변환 데이터 및 상기 복수의 제2 변환 데이터는 콤플렉스 스티어러블 피라미드(complex steerable pyramid)로 표현되는, 영상 처리 방법.
  4. 제3항에 있어서,
    상기 제1 변환 데이터 및 상기 제2 변환 데이터는 각각 상기 콤플렉스 스티어러블 피라미드 상에서 상기 크기 정보가 이미지로 표현된 크기 이미지와 위상 정보가 이미지로 표현된 위상 이미지를 포함하는, 영상 처리 방법.
  5. 제4항에 있어서,
    상기 크기 정보를 상호 비교하는 단계에서는,
    상기 제1 변환 데이터의 크기 이미지와 상기 제2 변환 데이터의 크기 이미지를 픽셀 별로 비교하는, 영상 처리 방법.
  6. 제5항에 있어서,
    상기 추출 규칙은,
    상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보 중 더 작은 값의 크기 정보를 추출하는, 영상 처리 방법.
  7. 제5항에 있어서,
    상기 추출 규칙은,
    상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보의 차이가 임계값 이하인 경우에는 상기 제1 변환 데이터의 크기 정보를 추출하고,
    상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보의 차이가 상기 임계값을 초과하는 경우에는 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보 중 더 작은 크기 정보를 추출하는, 영상 처리 방법.
  8. 제5항에 있어서,
    상기 추출 규칙은,
    상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보 중 더 큰 값의 크기 정보를 추출하는, 영상 처리 방법.
  9. 제5항에 있어서,
    상기 추출 규칙은,
    상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보의 차이가 임계값 이하인 경우에는 상기 제2 변환 데이터의 크기 정보를 추출하고,
    상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보의 차이가 상기 임계값을 초과하는 경우에는 상기 제1 변환 데이터의 픽셀 별 크기 정보와 상기 제2 변환 데이터의 픽셀 별 크기 정보 중 더 큰 크기 정보를 추출하는, 영상 처리 방법.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 복수의 제3 변환 데이터를 획득하는 단계에서는,
    상기 추출된 크기 정보와 대응하는 상기 위상 정보를 추출하여 상기 복수의 제3 변환 데이터를 획득하는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 복수의 제1 변환 데이터, 상기 복수의 제2 변환 데이터 및 상기 복수의 제3 변환 데이터는, 서로 다른 M개의 스케일 공간과 서로 다른 N개의 방향성의 조합으로 구성되는, 영상 처리 방법.
PCT/KR2017/015389 2017-01-31 2017-12-22 영상 처리 방법 Ceased WO2018143565A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170013709A KR101870355B1 (ko) 2017-01-31 2017-01-31 영상 처리 방법
KR10-2017-0013709 2017-01-31

Publications (1)

Publication Number Publication Date
WO2018143565A1 true WO2018143565A1 (ko) 2018-08-09

Family

ID=62768300

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/015389 Ceased WO2018143565A1 (ko) 2017-01-31 2017-12-22 영상 처리 방법

Country Status (2)

Country Link
KR (1) KR101870355B1 (ko)
WO (1) WO2018143565A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102151779B1 (ko) * 2019-03-25 2020-09-03 엘에스일렉트릭(주) 데이터 변환 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150021351A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR20160071781A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치
WO2016108847A1 (en) * 2014-12-30 2016-07-07 Nokia Technologies Oy Methods and apparatus for processing motion information images

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5253307A (en) * 1991-07-30 1993-10-12 Xerox Corporation Image analysis to obtain typeface information
JP3606430B2 (ja) * 1998-04-14 2005-01-05 松下電器産業株式会社 画像整合性判定装置
KR100452097B1 (ko) * 2002-05-02 2004-10-12 주식회사 윈포넷 영상데이터의 변화값 추출을 이용한 영상데이터 저장방법
JP4449576B2 (ja) * 2004-05-28 2010-04-14 パナソニック電工株式会社 画像処理方法および画像処理装置
GB0807411D0 (en) * 2008-04-23 2008-05-28 Mitsubishi Electric Inf Tech Scale robust feature-based indentfiers for image identification
KR101181086B1 (ko) * 2009-11-03 2012-09-07 중앙대학교 산학협력단 보간 검출 장치, 보간 영역 검출 장치 및 그 방법
CN104077773A (zh) * 2014-06-23 2014-10-01 北京京东方视讯科技有限公司 图像边缘检测方法、图像目标识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150021351A (ko) * 2013-08-20 2015-03-02 삼성테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법
KR20160071781A (ko) * 2014-12-12 2016-06-22 삼성전자주식회사 이미지에서 객체를 검출하는 객체 검출 방법 및 이미지 처리 장치
WO2016108847A1 (en) * 2014-12-30 2016-07-07 Nokia Technologies Oy Methods and apparatus for processing motion information images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIM HYUN WOO ET AL.: "Multi images Preprocess Method for License Plate...", IEIE CONFERENCE, vol. 28, no. 2, November 2005 (2005-11-01), pages 477 - 480 *
SAPNA SHARMA: "Different Parameters Of Image Fusion Using Streerable Pyramid Transformation", INTERNATIONAL JOURNAL OF ADVANCED RESEARCH IN ELECTRICA 1, ELECTRONICS AND INSTRUMENTATION ENGINEERING, vol. 5, no. 5, May 2016 (2016-05-01), pages 4218 - 4223, XP055530919, ISSN: 2278-8875 *

Also Published As

Publication number Publication date
KR101870355B1 (ko) 2018-06-22

Similar Documents

Publication Publication Date Title
WO2013151270A1 (en) Apparatus and method for reconstructing high density three-dimensional image
WO2018128355A1 (en) Robot and electronic device for performing hand-eye calibration
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
WO2019139234A1 (ko) 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
CN106709894B (zh) 一种图像实时拼接方法及系统
KR20150021351A (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
WO2019132590A1 (ko) 영상 변환 방법 및 장치
WO2017115905A1 (ko) 인체 포즈 인지 시스템 및 방법
WO2021141253A1 (ko) 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법
WO2018139847A1 (ko) 얼굴 비교를 통한 개인 식별 방법
WO2018143565A1 (ko) 영상 처리 방법
WO2024106630A1 (ko) 인공지능 기반 영상 콘텐츠 제작 시스템 및 방법
WO2020111311A1 (ko) 관심객체 화질개선 시스템 및 방법
WO2012002601A1 (ko) 3차원 영상 정보를 이용하는 사람 인식 방법 및 장치
WO2015026002A1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
WO2016104842A1 (ko) 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
WO2011043498A1 (ko) 지능형 영상 감시 장치
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2011078430A1 (ko) 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
WO2018169110A1 (ko) 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법
WO2024071888A1 (ko) 감시 장치 및 방법
JP2003317033A (ja) 画像処理におけるアフィン変換係数算出方法および画像処理装置
KR102450466B1 (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17895302

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17895302

Country of ref document: EP

Kind code of ref document: A1