[go: up one dir, main page]

KR102399792B1 - 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법 - Google Patents

인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법 Download PDF

Info

Publication number
KR102399792B1
KR102399792B1 KR1020220012390A KR20220012390A KR102399792B1 KR 102399792 B1 KR102399792 B1 KR 102399792B1 KR 1020220012390 A KR1020220012390 A KR 1020220012390A KR 20220012390 A KR20220012390 A KR 20220012390A KR 102399792 B1 KR102399792 B1 KR 102399792B1
Authority
KR
South Korea
Prior art keywords
image
images
denoising
dose
normalization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020220012390A
Other languages
English (en)
Inventor
송지우
김도현
송수화
Original Assignee
주식회사 휴런
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 휴런 filed Critical 주식회사 휴런
Priority to KR1020220012390A priority Critical patent/KR102399792B1/ko
Application granted granted Critical
Publication of KR102399792B1 publication Critical patent/KR102399792B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

본 발명의 일 양상인 인공지능 기반 전처리 장치는, 적어도 하나의 환자의 신체와 관련된 복수의 영상을 획득하는 영상획득부; 및 상기 복수의 영상을 전-처리(Pre-processing)하는 전처리부; 를 포함하고, 상기 전처리부는, 상기 복수의 영상에서 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수를 계산하고, 상기 계산된 복수의 주파수 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값과 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값 간의 차이 값을 산출하며, 상기 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행하고, 상기 복수의 영상 중 적어도 일부는 미리 지정된 제 1 방사선량 이하의 도즈(Dose)를 적용한 Low Dose CT 인 LDCT 영상을 포함하고, 상기 전처리부는, 상기 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 복수의 딥러닝 모델 중 적어도 하나를 적용하여, 상기 LDCT 영상이 미리 지정된 제 2 방사선량 이상의 Normal Dose CT 인 NDCT영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행할 수 있다.

Description

인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법 {PRE-PROCESSING APPARATUS BASED ON AI(Artificial Intelligence) USING HOUNSFIELD UNIT(HU) NORMALIZATION AND DENOISING, AND METHOD}
인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법 {PRE-PROCESSING APPARATUS BASED ON AI(Artificial Intelligence) USING HOUNSFIELD UNIT(HU) NORMALIZATION AND DENOISING, AND METHOD}
컴퓨터단층촬영은 이러한 X선으로 인체의 한 단면 주위를 가느다란 X선을 통해 투사하고, 이 X선이 인체를 통과하면서 감소되는 양을 측정하여 이미지로 만든 것이다.
신장과 같은 장기들의 밀도에는 약간씩의 차이가 있기에 X선이 투사된 방향에 따라 흡수되는 정도가 다르게 나타나기 때문에 이 검사를 통해 인체 장기들을 이미지로 볼 수 있다.
컴퓨터단층촬영에도 종류가 많은데, 일반적인 단층촬영인 싱글슬라이스 CT(single slice CT), 헬리컬 CT(Helical CT), 다중슬라이스 CT(Multi-slice CT, MSCT)가 있다. 이는, 한 번의 회전에 하나의 사진을 촬영할 수 있는 컴퓨터단층촬영방식이 싱글슬라이스 CT이다.
헬리컬 CT의 경우, 인체의 주위에서 X선을 나선꼴로 선회시키며 촬영하는 것이고, 기존의 싱글 슬라이스 CT에서는 두 층의 틈새를 찍을 수 없지만, 헬리컬 CT에서는 틈이 없이 촬영되기 때문에 보다 세밀한 영상을 얻을 수 있고, 전신사진을 빠르게 획득할 수 있다는 것이 장점이다.
다중슬라이스 CT의 경우, 빠르게 원추형으로 X선 투영을 실시하고, 한 번의 회전으로 64개의 개별이미지를 촬영할 수 있다.
전자 빔 단층촬영(Electron beam tomography, EBT)은 X선 튜브의 음극과 양극 사이를 이동하는 전자의 경로에 편향 코일을 사용하여 회전하도록 충분한 크기의 X선 튜브를 구성하는 CT의 특정한 형태이다.
컴퓨터단층촬영은, X선 튜브와 탐지기가 서로 연결되어 있으면서 같이 좌우로 이동하고 각도를 움직이며 돌게 되며, X선은 직선으로 방출되고, 공중으로 방출된 레이더용 전자파를 통해 방출된 X선을 원뿔 모양으로 모으게 된다.
이렇게 획득한 데이터를 일련의 단면 영상을 생성하는 단층 재구성 방식을 이용해 데이터를 처리하고, 이 영상의 픽셀(매트릭스의 크기와 시야를 기준으로 한 2차원 단위)은 상대적 광도단위로 표시된다.
이때, 픽셀의 값은 작게는 -1024, 크게는 3071의 값을 가지게 되고, 이를 CT 숫자라고 말한다.
CT 숫자는 물질의 선흡수계수, 확대상수, 물의 선흡수계수로 구성된 하나의 식으로, 이 숫자는 고정된 값으로, 뼈는 1000 이상의 값을 가지고, 물은 0, 공기는 -1000의 값을 가지는 등 물질에 따라 어느 값의 CT 숫자를 가지는지 표로 정리되어 있다.
이 숫자는 CT를 상용화한 하운스필드의 이름을 따, HU(Hounsfield Unit)라는 단위를 사용한다.
CT 숫자는 물질의 선흡수계수에서 물의 선흡수계수를 뺀 후, 확대상수를 곱하고 물의 선흡수계수를 나누어 계산할 수 있다.
Hounsfield unit (HU) 은 CT 영상을 표현하는 표준화된 형태의 값으로, 표준 온도와 압력에서 물은 0 HU, 공기는 -1000 HU로 정의된 값이다.
그러나 실제 임상에서 촬영된 영상들을 비교해보면, 촬영 장비, 모델, 기온, 압력, 기관별로 설정된 촬영 프로토콜 (주사 에너지 및 방사량 등) 등의 다양한 요소들로 인해 검체의 HU 값이 일정하지 않다는 문제점이 존재한다.
또한, 방사선 피폭(Radiation Exposure) 등을 고려하여 Low-dose CT image를 환자에 적용하는 경우, 촬영 프로토콜에서 설정한 방사선 주사량이 낮게 되고, 이에 따라 CT 영상에 노이즈가 많이 합성되는 문제점 등이 존재한다.
따라서 의료 영상 촬영 조건에 관계없이 일정한 질의 CT 영상을 획득할 수 있는 장비 및 방법에 대한 기술 개발 요구가 대두되고 있다.
1. 대한민국 특허 등록번호 10-1992057호(2019년 6월 24일 공고) 2. 대한민국 특허 등록번호 10-1754291호(2017년 7월 6일 공고)
본 발명의 목적은 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징을 통한 전처리 장치 및 방법을 사용자에 제공하는 것이다.
구체적으로, 본 발명은 Hounsfield unit (HU) normalization을 통해 촬영 환경에 따른 CT 영상의 차이를 최소화하고, Artificial dose enhancement 알고리즘을 통해 Noise를 제거하며 영상의 질을 향상시켜 의료 영상 촬영 조건에 관계없이 일정한 질의 영상을 생성하는 전처리 장치 및 방법을 사용자에게 제공하고자 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기의 기술적 과제를 달성하기 위한 본 발명의 일 양상인 인공지능 기반 전처리 장치는, 적어도 하나의 환자의 신체와 관련된 복수의 영상을 획득하는 영상획득부; 및 상기 복수의 영상을 전-처리(Pre-processing)하는 전처리부; 를 포함하고, 상기 전처리부는, 상기 복수의 영상에서 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수를 계산하고, 상기 계산된 복수의 주파수 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값과 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값 간의 차이 값을 산출하며, 상기 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행하고, 상기 복수의 영상 중 적어도 일부는 미리 지정된 제 1 방사선량 이하의 도즈(Dose)를 적용한 Low Dose CT 인 LDCT 영상을 포함하고, 상기 전처리부는, 상기 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 적용하여, 상기 LDCT 영상이 미리 지정된 제 2 방사선량 이상의 Normal Dose CT 인 NDCT영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행할 수 있다.
또한, 상기 딥러닝 모델 중 제 1 딥러닝 모델은, 계층형 (hierarchical) 구조로 피라미드 형태의 콘볼루션 레이어 (convolution layer)를 이용하고, 입력 영상인 상기 HU 정규화가 수행된 CT 영상의 이미지로부터 멀티 스케일 (multi-scale)의 특징맵 (feature-map)을 추출하며, 인코더 (Encoder)와 디코더 (Decoder) 간의 스킵 커넥션 (skip-connection)을 기초로 상기 추출한 멀티 스케일 (multi-scale)의 특징맵 (feature-map)을 합성함으로써, 상기 디노이징 (Denoising) 작업을 수행할 수 있다.
또한, 상기 딥러닝 모델 중 제 2 딥러닝 모델은, 덴스-넷 (Dense-Net) 구조로 모든 콘볼루션 레이어 (convolution layer)에서 추출된 특징맵 (feature-map)을 스케일 감소 없이 모두 연결 (concatenate)하여 상기 디노이징 (Denoising) 작업을 수행할 수 있다.
또한, 상기 딥러닝 모델 중 제 3 딥러닝 모델은, 폭포형 (Cascaded) 구조로 인코더 (Encoder) 및 디코더 (Decoder)를 갖는 컨볼루션 네트워크 블록 (Convolution Network Block)을 여러 번 반복 적용하여 상기 디노이징 (Denoising) 작업을 수행할 수 있다.
또한, 상기 딥러닝 모델 중 제 4 딥러닝 모델은, 네트워크 출력에서 상기 디노이징 (Denoising) 작업이 수행된 출력을 내는 것이 아닌 입력 영상인 상기 HU 정규화가 수행된 CT 영상에 적용될 적응형 커널 (Adaptive Kernel)을 예측하고, 상기 예측된 커널을 기반으로 상기 디노이징 (Denoising) 작업을 수행할 수 있다.
또한, 상기 전처리된 영상을 이용하여 질환을 판단하는 판단부;를 더 포함하고, 상기 디노이징 작업은, 상기 판단부가 상기 질환을 판단하기 위해 불필요한 적어도 하나의 노이즈(Noise)를 제거하는 과정을 포함할 수 있다.
또한, 상기 적어도 하나의 노이즈는, 상기 복수의 CT 영상의 촬영 간에 발생하는 메탈 아티팩트 (Metal-Artifacts) 및 모션 아티팩트 (Motion-Artifacts)를 포함할 수 있다.
한편, 상기의 기술적 과제를 달성하기 위한 본 발명의 다른 일 양상인 인공지능 기반 전처리 방법은, 영상획득부가 적어도 하나의 환자의 신체와 관련된 복수의 영상을 획득하는 제 1 단계; 및 전처리부가 상기 복수의 영상을 전-처리(Pre-processing)하는 제 2 단계; 를 포함하고, 상기 제 2 단계는, 상기 전처리부가 상기 복수의 영상에서 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수를 계산하는 제 2-1 단계; 상기 전처리부가 상기 계산된 복수의 주파수 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값과 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값 간의 차이 값을 산출하는 제 2-2 단계; 및 상기 전처리부가 상기 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행하는 제 2-3 단계;를 포함하고, 상기 복수의 영상 중 적어도 일부는 미리 지정된 제 1 방사선량 이하의 도즈(Dose)를 적용한 Low Dose CT 인 LDCT 영상을 포함하고, 상기 제 2-3 단계 이후, 상기 전처리부가 상기 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 적용하여, 상기 LDCT 영상이 미리 지정된 제 2 방사선량 이상의 Normal Dose CT 인 NDCT영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행하는 제 2-4 단계;를 더 포함할 수 있다.
본 발명에 따르면, 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징을 통한 전처리 장치 및 방법을 사용자에 제공할 수 있다.
구체적으로, 본 발명은 Hounsfield unit (HU) normalization을 통해 촬영 환경에 따른 CT 영상의 차이를 최소화하고, Artificial dose enhancement 알고리즘을 통해 Noise를 제거하며 영상의 질을 향상시켜 의료 영상 촬영 조건에 관계없이 일정한 질의 영상을 생성하는 전처리 장치 및 방법을 사용자에게 제공할 수 있다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명과 관련하여, 인공지능 기반 뇌질환 진단 장치의 블록구성도의 일례를 도시한 것이다.
도 2는 도 1에서 설명한 전처리부의 블록구성도의 일례를 도시한 것이다.
도 3은 도 1에서 설명한 영상처리부의 블록구성도의 일례를 도시한 것이다.
도 4는 촬영 장비, 모델, 기온, 압력, 기관별로 설정된 촬영 프로토콜 (주사 에너지 및 방사량 등) 등의 다양한 요소들로 인해 검체의 HU 값이 일정하지 않은 종래의 문제점을 설명하기 위한 도면이다.
도 5는 본 발명이 제안하는 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징을 통한 뇌질환 진단 방법을 설명하기 위한 도면이다.
도 6은 본 발명과 관련된 Hounsfield unit (HU) 정규화 방법을 설명하기 위한 도면이다.
도 7 및 도 8은 도 6에서 설명한 Hounsfield unit (HU) 정규화를 통해 매핑된 Hounsfield unit (HU)의 일례를 도시한 것이다.
도 9a 및 도 9b는 방사선 피폭(Radiation Exposure) 등을 고려하여 Low-dose CT image를 환자에 적용하는 경우, 촬영 프로토콜에서 설정한 방사선 주사량이 낮게 되고, 이에 따라 CT 영상에 노이즈가 많이 합성되는 문제점을 설명하기 위한 도면이다.
도 10은 본 발명과 관련된 디노이징 (Denoising)을 설명하기 위한 도면이다.
도 11은 디노이징 (Denoising) 방법 관련 제 1 실시예를 도시한 것이다.
도 12는 디노이징 (Denoising) 방법 관련 제 2 실시예를 도시한 것이다.
도 13은 디노이징 (Denoising) 방법 관련 제 3 실시예를 도시한 것이다.
도 14는 디노이징 (Denoising) 방법 관련 제 4 실시예를 도시한 것이다.
도 15는 ResNet v.s. DenseNet 에 관한 자료를 도시한 것이다.
이하, 도면을 참조하여 본 발명의 바람직한 일 실시예에 대해서 설명한다. 또한, 이하에 설명하는 실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다.
이하 본 발명의 바람직한 실시 예에 따른 인공지능 기반 전처리 장치 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.
인공지능 기반 뇌질환 진단 장치
도 1은 본 발명과 관련하여, 인공지능 기반 뇌질환 진단 장치의 블록구성도의 일례를 도시한 것이다.
본 발명에 따른 인공지능 기반 뇌질환 진단 장치 (1)는 영상획득부 (10), 전처리부 (20), 영상처리부 (30) 및 판단부 (40)를 포함할 수 있다.
먼저, 영상획득부(10)는 진단하고자 하는 대상의 뇌를 촬영해서 의료 영상을 획득하는 장치이다.
여기서 영상획득부 (10)는 뇌 CT, MRI, X-ray 등 다양한 의료 영상을 촬영하는 촬영장비로부터 영상을 획득할 수 있다.
대표적으로, 본 발명의 영상획득부 (10)는 뇌 CT 영상을 획득할 수 있다.
다음으로, 전처리부 (20)는 인공지능 알고리즘에 따라 전처리 과정을 수행하는 기능을 제공한다.
대표적으로, 전처리부 (20)는 레지스트레이션 (registration), 윈도윙 (windowing) 등의 기능을 제공한다.
또한, 영상처리부 (30)는 전처리부 (20)로부터 획득된 의료 영상을 정규화하고 미리 세팅된 표준 마스크 템플릿을 이용해서 관심 영역을 분할 및 추출하는 기능을 제공한다.
의료 영상을 정규화하는 과정 및/또는 미리 세팅된 표준 마스크 템플릿을 이용해서 관심 영역을 분할 및 추출하는 과정 없이 좌뇌 영상과 우뇌 영상을 분할하고 추출할 수도 있다.
즉, 본 발명에서는 필요한 경우에만 의료 영상을 정규화하는 과정 및/또는 미리 세팅된 표준 마스크 템플릿을 이용해서 관심 영역을 분할 및 추출하는 과정을 채용하거나 아예 채용하지 않고 구현하는 것이 가능하다.
또한, 판단부 (40)는, 분할 및 추출된 관심 영역을 분석해서 뇌 질환을 진단할 수 있다.
여기서 판단부 (40)가 진단 가능한 뇌 질환은, 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
이하에서는, 도면을 참조하여, 뇌질환 진단 장치 (1)의 구성요소인 전처리부 (20), 영상처리부 (30) 및 판단부 (40)의 구체적인 기술적 특징에 대해 설명한다.
전처리부
먼저, 영상획득부 (10)는 뇌 CT 영상을 획득할 수 있다.
뇌 CT 영상 이외 X ray 영상을 획득할 수도 있다.
또한, 데이터 세트 인풋 (data set input)으로 영상이 입력될 수 있다.
본 발명에 따른 전처리부 (20)는 인공지능 알고리즘에 따라 전처리 과정을 수행하는 기능을 제공한다.
도 2는 도 1에서 설명한 전처리부의 블록구성도의 일례를 도시한 것이다.
도 2를 참조하면, 본 발명에 따른 전처리부 (20)는, 노이즈 필터부 (21), 등록부 (22), 스컬 스트리핑부 (23) 및 출혈분류부 (24)를 포함할 수 있다.
먼저, 노이즈 필터부 (21)는 영상획득부(10)로부터 수집된 영상에서의 노이즈를 제거하는 동작을 수행한다.
대표적으로, 노이즈 필터부 (21)는 CT 촬영기기의 일 요소인 갠트리 (Gantry) 관련 Tilt correction 기능을 수행한다.
일부 Head CT 스캔에서는 갠트리 (Gantry)가 기울어져 이미지 슬라이스가 비스듬하게 촬영되는 경우가 빈번하게 발생하고, 갠트리가 기울어져 촬영될 경우, 이미지 슬라이스 간 복셀의 거리가 정확하지 않고 특히 3차원 시각화에 문제가 발생될 수 있다.
따라서 본 발명에 따른 노이즈 필터부 (21)에서는, 갠트리 (Gantry)가 기울어져 촬영된 영상의 경우, DICOM 원본 영상에 함께 저장되는 정보 중 'Gantry/Detector Tilt header' 정보를 이용하여 기울어짐에 따른 오류를 리샘플링을 통해 복원할 수 있다.
이러한 초기 단계에서의 Gantry tilt correction을 실행함으로써, 분석의 성능 향상을 기대할 수 있다.
다음으로, 등록부 (22)는 Co-registration 기능을 제공한다.
본 발명의 Co-registration 기능은 해부학적인 구조물 정렬을 위해 이미지를 정렬하는 것으로, CT 촬영시 피험자의 움직임에 의한 기울어짐이나 뇌 모양의 차이 등에 따른 개체 내 또는 개체 간의 이미지들을 공간적으로 정렬하는 것이다.
또한, 스컬 스트리핑부 (23)는 CT 영상에서 뇌 구조물이 아닌 부분을 제거하기 위한 기능을 제공하는 스컬-스티리핑 (Skull-stripping) 기능을 제공한다.
CT 영상에서 스컬 (Skull)은 뇌 조직에 비해 Hounsfield unit (HU) 값이 상대적으로 높기 때문에 본 발명에서는 스컬 스트리핑부 (23)를 통해, 뇌 구조물이 아는 부분을 제거한 후 분석을 진행함으로써, 뇌 조직 병병 분석의 용이함을 높이게 된다.
또한, 출혈분류부 (24)는 인공지능 (AI)을 기반으로 출혈 (Hemorrhage) 형태를 학습하고, 분류하는 기능을 제공한다.
출혈분류부 (24)의 출혈 (Hemorrhage) 형태 학습은, 환자 CT 데이터의 복셀(voxel) 정보를 사용할 수 있다.
영상처리부
본 발명에 따른 영상처리부 (30)는 전처리부 (20)로부터 획득된 의료 영상을 정규화하고 미리 세팅된 표준 마스크 템플릿을 이용해서 관심 영역을 분할 및 추출하는 의료 영상 처리장치를 말한다.
본 발명에서는 필요한 경우에만 의료 영상을 정규화하는 과정 및/또는 미리 세팅된 표준 마스크 템플릿을 이용해서 관심 영역을 분할 및 추출하는 과정을 채용하거나 아예 채용하지 않고 구현하는 것이 가능하다.
도 3은 도 1에서 설명한 영상처리부의 블록구성도의 일례를 도시한 것이다.
도 3을 참조하면, 본 발명에 따른 영상처리부 (30)는 템플릿 세팅부 (31), 영상 정규화부 (32) 및 관심 영역 추출부 (33)를 포함할 수 있다.
먼저, 템플릿 세팅부 (31)는 의료 영상에서 관심 영역을 분할 및 추출하기 위한 표준 마스크 템플릿 (Mask Template)을 세팅한다.
템플릿 세팅부 (31)는 전처리부 (20)로부터 복수의 정상인과 뇌질환 환자로부터 획득된 복수의 의료영상을 수집하고, 2차원과 3차원의 정규화 영상을 생성하며, 3차원 정규화 영상 기반으로 복셀 (Voxel) 설정에 따라 특정 축을 기준으로 Slicing하여 2차원 정규화 영상을 생성한다.
본 발명은 진단 대상의 의료 영상에서 관심 영역을 분할 및 추출하기에 앞서, 복수의 정상인과 뇌질환 환자로부터 획득된 복수의 의료영상에서 관심 영역을 추출하고, 진단 대상의 뇌 질환을 진단하기 위한 관심 영역의 표준 마스크 템플릿을 생성한다.
여기서, 템플릿 세팅부 (31)는 3차원 정규화 영상의 X축, Y축, Z축을 기준으로 미리 설정된 단위, 예컨대 mm 단위로 복셀을 설정하여 2차원 정규화 영상을 생성할 수 있다.
그리고 템플릿 세팅부 (31)는 생성된 2차원 정규화 영상에서 관심 영역을 분할하고, 복수의 정규화 영상에서 분할된 관심 영역들을 기반으로 표준 마스크 템플릿을 생성한다.
다음으로, 영상 정규화부 (32)는 진단 대상의 의료 영상을 정규화하는 기능을 제공한다.
예를 들어, 영상 정규화부 (32)는 진단 대상의 원본 의료 영상에 비정규 바이어스를 정정하고 (Non-uniform bias correction), 공간적 정렬 (Spatial align)을 통해 등록 (Co-registration)하며, 표준 정위 공간 (Standard stereotaxic space)을 적용하여 공간적 정규화 (Spatial normalization)를 수행하는 과정을 통해 영상을 정규화할 수 있다.
물론, 본 발명은 반드시 이에 한정되는 것은 아니며, 의료 영상을 다양한 방식으로 정규화할 수 있다.
또한, 관심 영역 추출부 (33)는 정규화된 의료 영상에 표준 마스크 템플릿을 적용하여 관심 영역을 분할 및 추출하는 기능을 제공한다.
관심 영역 추출부 (33)는 Anterior/Middle/Posterior cerebral artery (ACA, MCA, PCA) 관련 territory 영상을 선별하고, 좌우 각 반구에서 ACA, MCA, PCA territory 관련 뇌 구조물을 분할함으로써, 관심 영역을 분할 및 추출하게 된다.
이와 같이 분할 및 추출된 관심 영역을 포함한 의료 영상은 판단부 (40)로 전달된다.
판단부
판단부 (40)는, 분할 및 추출된 관심 영역을 분석해서 다양한 뇌 질환을 진단할 수 있다.
예를 들어, 본 발명에 따른 판단부 (40)는 분할 및 추출된 관심 영역의 의료 영상을 기반으로 뇌 질환의 중증 정도를 의료진이 직접 점수화하기 용이하도록 하여 의료진이 뇌 질환의 진단 및 예후 예측에 도움을 줄 수 있다.
여기서, 판단부 (40)는, 분할 및 추출된 관심 영역을 뇌 질환을 진단할 수 있다.
판단부 (40)가 진단 가능한 뇌 질환은, 치매, 경도인지장애(MCI), 파킨슨병, 우울증, 뇌졸중, 뇌전증, 뇌종양 및 발달장애를 포함할 수 있다.
HU 정규화 및 디노이징을 통한 뇌질환 진단 방법
전술한 구성을 기초로, 본 발명은 인공지능 기반 HU 정규화 및 디노이징을 통한 뇌질환 진단 방법을 제공할 수 있다.
Hounsfield unit (HU)는 CT 영상을 표현하는 표준화된 형태의 값으로, 표준 온도와 압력에서 물은 0 HU, 공기는 -1000 HU로 정의된 값이다.
하지만 실제 임상에서 촬영된 영상들을 비교해보면, 촬영 장비, 모델, 기온, 압력, 기관별로 설정된 촬영 프로토콜 (주사 에너지 및 방사량 등) 등의 다양한 요소들로 인해 검체의 HU 값이 일정하지 않게 된다.
이는, 임상 의사의 판독 관점에서는 큰 문제가 아닐 수 있지만, 인공지능 기반의 영상 자동 판독 시스템의 관점에서는 오류 발생의 주요 원인 중 하나가 될 수 있다.
도 4는 촬영 장비, 모델, 기온, 압력, 기관별로 설정된 촬영 프로토콜 (주사 에너지 및 방사량 등) 등의 다양한 요소들로 인해 검체의 HU 값이 일정하지 않은 종래의 문제점을 설명하기 위한 도면이다.
도 4를 참조하면, (a)와 (b)의 경우, 동일한 S 프로토콜이 적용되지만 vender가 A와 B로 구분되면, 동일한 뇌의 동일한 지점을 촬영하여 얻어진 CT 영상이 도 4의 a2, a3, b2, b3에 도시된 것과 같이 검체의 HU 값이 일정하지 않게 된다.
나아가 도 4의 (a)와 (c)를 참조하면, 동일한 “A”vender가 제공한 디바이스가 적용되는 경우라도 프로토콜이 S와 V로 달라지는 경우, 동일한 뇌의 동일한 지점을 촬영하여 얻어진 CT 영상이 도 4의 a2, a3, c2, c3에 도시된 것과 같이 검체의 HU 값이 일정하지 않게 된다.
특히, vender와 프로토콜이 완전히 달라지는 (d)의 경우, 도 4의 d2, d3에 도시된 것과 같이, 동일한 뇌의 동일한 지점을 촬영하여 얻어진 CT 영상에서 검체의 HU 값이 달라지게 된다.
따라서 본 발명에서는 Hounsfield unit (HU) normalization을 통해 촬영 환경에 따른 CT 영상의 차이를 최소화하는 기술을 제안하고자 한다.
본 기술을 통해 생성된 영상은 의료 영상의 자동 판독 및 진단 보조를 위해 개발된 머신러닝과 딥러닝 (인공지능) 알고리즘의 성능 향상을 위해 활용될 수 있다.
도 5는 본 발명이 제안하는 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징을 통한 뇌질환 진단 방법을 설명하기 위한 도면이다.
도 5을 참조하면, 전처리부(20)는, Hounsfield unit (HU) 정규화 기능(100)으로서, 복수의 CT 영상에서 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수(Histogram bin)를 계산하고, 계산된 복수의 주파수(Histogram bin) 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값과 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값 간의 차이 값을 산출하며, 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행할 수 있다.
상기 Hounsfield unit (HU) 정규화 기능(100)이 적용된 결과물이 200에 도시되고, 이 결과물에 추가적으로 후술하는 디노이징 (Denoising) 작업(300)이 적용될 수 있다.
즉, 복수의 CT 영상 중 적어도 일부는 미리 지정된 방사선량 이하의 도즈(Dose)를 적용한 Low Dose CT (LDCT) 영상을 포함하고, 전처리부(20)는, HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 적용하여, 상기 LDCT 영상이 Normal Dose CT (NDCT) 영상으로 변환되도록 하는 디노이징 (Denoising) 작업(300)을 수행할 수 있다.
이와 관련하여, Hounsfield unit (HU) 정규화 기능(100)에 대해 도면을 참조하여 보다 구체적으로 설명한다.
HU 정규화 과정
도 6은 본 발명과 관련된 Hounsfield unit (HU) 정규화 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 영상획득부(10)가 적어도 하나의 환자의 뇌와 관련된 복수의 CT 영상을 획득한다(S1).
다음으로, 전처리부(20)가 상기 복수의 CT 영상을 전-처리(Pre-processing)하게 되는데, 복수의 CT 영상에서 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수(Histogram bin)를 계산하게 된다(S2).
또한, 전처리부(20)는 계산된 복수의 주파수 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값을 도출한다(S3).
또한, 전처리부(20)는 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값을 도출하고, 제 1 HU 값과 제 2 HU 값 간의 차이 값을 산출하게 된다(S4).
이후, 전처리부(20)는, 상기 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행한다(S5).
이후, 복수의 CT 영상 중 적어도 일부는 미리 지정된 방사선량 이하의 도즈(Dose)를 적용한 Low Dose CT (LDCT) 영상을 포함하는 경우를 가정하여, S5 단계 이후, 전처리부(20)는, HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 적용하여, 상기 LDCT 영상이 Normal Dose CT (NDCT) 영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행한다(S6).
상기 HU 정규화 및 상기 디노이징 작업이 수행된 CT 영상을 이미지로 재 등록하게 되고(S7), 영상처리부(30)는 상기 HU 정규화 및 상기 디노이징 작업이 수행된 CT 영상을 기초로, 정규화와 관심 영역(ROI)의 분할 및 추출을 수행하게 된다.
또한, 판단부(40)는 분할 및 추출된 관심 영역을 이용하여, 환자의 뇌질환 관련 정보를 도출할 수 있다.
S2 내지 S5 단계 관련, 도 7 및 도 8은 도 6에서 설명한 Hounsfield unit (HU) 정규화를 통해 매핑된 Hounsfield unit (HU)의 일례를 도시한 것이다.
도 7의 (a)를 참조하면, 전처리부(20)가 상기 복수의 CT 영상을 전-처리(Pre-processing)하게 되는데, 복수의 CT 영상에서 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수를 계산한다.
다음으로, 도 7의 (b)를 참조하면, 전처리부(20)는 계산된 복수의 주파수 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값을 도출한다.
마지막으로, 도 7의 (c)를 참조하면, 전처리부(20)는 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값을 도출하고, 제 1 HU 값과 제 2 HU 값 간의 차이 값을 산출하며, 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행한다
도 8의 (a)는 영상획득부(10)가 환자의 뇌와 관련된 복수의 CT 영상을 획득한 최초의 정보를 기반으로 HU와 관련된 주파수 히스토그램을 도시한 것이다.
또한, 도 8의 (b)는 전처리부(20)가 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수를 계산하고, 계산된 복수의 주파수 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값을 도출하며, 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값을 도출하고, 제 1 HU 값과 제 2 HU 값 간의 차이 값을 산출하며, 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행한 결과 정보를 기반으로, HU와 관련된 주파수 히스토그램을 도시한 것이다.
이러한 본 발명이 제안하는 Hounsfield unit (HU) normalization을 적용하는 경우, 촬영 장비, 모델, 기온, 압력, 기관별로 설정된 촬영 프로토콜 (주사 에너지 및 방사량 등) 등의 다양한 요소들로 인해 검체의 HU 값이 다르게 산출되는 종래의 문제점을 효과적으로 해소할 수 있다.
디노이징 과정
CT는 방사선량과 해상도는 일정 trade-off 관계에 있다.
선량을 높이면 환자에 피폭량이 증가하지만 그만큼 병변을 자세하게 관찰할 수 있다.
반대로 선량을 낮추면 피폭량을 줄일 수는 있지만, Noise가 증가하여 병변을 놓칠 가능성도 커진다.
선량이 낮은 LDCT는 human perception을 감소시키며 인공지능 모델의 입력으로 활용할 경우 일관되지 않은 데이터로 인해 성능 감소로 이어질 가능성이 크다.
도 9a 및 도 9b는 방사선 피폭(Radiation Exposure) 등을 고려하여 Low-dose CT image를 환자에 적용하는 경우, 촬영 프로토콜에서 설정한 방사선 주사량이 낮게 되고, 이에 따라 CT 영상에 노이즈가 많이 합성되는 문제점을 설명하기 위한 도면이다.
도 9a를 참조하면, (좌-상/하) Low-dose CT가 도시되고, (우-상/하) 좌측 영상에 비해 상대적으로 high-dose로 촬영된 영상이 도시된다.
이때, Low-dose CT image’의 개념 역시 HU 값을 기반으로 설명이 가능한데, 촬영 프로토콜에서 설정한 방사선 주사량이 낮으면 아래와 같이 CT 영상에 노이즈가 많이 합성된 것을 확인할 수 있다.
또한, 도 9b를 참조하면, 좌측의 A는 Normal Dose CT (NDCT) 영상을 나타내고, B는 Low Dose CT (LDCT) 영상을 나타낸다.
도 9a와 마찬가지로 촬영 프로토콜에서 설정한 방사선 주사량이 낮으면 아래와 같이 CT 영상에 노이즈가 많이 합성된 것을 확인할 수 있다.
따라서 본 발명에서는, Artificial dose enhancement 알고리즘을 통해 Noise를 제거하며 영상의 질을 향상시키는 기술의 결합을 통해 의료 영상 촬영 조건에 관계없이 일정한 질의 영상을 생성하고자 한다.
본 발명에서 제시하는 디노이징 (Denoising)은, 마치 영상의 해상도가 좋아진 것 같이 영상의 질이 향상되도록 만드는 기술과 더불어 CT 영상의 촬영 간에 발생할 수 있는 다양한 Noise들을 제거해서 영상의 질을 향상시키는 기술을 포함한다.
즉, LDCT를 선량 증가 없이 NDCT로 변환하는 것과 CT 영상의 촬영 간에 발생할 수 있는 다양한 Noise들을 제거하는 것을 총칭하여 본 발명이 제안하는 디노이징 (Denoising)이라고 지칭한다.
Metal-Artifacts 또는 Motion-Artifacts 등의 대표적인 CT 영상 Noise 역시도 디노이징을 통해 제거될 수 있다.
디노이징에 따른 최적의 방법은 기존 LDCT를 선량 증가 없이 NDCT로 변환하는 것으로, 딥러닝이 현재 다양한 domain에서 활용되기 이전 이 문제를 handling 하기 위한 기존 approach 들은 LDCT로부터 Filtering과 Smoothing 기법들을 적절하게 조합하는 시도에 불과했다.
그러나 이런 Conventional 한 Image processing method 들은 특정 artifact에만 유효하며 개선에 한계점이 있었다.
본 발명자는 병변 진단 인공지능 모델에 입력될 데이터의 1차 전처리(preprocessing)에서 LDCT 개선을 수행하기 위한 인공지능 모델을 구성하는 것을 목표로 여러 데이터 세트로 모델을 학습하였다.
도 10은 본 발명과 관련된 디노이징 (Denoising)을 설명하기 위한 도면이다.
도 10을 참조하면, 본 발명에서는 대표적으로 4가지 딥러닝 모델을 기초로 디노이징을 수행하였다.
이때, 인공지능 Architecture가 Model 1~4까지 다양한 구조를 시도함에 있어, 각 Model 1~4는 LDCT를 입력받아 최종적으로 NDCT로 변환된 영상을 출력하게 된다.
Mode l-4의 입출력이 다른 이유는 기존 LDCT 개선과 함께 Metal-artifact 제거도 함께 해결하는 구조를 포함시켰기 때문이다.
본 기술을 통해 생성된 영상은 의료 영상의 자동 판독 및 진단 보조를 위해 개발된 머신러닝과 딥러닝 (인공지능) 알고리즘의 성능 향상을 위해 활용될 수 있다.
이하에서는, 본 발명의 디노이징에 적용되는 구체적 Model 1~4에 대해 도면을 참조하여 설명한다.
제 1 실시예 - 디노이징
전술한 것과 같이, 입력되는 복수의 CT 영상 중 적어도 일부는 미리 지정된 방사선량 이하의 도즈(Dose)를 적용한 Low Dose CT (LDCT) 영상을 포함할 수 있다.
이때, 전처리부(20)는 전술한 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 적용하여, 상기 LDCT 영상이 Normal Dose CT (NDCT) 영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행할 수 있다.
도 11은 디노이징 (Denoising) 방법 관련 제 1 실시예를 도시한 것이다.
도 11를 참조하면, 제 1 실시예에 따른 model-1은 기존 U-Net, FPN과 같은 hierarchical 구조로 피라미드 형태의 convolution layer를 가지고 있고 Input image로부터 multi-scale의 feature-map을 추출하여 Encoder과 Decoder 간에 skip-connection으로 multi-scale featuremap을 합성하는 구조를 가진다.
구체적으로 제 1 딥러닝 모델은, 계층형 (hierarchical) 구조로 피라미드 형태의 콘볼루션 레이어 (convolution layer, 212)를 이용하고, 입력 영상(211)인 상기 HU 정규화가 수행된 CT 영상의 이미지로부터 멀티 스케일 (multi-scale)의 특징맵 (feature-map)을 추출하며, 인코더 (Encoder)와 디코더 (Decoder) 간의 스킵 커넥션 (skip-connection)을 기초로 상기 추출한 멀티 스케일 (multi-scale)의 특징맵 (feature-map)을 합성함(213, 214, 215, 216)으로써, 상기 디노이징 (Denoising) 작업을 수행할 수 있다.
도 11에서 계층 (Hierarchical) 형태의 CNN으로 대표적인 구조는 U-Net 형태이다.
U-Net의 앞단은 Contracting Path로 입력 데이터로부터 context를 포착할 수 있는 encoder 역할, 뒷단은 Expanding Path로 함께 여러 scale로부터 추출한 feature-map을 융합하는 구조이다.
Expanding Path는 Upsampling Layer과 함께 Contracting Path로부터 추출된 Feature를 Skip Connection을 통해 전달받게 되며 CNN Layer를 통해 결합한다.
CNN은 layer가 많아질수록 물체로부터 충분한 context 정보들을 추출할 수 있지만 Feature-map의 resolution이 감소, 복원 단계에서 (원본 픽셀과 Context 정보의 대응관계) Localization이 부정확해지는 trade-off를 가진다.
이때 U-Net은 계층별 skip-connection을 통해 Localization 부정확성을 해결한 구조이다.
이런 U-Net 구조는 변형된 구성이 다양하며 Skip-Connection에 Attention Block, Residual Block 등 CNN layer를 추가하는 경우가 일반적이다.
이하 설명하는 제 1 실시예 내지 제 4 실시예 상의 Mode 1-4의 입출력은 기존 LDCT 개선과 함께 Metal-artifact 제거도 함께 해결하는 구조를 취하고 있어 서로 다를 수 있다.
즉, 상기 디노이징 작업은, 전처리부(20)가 대 혈관 폐색(Large Vessel Occlusion)이 존재하는지 여부를 판단하기 위해 불필요한 적어도 하나의 노이즈(Noise)를 제거하는 과정을 포함한다.
여기서 적어도 하나의 노이즈는, 상기 복수의 CT 영상의 촬영 간에 발생하는 메탈 아티팩트 (Metal-Artifacts) 및 모션 아티팩트 (Motion-Artifacts)를 포함할 수 있다.
제 2 실시예 - 디노이징
전처리부(20)는 전술한 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 적용하여, 상기 LDCT 영상이 Normal Dose CT (NDCT) 영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행할 수 있고, 도 12는 디노이징 (Denoising) 방법 관련 제 2 실시예를 도시한 것이다.
제 2 실시예에 따른 model-2는 Dense-Net 구조로 모든 convolution layer에서 추출된 feature-map을 스케일 감소 없이 모두 concatenate 하여 활용하는 구조이다..
구체적으로 제 2 딥러닝 모델은, 덴스-넷 (Dense-Net) 구조(222)로 모든 콘볼루션 레이어 (convolution layer)에서 추출된 특징맵 (feature-map)을 스케일 감소 없이 모두 연결 (concatenate)하여(223, 224, 225, 226, 227) 상기 디노이징 (Denoising) 작업을 수행한다.
일반적으로 CNN의 layer가 깊어질수록 네트워크 초기 layer들은 weight과 bias에 역전파되는 gradient 크기가 점차 작아져 학습이 어려워지는 gradient vanishing 문제가 있다.
이때 DenseNet은 CNN에서 얻어진 Feature-map을 모두 concatenate하여 gradient 원형을 보존할 수 있는 구조를 제시하여 기존 ResNet에 비해 더 적은 parameter 수에 비해 더 개선된 성능을 보였다.
도 15는 ResNet v.s. DenseNet 에 관한 자료로서, 실제 같은 parameter 수로 비교하였을 때 ResNet 구조에 비해 개선된 성능을 보임을 알 수 있다.
또한, 제 2 실시예에 따른 디노이징 작업은, 전처리부(20)가 대 혈관 폐색(Large Vessel Occlusion)이 존재하는지 여부를 판단하기 위해 불필요한 적어도 하나의 노이즈(Noise)를 제거하는 과정을 포함한다.
여기서 적어도 하나의 노이즈는, 상기 복수의 CT 영상의 촬영 간에 발생하는 메탈 아티팩트 (Metal-Artifacts) 및 모션 아티팩트 (Motion-Artifacts)를 포함할 수 있다.
제 3 실시예 - 디노이징
전처리부(20)는 전술한 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 적용하여, 상기 LDCT 영상이 Normal Dose CT (NDCT) 영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행할 수 있고, 도 13은 디노이징 (Denoising) 방법 관련 제 3 실시예를 도시한 것이다.
제 3 실시예에 따른 model-3은 Cascaded 구조로 간단한 Encoder/Decoder를 갖는 Convolution Network를 여러 번 반복하는 형태로 Machine Learning에서 Boosting 기법을 응용한 모델이다.
구체적으로 제 3 딥러닝 모델은, 폭포형 (Cascaded) 구조로 인코더 (Encoder) 및 디코더 (Decoder)를 갖는 컨볼루션 네트워크 (Convolution Network, 232a, 232b, 232n, 233, 234)를 여러 번 반복 적용하여 상기 디노이징 (Denoising) 작업(235, 236, 237, 238)을 수행할 수 있다.
본 실시예에서는 기존 Machine Learning technique 중 Boosting 전략으로 간단한 구조의 weak CNN을 sequential 하게 구성하여 예측하는 구조를 이용한다.
이는 Coarse to Fine 전략으로 이전 CNN 블록에서 예측한 출력을 개선하여 각 CNN 예측 오차를 progressive 하게 보완한다.
도 13의 구조는 GAN의 Generator에 U-Net 구조의 CNN을 cascade하게 구성한 구조를 표현한 것이다.
이런 구조는 모델의 중간 출력을 설정할 수 있기 때문에 예측 강도와 단계를 설정할 수 있다.
또한, 제 3 실시예에 따른 디노이징 작업은, 전처리부(20)가 대 혈관 폐색(Large Vessel Occlusion)이 존재하는지 여부를 판단하기 위해 불필요한 적어도 하나의 노이즈(Noise)를 제거하는 과정을 포함한다.
여기서 적어도 하나의 노이즈는, 상기 복수의 CT 영상의 촬영 간에 발생하는 메탈 아티팩트 (Metal-Artifacts) 및 모션 아티팩트 (Motion-Artifacts)를 포함할 수 있다.
제 4 실시예 - 디노이징
전처리부(20)는 전술한 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 딥러닝 모델을 적용하여, 상기 LDCT 영상이 Normal Dose CT (NDCT) 영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행할 수 있고, 도 14는 디노이징 (Denoising) 방법 관련 제 4 실시예를 도시한 것이다.
제 4 실시예에 따른 model-4는 네트워크 출력에서 바로 Denoised 된 출력을 내는 것이 아닌 Input LDCT에 적용될 Kernel을 예측하는 구조를 가진다.
구체적으로 제 4 딥러닝 모델은, 네트워크 출력에서 상기 디노이징 (Denoising) 작업이 수행된 출력을 내는 것이 아닌 입력 영상(241a, 241b)인 상기 HU 정규화가 수행된 CT 영상에 적용될 적응형 커널 (Adaptive Kernel)을 예측하고, 상기 예측된 커널을 기반으로 상기 디노이징 (Denoising) 작업(242, 243, 244, 245, 246, 247, 248)을 수행한다.
본 실시예에서 CNN 모델의 각 layer에서 활용되는 Convolution 연산은 고정된 크기의 kernel size (k)를 각 채널 크기 (c)에 적용할 수 있는 c*k*k 크기의 weight을 학습하며 이는 입력 데이터의 모든 픽셀에 spatially(공간적으로) 동일하게 적용된다.
Kernel Prediction Network (KPN)은 Generalized CNN을 표방한다.
입력데이터에 적합하도록 spatially 다른 kernel을 예측하고 해당 kernel로Convolution 연산을 수행하게 된다.
또한, 제 4 실시예에 따른 디노이징 작업은, 전처리부(20)가 대 혈관 폐색(Large Vessel Occlusion)이 존재하는지 여부를 판단하기 위해 불필요한 적어도 하나의 노이즈(Noise)를 제거하는 과정을 포함한다.
여기서 적어도 하나의 노이즈는, 상기 복수의 CT 영상의 촬영 간에 발생하는 메탈 아티팩트 (Metal-Artifacts) 및 모션 아티팩트 (Motion-Artifacts)를 포함할 수 있다.
본 발명에 따른 효과
본 발명에 의하면, 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징을 통한 뇌졸중 진단 장치 및 방법을 사용자에 제공할 수 있다.
구체적으로, 본 발명은 Hounsfield unit (HU) normalization을 통해 촬영 환경에 따른 CT 영상의 차이를 최소화하고, Artificial dose enhancement 알고리즘을 통해 Noise를 제거하며 영상의 질을 향상시켜 의료 영상 촬영 조건에 관계없이 일정한 질의 영상을 생성하는 뇌졸중 진단 장치 및 방법을 사용자에게 제공할 수 있다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어 (firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs (Application Specific Integrated Circuits), DSPs (Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs (Programmable Logic Devices), FPGAs (Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리 유닛은 상기 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 상기 프로세서와 데이터를 주고 받을 수 있다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.

Claims (8)

  1. 적어도 하나의 환자의 신체와 관련된 복수의 영상을 획득하는 영상획득부; 및
    상기 복수의 영상을 전-처리(Pre-processing)하는 전처리부; 를 포함하고,

    상기 전처리부는,
    상기 복수의 영상에서 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수를 계산하고,
    상기 계산된 복수의 주파수 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값과 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값 간의 차이 값을 산출하며,
    상기 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행하고,

    상기 복수의 영상 중 적어도 일부는 미리 지정된 제 1 방사선량 이하의 도즈(Dose)를 적용한 Low Dose CT 인 LDCT 영상을 포함하고,
    상기 전처리부는,
    상기 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 복수의 딥러닝 모델 중 적어도 하나를 적용하여, 상기 LDCT 영상이 미리 지정된 제 2 방사선량 이상의 Normal Dose CT 인 NDCT영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행하는 인공지능 기반 전처리 장치.
  2. 제 1항에 있어서,
    상기 복수의 딥러닝 모델 중 제 1 딥러닝 모델은,
    계층형 (hierarchical) 구조로 피라미드 형태의 콘볼루션 레이어 (convolution layer)를 이용하고, 입력 영상인 상기 HU 정규화가 수행된 CT 영상의 이미지로부터 멀티 스케일 (multi-scale)의 특징맵 (feature-map)을 추출하며, 인코더 (Encoder)와 디코더 (Decoder) 간의 스킵 커넥션 (skip-connection)을 기초로 상기 추출한 멀티 스케일 (multi-scale)의 특징맵 (feature-map)을 합성함으로써, 상기 디노이징 (Denoising) 작업을 수행하는 인공지능 기반 전처리 장치.
  3. 제 1항에 있어서,
    상기 복수의 딥러닝 모델 중 제 2 딥러닝 모델은,
    덴스-넷 (Dense-Net) 구조로 모든 콘볼루션 레이어 (convolution layer)에서 추출된 특징맵 (feature-map)을 스케일 감소 없이 모두 연결 (concatenate)하여 상기 디노이징 (Denoising) 작업을 수행하는 인공지능 기반 전처리 장치.
  4. 제 1항에 있어서,
    상기 복수의 딥러닝 모델 중 제 3 딥러닝 모델은,
    폭포형 (Cascaded) 구조로 인코더 (Encoder) 및 디코더 (Decoder)를 갖는 컨볼루션 네트워크 블록 (Convolution Network Block)을 여러 번 반복 적용하여 상기 디노이징 (Denoising) 작업을 수행하는 인공지능 기반 전처리 장치.
  5. 제 1항에 있어서,
    상기 복수의 딥러닝 모델 중 제 4 딥러닝 모델은,
    네트워크 출력에서 상기 디노이징 (Denoising) 작업이 수행된 출력을 내는 것이 아닌 입력 영상인 상기 HU 정규화가 수행된 CT 영상에 적용될 적응형 커널 (Adaptive Kernel)을 예측하고, 상기 예측된 커널을 기반으로 상기 디노이징 (Denoising) 작업을 수행하는 인공지능 기반 전처리 장치.
  6. 제 2항 내지 제5항 중 어느 한 항에 있어서,
    상기 전처리된 영상을 이용하여 질환을 판단하는 판단부;를 더 포함하고,
    상기 디노이징 작업은,
    상기 판단부가 상기 질환을 판단하기 위해 불필요한 적어도 하나의 노이즈(Noise)를 제거하는 과정을 포함하는 인공지능 기반 전처리 장치.
  7. 제 6항에 있어서,
    상기 적어도 하나의 노이즈는, 상기 복수의 CT 영상의 촬영 간에 발생하는 메탈 아티팩트 (Metal-Artifacts) 및 모션 아티팩트 (Motion-Artifacts)를 포함하는 인공지능 기반 전처리 장치.
  8. 영상획득부가 적어도 하나의 환자의 신체와 관련된 복수의 영상을 획득하는 제 1 단계; 및
    전처리부가 상기 복수의 영상을 전-처리(Pre-processing)하는 제 2 단계; 를 포함하고,

    상기 제 2 단계는,
    상기 전처리부가 상기 복수의 영상에서 미리 지정된 범위에 속하는 Hounsfield unit (HU) 각각에 대한 주파수를 계산하는 제 2-1 단계;
    상기 전처리부가 상기 계산된 복수의 주파수 중 가장 주파수가 높은 주파수에 대응하는 제 1 HU 값과 미리 지정된 픽스드 레벨(Fixed level)의 제 2 HU 값 간의 차이 값을 산출하는 제 2-2 단계; 및
    상기 전처리부가 상기 산출된 차이 값을 상기 복수의 CT 영상과 관련된 전체 HU에 반영함으로써, Hounsfield unit (HU) 정규화(normalization)를 수행하는 제 2-3 단계;를 포함하고,

    상기 복수의 영상 중 적어도 일부는 미리 지정된 제 1 방사선량 이하의 도즈(Dose)를 적용한 Low Dose CT 인 LDCT 영상을 포함하고,

    상기 제 2-3 단계 이후,
    상기 전처리부가 상기 HU 정규화가 수행된 CT 영상에, 미리 지정된 CNN(Convolutional Neural Network) 기반의 복수의 딥러닝 모델 중 적어도 하나를 적용하여, 상기 LDCT 영상이 미리 지정된 제 2 방사선량 이상의 Normal Dose CT 인 NDCT영상으로 변환되도록 하는 디노이징 (Denoising) 작업을 수행하는 제 2-4 단계;를 더 포함하는 인공지능 기반 전처리 방법.
KR1020220012390A 2022-01-27 2022-01-27 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법 Active KR102399792B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220012390A KR102399792B1 (ko) 2022-01-27 2022-01-27 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220012390A KR102399792B1 (ko) 2022-01-27 2022-01-27 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102399792B1 true KR102399792B1 (ko) 2022-05-23

Family

ID=81800397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220012390A Active KR102399792B1 (ko) 2022-01-27 2022-01-27 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102399792B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240051407A (ko) * 2022-10-13 2024-04-22 주식회사 지오비전 딥러닝 모듈을 이용한 골다공증 예측 시스템
CN118397129A (zh) * 2024-06-28 2024-07-26 应急总医院 Ct图像的处理方法、处理系统和计算机可读存储介质
KR102708543B1 (ko) 2023-07-21 2024-09-20 고려대학교 산학협력단 확산 모델 기반 컴퓨터 단층촬영 고해상도 변환 장치 및 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101754291B1 (ko) 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
KR101992057B1 (ko) 2018-08-17 2019-06-24 (주)제이엘케이인스펙션 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템
KR102097742B1 (ko) * 2019-07-31 2020-04-06 주식회사 딥노이드 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법
KR20200055690A (ko) * 2020-02-17 2020-05-21 (주)제이엘케이 인공지능 기반 pwi-dwi 미스매치 병변 추출 및 통합 평가 방법 및 시스템
JP2021013725A (ja) * 2019-07-11 2021-02-12 キヤノンメディカルシステムズ株式会社 医用装置
KR20210035381A (ko) * 2019-09-23 2021-04-01 삼성에스디에스 주식회사 의료 진단 방법 및 장치
JP2021146220A (ja) * 2020-03-18 2021-09-27 カリフォルニア大学The Regents of the University of California フィルタ生成方法及びフィルタ生成システム
KR102315608B1 (ko) * 2021-02-03 2021-10-22 주식회사 휴런 인공지능 기반 허혈성 뇌졸중 검출 및 형태 분류 방법
JP2021183113A (ja) * 2020-05-21 2021-12-02 ヒューロン カンパニー，リミテッド 人工知能基盤の脳卒中診断装置及び方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101754291B1 (ko) 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
KR101992057B1 (ko) 2018-08-17 2019-06-24 (주)제이엘케이인스펙션 혈관 투영 영상을 이용한 뇌질환 진단 방법 및 시스템
JP2021013725A (ja) * 2019-07-11 2021-02-12 キヤノンメディカルシステムズ株式会社 医用装置
KR102097742B1 (ko) * 2019-07-31 2020-04-06 주식회사 딥노이드 인공지능 기반의 의료영상 검색 시스템 및 그 구동방법
KR20210035381A (ko) * 2019-09-23 2021-04-01 삼성에스디에스 주식회사 의료 진단 방법 및 장치
KR20200055690A (ko) * 2020-02-17 2020-05-21 (주)제이엘케이 인공지능 기반 pwi-dwi 미스매치 병변 추출 및 통합 평가 방법 및 시스템
JP2021146220A (ja) * 2020-03-18 2021-09-27 カリフォルニア大学The Regents of the University of California フィルタ生成方法及びフィルタ生成システム
JP2021183113A (ja) * 2020-05-21 2021-12-02 ヒューロン カンパニー，リミテッド 人工知能基盤の脳卒中診断装置及び方法
KR102315608B1 (ko) * 2021-02-03 2021-10-22 주식회사 휴런 인공지능 기반 허혈성 뇌졸중 검출 및 형태 분류 방법
KR102318458B1 (ko) * 2021-02-03 2021-10-28 주식회사 휴런 대뇌혈관 폐색의 형태가 Embolism인 경우, 치료 방향 정보를 제공하는 장치
KR102318459B1 (ko) * 2021-02-03 2021-10-28 주식회사 휴런 의료 영상 기반 허혈성 뇌졸중 검출에 따른 치료 정보 제공 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240051407A (ko) * 2022-10-13 2024-04-22 주식회사 지오비전 딥러닝 모듈을 이용한 골다공증 예측 시스템
KR102820759B1 (ko) 2022-10-13 2025-06-13 주식회사 지오비전 딥러닝 모듈을 이용한 골다공증 예측 시스템
KR102708543B1 (ko) 2023-07-21 2024-09-20 고려대학교 산학협력단 확산 모델 기반 컴퓨터 단층촬영 고해상도 변환 장치 및 방법
CN118397129A (zh) * 2024-06-28 2024-07-26 应急总医院 Ct图像的处理方法、处理系统和计算机可读存储介质

Similar Documents

Publication Publication Date Title
US9437018B2 (en) Method and apparatus for reducing artifacts in computed tomography image reconstruction
US7433507B2 (en) Imaging chain for digital tomosynthesis on a flat panel detector
US7177453B2 (en) Method and apparatus for partitioning a volume
US7826885B2 (en) Method and apparatus for calculating index concerning local blood flow circulations
US9070181B2 (en) System and method for extracting features of interest from an image
KR102399792B1 (ko) 인공지능 기반 Hounsfield unit (HU) 정규화 및 디노이징 (Denoising)을 통한 전처리 장치 및 방법
CN109770933B (zh) 通过三维定位改进图像质量的系统和方法
US12182970B2 (en) X-ray imaging restoration using deep learning algorithms
US8774485B2 (en) Systems and methods for performing segmentation and visualization of multivariate medical images
CN111915696A (zh) 三维图像数据辅助的低剂量扫描数据重建方法及电子介质
US7978886B2 (en) System and method for anatomy based reconstruction
US9984476B2 (en) Methods and systems for automatic segmentation
US12475690B2 (en) Simulating pathology images based on anatomy data
JP4714228B2 (ja) 脳組織内毛細血管の血流動態に関するインデックス演算方法、装置及び記憶媒体
JP4302180B2 (ja) 局所血流動態に関するインデックスを演算する方法及び装置
JP7346546B2 (ja) Ｃｔ仮想単色撮像のための自動的適応エネルギ設定を行う方法
CN110730977B (zh) 低剂量成像方法及装置
JP7646710B2 (ja) ニューラルネットによる解像度向上と薄型スライス生成を実現したｘ線トモシンセシス装置
CN117437144A (zh) 用于图像去噪的方法和系统
US20250157100A1 (en) Four-dimensional motion estimation and compensation by using feature reconstruction
CN117679053A (zh) 球管电流值的获取方法和医学成像系统
CN119963538A (zh) 基于机器学习的骨肿瘤病灶定位方法及装置
CN120813303A (zh) 用于运动损坏的医学成像扫描的缓和的重新扫描
WO2024260950A1 (en) Modifying visibility of anatomical features in medical images
JP2024173772A (ja) 医用画像処理装置および医用画像処理方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220127

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20220128

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20220127

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220228

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220328

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220516

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220517

End annual number: 3

Start annual number: 1

PG1601 Publication of registration