WO2023075447A1

WO2023075447A1 - Heart signal division method, device for heart signal division using same, method for providing information on heart disease, and device for providing information on heart disease using same

Info

Publication number: WO2023075447A1
Application number: PCT/KR2022/016561
Authority: WO
Inventors: 심학준; 홍영택; 장영걸; 정주영; 맹신희
Original assignee: Ontact Health Co Ltd
Current assignee: Ontact Health Co Ltd
Priority date: 2021-10-27
Filing date: 2022-10-27
Publication date: 2023-05-04
Anticipated expiration: 2024-04-27

Abstract

The present invention provides heart signal division implemented by a processor, and a device using same. In addition, the present invention provides a method for providing information on heart diseases, which is implemented by a processor, and a device using same.

Description

Heart signal division method, device for heart signal division using the same, method for providing information on heart disease, and device for providing information on heart disease using the same

본 발명은 심장 신호 분할 방법, 이를 이용한 심장 신호 분할용 디바이스, 심장 질환에 대한 정보 제공 방법 및 이를 이용한 심장 질환에 대한 정보 제공용 디바이스에 관한 것이다. The present invention relates to a method for dividing a heart signal, a device for dividing a heart signal using the same, a method for providing information on heart disease, and a device for providing information on heart disease using the same.

생체신호인 심음도 (Phonocardiogram; PCG) 와 심전도 (EDG; electrocardiogram 또는 EKG; Elektro kardiogramm) 는 심장 기능에 관한 정보를 제공한다. 심음도는 심장의 기계적 현상의 정보는 얻어내는 것이라면, 심전도는 심장의 전기적 신호의 정보를 얻어내는 것이라 할 수 있다.Phonocardiogram (PCG) and electrocardiogram (EDG; electrocardiogram or EKG; Elektro kardiogramm), which are biosignals, provide information about heart function. Echocardiography can be said to obtain information on mechanical phenomena of the heart, whereas electrocardiography can be said to obtain information on electrical signals of the heart.

예를 들어, 심음도는 박동하는 심장과 그로 인한 혈류가 만들어 내는 소리로서, 전자 청진기로 시각화 가능하다. 이와 같이 획득된 심음도를 통해 심장의 상태에 대한 여러 주요한 정보가 파악될 수 있다. For example, the phonogram is the sound produced by a beating heart and blood flow, which can be visualized with an electronic stethoscope. Through the obtained cardiogram, various important information about the state of the heart can be grasped.

보다 구체적으로, 심음은 판막이 닫히면서 나는 소리로 정상의 성인의 경우 두 개의 심음이 관찰될 수 있다. 보다 구체적으로, 제1 심음 (S1) 은 심실 수축기의 시초에 방실 판막이 닫힐 때 생기는 음으로 낮고 둔하며 소리의 지속이 긴 것이 특징이다. 제2 심음 (S2) 은 심실 확장기의 시초에 대동맥 판막과 폐동맥 판막이 닫힐 때 생기는 음으로 높고 예리하며 소리의 지속이 짧은 것이 특징이다. 이외에 제3 심음 (S3) 과 제4 심음 (S4) 이 있을 수 있는데, 이들은 심장 판막의 이상 시 발생될 수 있다.More specifically, the heart sound is the sound produced when the valve closes, and two heart sounds can be observed in normal adults. More specifically, the first heart sound (S1) is a sound generated when the atrioventricular valve closes at the beginning of ventricular systole, and is characterized by a low, dull sound and a long duration. The second heart sound (S2) is a sound generated when the aortic and pulmonary valves close at the beginning of ventricular diastole, and is characterized by a high, sharp sound and a short duration. In addition, there may be a third heart sound (S3) and a fourth heart sound (S4), which may occur when a heart valve is abnormal.

즉, 심장 신호는 심장 질환과 높은 상관관계가 있어, 다양한 심장 질환의 진단 시 이용될 수 있다. That is, the heart signal has a high correlation with heart disease, and thus can be used when diagnosing various heart diseases.

그러나, 최근에는 컴퓨터 단층 촬영, 자기 공명영상, 초음파 영상 검사 등 정밀 검사 방법들이 표준으로 자리 잡으면서 심장 신호의 활용도는 점차 낮아지고 있는 상황이다. 더욱이, 심장 신호 기반의 진단에 이용되는 청진법은 비침습적인 방법으로 쉽게 심장 박동음 분석이 가능하다는 장점이 있음에도, 사람의 감각에 의존하는 방법이므로 주관적인 판단으로 오진 가능성이 있고, 신뢰성이 부족한 문제점이 있다. However, recently, as precision examination methods such as computed tomography, magnetic resonance imaging, and ultrasound imaging have become standard, the utilization of cardiac signals is gradually decreasing. Moreover, the auscultation method used for heart signal-based diagnosis has the advantage of being able to easily analyze the heartbeat sound in a non-invasive way, but since it is a method that relies on human senses, there is a possibility of misdiagnosis due to subjective judgment and lack of reliability. there is

따라서, 새로운 심장 신호 분할 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다. Therefore, there is a continuous demand for development of a new cardiac signal splitting system.

또한 심음 측정 기반의 새로운 심장 질환에 대한 정보 제공 시스템에 대한 개발이 지속적으로 요구되고 있는 실정이다.In addition, there is a continuous demand for development of a new heart sound measurement-based information providing system for heart disease.

발명의 배경이 되는 기술은 본 발명에 대한 이해를 보다 용이하게 하기 위해 작성되었다. 발명의 배경이 되는 기술에 기재된 사항들이 선행기술로 존재한다고 인정하는 것으로 이해되어서는 안 된다.The background description of the invention has been prepared to facilitate understanding of the present invention. It should not be construed as an admission that matters described in the background art of the invention exist as prior art.

최근 인공지능 기술의 발전과 함께 심장 신호 분석을 위한 다양한 기법들이 제안되었다. 대표적으로, 심음 신호에 1차원 합성곱 신경망 (convolutional neural network, CNN) 을 이용한 방법과 은닉 마르코프 모델 (hidden markov models HMM) 을 활용한 방법이 있다. 다른 방법으로는 장단기 기억 (long short-term memory, LSTM) 기반 인공신경망 네트워크를 활용한 분석, 신호의 스펙트럼을 분석해 이미지 형태로 분석하는 2D CNN방법이 있다.Recently, with the development of artificial intelligence technology, various techniques for heart signal analysis have been proposed. Representatively, there are a method using a one-dimensional convolutional neural network (CNN) for heart sound signals and a method using hidden markov models (HMM). Other methods include an analysis using a long short-term memory (LSTM)-based artificial neural network, and a 2D CNN method that analyzes the spectrum of a signal and analyzes it in the form of an image.

그러나, 전술한 방법은 제1 심음 및 제2 심음과 같은 신호 분할의 한계가 있는 것으로 나타난다.However, the above method appears to have limitations in signal division such as the first heart sound and the second heart sound.

한편, 본 발명의 발명자들은 종래의 심장 신호 기반 심장 신호 분할 시스템의 한계를 극복하기 위한 방안으로 심장 신호로부터 획득 가능한 특징에 주목하였다.Meanwhile, the inventors of the present invention paid attention to characteristics obtainable from heart signals as a method for overcoming the limitations of conventional heart signal-based heart signal splitting systems.

특히, 본 발명의 발명자들은, 심장 신호의 변환으로 획득 가능한 신호 엔벨로프 (signal envelops), 나아가 심장 신호의 시간-주파수 특징이 신호 분할의 정확도 향상에 기여할 수 있음을 인지할 수 있었다.In particular, the inventors of the present invention have been able to recognize that signal envelopes obtainable by converting cardiac signals, and furthermore, time-frequency characteristics of cardiac signals can contribute to improving the accuracy of signal segmentation.

그 결과, 본 발명의 발명자들은, 심장 신호로부터 추출된 신호 엔벨로프, 및 심장 신호에 대한 시간-주파수 정보를 제공하는 연속 웨이블릿 변환 (Continuous Wavelet Transform; CWT) 데이터와 같은 스칼로그램 (scalogram) 특징을 신호 분할에 적용하고자 하였다.As a result, the inventors of the present invention have developed a scalogram feature such as a signal envelope extracted from a cardiac signal and continuous wavelet transform (CWT) data that provides time-frequency information about the cardiac signal. It was intended to be applied to signal division.

한편, 본 발명의 발명자들은, 신뢰도 높은 정보를 제공하기 위해, 신호 엔벨로프 특징 및 신호 스칼로그램 특징을 학습하여 신호를 분할하도록 학습된 인공 지능 네트워크 기반의 모델을 상기 정보 제공 시스템에 적용할 수 있었다.Meanwhile, the inventors of the present invention were able to apply an artificial intelligence network-based model learned to segment signals by learning signal envelope characteristics and signal scalogram characteristics to the information providing system in order to provide highly reliable information. .

이때, 본 발명의 발명자들은, 분할 모델의 학습에 있어서 신호 엔벨로프 특징 및 신호 스칼로그램 특징을 학습에 적용했을 때, 심장 신호의 엔벨로프 특징만 사용했을 때 또는 신호 스칼로그램의 특징을 단독으로 이용했을 때 보다 신호 분할 성능이 향상된 것을 확인할 수 있었다.At this time, the inventors of the present invention apply the signal envelope feature and signal scalogram feature to learning in the learning of the split model, use only the envelope feature of the heart signal, or use the signal scalogram feature alone. It was confirmed that the signal division performance was improved compared to when

그 결과, 본 발명의 발명자들은, 심장 신호의 시간-주파수 정보를 고려한 분할 모델 기반의 새로운 정보 제공 시스템을 제공함으로써, 심음의 정확도 높은 분할뿐만 아니라 심장 질환 발병 여부를 높은 정확도로 분류할 수 있음을 기대할 수 있었다. As a result, the inventors of the present invention found that by providing a new information providing system based on a segmentation model that considers the time-frequency information of heart signals, it is possible to classify heart disease with high accuracy as well as heart sound segmentation with high accuracy. could be expected

이에, 본 발명이 해결하고자 하는 과제는, 개체로부터 획득된 신호 엔벨로프 특징 및 신호 스칼로그램 특징 기반의 분할 모델을 이용하여 신호를 분할하도록 구성된, 심장 신호 분할 방법 및 디바이스를 제공하는 것이다. Accordingly, an object of the present invention is to provide a heart signal segmentation method and device configured to segment a signal using a segmentation model based on signal envelope characteristics and signal scalogram characteristics obtained from an individual.

한편, 본 발명의 발명자들은, 신뢰도 높은 정보를 제공하기 위해, 심장 신호의 심장 신호를 학습하여 신호를 분할하도록 학습된 인공 지능 네트워크 기반의 신호 분할 모델, 나아가 이를 기초로 질환의 발병 여부를 분류하도록 학습된 질환 분류 모델을 상기 정보 제공 시스템에 적용할 수 있었다.On the other hand, the inventors of the present invention, in order to provide high reliability information, an artificial intelligence network-based signal division model learned to divide the signal by learning the heart signal of the heart signal, and further classifying the onset of the disease based on this The learned disease classification model could be applied to the information providing system.

특히, 본 발명의 발명자들은 질환 분류 모델의 네트워크에 대하여, 글로벌 애버리지 풀링 (Global Average Pooling) 층을 적용하여, 입력 데이터 (예를 들어, 분할된 심장 신호) 의 전체 크기에 대하여 평균을 구하는 것이 아니라 실제 유효 길이에 맞게 계산하도록 설계할 수 있었다. 이를 통해, 본 발명의 발명자들은 질환 분류 모델의 네트워크의 성능의 개선을 기대할 수 있었다. In particular, the inventors of the present invention applied a global average pooling layer to the network of the disease classification model to obtain an average over the entire size of the input data (eg, segmented heart signal), rather than It could be designed to calculate to fit the actual effective length. Through this, the inventors of the present invention could expect to improve the performance of the disease classification model network.

이에, 본 발명이 해결하고자 하는 과제는, 개체로부터 획득된 심장 신호 기반의 분할 모델을 이용하여 신호를 분할하고, 질환 분류 모델을 이용하여 심장 질환 발병 여부를 결정하도록 구성된, 심장 질환에 대한 정보 제공 방법 및 디바이스를 제공하는 것이다.Therefore, the problem to be solved by the present invention is to provide information on heart disease, configured to segment signals using a heart signal-based segmentation model obtained from an individual and determine whether or not a heart disease occurs using a disease classification model. To provide a method and device.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The tasks of the present invention are not limited to the tasks mentioned above, and other tasks not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 심장 신호 분할 방법이 제공된다. 본 발명의 실시예에 따른 방법은, 프로세서에 의해 구현되는 심장 신호 분할 방법으로서, 프로세서에 의해 구현되는 심장 신호 분할 방법으로서, 개체의 심장 신호를 수신하는 단계, 심장 신호로부터 신호 엔벨로프 (envelope) 특징 및 신호 스칼로그램 (scalogram) 특징을 각각 결정하는 단계, 신호 엔벨로프 특징을 입력으로 하여 신호를 분할하도록 학습된 제1 신호 분할 모델을 이용하여, 신호 엔벨로프 특징을 복수의 구간으로 분할하는 단계, 신호 스칼로그램 특징을 입력으로 하여 신호를 분할하도록 학습된 제2 신호 분할 모델을 이용하여, 신호 스칼로그램 특징을 복수의 구간으로 분할하는 단계, 및 제1 신호 분할 모델 및 제2 신호 분할 모델 각각에 의해 분할된 복수의 구간에 기초하여, 심장 신호를 복수의 구간으로 분할하는 단계를 포함한다.In order to solve the above problems, a heart signal division method according to an embodiment of the present invention is provided. A method according to an embodiment of the present invention is a method of dividing a heart signal implemented by a processor, comprising the steps of receiving a heart signal of an individual, a signal envelope characteristic from the heart signal. and determining signal scalogram features, respectively. Dividing the signal envelope features into a plurality of sections using a first signal segmentation model learned to divide the signal by taking the signal envelope features as an input. Dividing the signal scalogram feature into a plurality of sections using the second signal division model learned to divide the signal by taking the scalogram feature as an input, and the first signal division model and the second signal division model, respectively and dividing the heart signal into a plurality of sections based on the plurality of sections divided by .

본 발명의 특징에 따르면, 신호 엔벨로프 특징은, 동형 엔벨로프 (Homomorphic envelope), 힐베르트 엔벨로프 (Hilbert envelope), PSD (power spectral density) 엔벨로프 및 웨이블릿 엔벨로프 (Wavelet envelope) 중 적어도 하나일 수 있다.According to features of the present invention, the signal envelope feature may be at least one of a homomorphic envelope, a Hilbert envelope, a power spectral density (PSD) envelope, and a wavelet envelope.

본 발명의 다른 특징에 따르면, 신호 엔벨로프 특징은, 동형 엔벨로프이고, 특징을 각각 결정하는 단계는, 동형 엔벨로프를 획득하도록, 심장 신호에 대하여 동형 필터링 변환 (Homomorphic filtering converts) 을 수행하는 단계, 및 심장 신호에 대하여 신호 스칼로그램의 특징을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the signal envelope feature is a homomorphic envelope, and the step of determining each feature comprises: performing homomorphic filtering converts on the heart signal to obtain a homomorphic envelope; For the signal, determining characteristics of the signal scalogram.

본 발명의 또 다른 특징에 따르면, 신호 엔벨로프 특징은, 힐베르트 엔벨로프이고, 특징을 각각 결정하는 단계는, 힐베르트 엔벨로프를 획득하도록, 심장 신호에 대하여 힐베르트 전환 (Hilbert transform) 을 수행하는 단계, 및 심장 신호에 대하여 신호 스칼로그램의 특징을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the signal envelope feature is a Hilbert envelope, and the step of determining each feature comprises: performing a Hilbert transform on the heart signal to obtain a Hilbert envelope; and the heart signal It may include determining the characteristics of the signal scalogram for .

본 발명의 또 다른 특징에 따르면, 신호 엔벨로프 특징은, PSD 엔벨로프이고, 특징을 각각 결정하는 단계는 PSD 엔벨로프를 획득하도록, 심장 신호에 대하여 고속 퓨리에 변환 (Fast Fourier Transform, FFT) 을 수행하는 단계, 및 심장 신호에 대하여 신호 스칼로그램의 특징을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the signal envelope feature is a PSD envelope, and the step of determining each feature performs Fast Fourier Transform (FFT) on the cardiac signal to obtain a PSD envelope; and determining characteristics of the signal scalogram for the cardiac signal.

본 발명의 또 다른 특징에 따르면, 신호 엔벨로프 특징은, 웨이블릿 엔벨로프이고, 특징을 각각 결정하는 단계는, 웨이블릿 엔벨로프를 획득하도록, 심장 신호에 대하여 웨이블릿 전환 (Wavelet transform) 을 수행하는 단계, 및 심장 신호에 대하여 신호 스칼로그램의 특징을 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the signal envelope feature is a wavelet envelope, and the step of determining each feature comprises: performing wavelet transform on the cardiac signal to obtain a wavelet envelope; and cardiac signal. It may include determining the characteristics of the signal scalogram for .

본 발명의 또 다른 특징에 따르면, 신호 스칼로그램 특징은, CWT (Continuous Wavelet Transform) 된 특징일 수 있다.According to another feature of the present invention, the signal scalogram feature may be a CWT (Continuous Wavelet Transform) feature.

본 발명의 또 다른 특징에 따르면, 제1 신호 분할 모델은, 1 차원 CNN (1D Convolutional neural network) 구조를 갖고, 신호 스칼로그램 특징은 2차원 스칼로그램이고, 제2 신호 분할 모델은, 2 차원 CNN 구조를 가질 수 있다.According to another feature of the present invention, the first signal splitting model has a 1D convolutional neural network (CNN) structure, the signal scalogram feature is a 2D scalogram, and the second signal splitting model has a 2D convolutional neural network (CNN) structure. It can have a dimensional CNN structure.

본 발명의 또 다른 특징에 따르면, 심장 신호를 복수의 구간으로 분할하는 단계는, 제1 신호 분할 모델의 출력층 및 제2 신호 분할 모델의 출력층 각각과 연결된 접합 (concatenation) 모듈을 이용하여, 심장 신호를 복수의 구간으로 분할하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the dividing of the heart signal into a plurality of sections includes the heart signal using a concatenation module connected to the output layer of the first signal division model and the output layer of the second signal division model, respectively. Dividing into a plurality of sections may be further included.

본 발명의 또 다른 특징에 따르면, 심장 신호를 복수의 구간으로 분할하는 단계는, 제2 신호 분할 모델의 출력층과 접합 모듈 사이의 글로벌 에버리지 풀링 (global average pooling) 층을 이용하여 제2 신호 분할 모델의 출력 값의 차원을 감소시키는 단계, 접합 모듈을 이용하여 감소된 차원의 제2 신호 분할 모델의 출력 값과 제1 신호 분할 모델의 출력 값을 접합하는 단계, 및 접합된 출력 값에 기초하여 심장 신호를 복수의 구간으로 분할하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the step of dividing the heart signal into a plurality of sections includes the second signal splitting model using a global average pooling layer between the output layer and the splicing module of the second signal splitting model. Reducing the dimension of the output value of , combining the output value of the second signal segmentation model of the reduced dimension with the output value of the first signal segmentation model using a splicing module, and based on the spliced output value, the heart Dividing the signal into a plurality of sections may be further included.

본 발명의 또 다른 특징에 따르면, 제1 신호 분할 모델은, 신호 엔벨로프 특징을 입력으로 하여, 제1 신음 (S1) 및 제2 심음 (S2) 을 분할하도록 학습된 모델이고, 제2 신호 분할 모델은, 신호 스칼로그램 특징을 입력으로 하여, 제1 심음 및 제2 심음을 분할하도록 학습된 모델일 수 있다.According to another feature of the present invention, the first signal division model is a model learned to divide the first moan S1 and the second heart sound S2 by taking the signal envelope feature as an input, and the second signal division model may be a model learned to divide the first heart sound and the second heart sound by taking the signal scalogram feature as an input.

본 발명의 또 다른 특징에 따르면, 제1 신호 분할 모델은, 신호 엔벨로프 특징을 입력으로 하여, 제1 심음, 제2 심음, 수축기 (systole) 및 이완기 (Diastole) 를 분할하도록 학습된 모델이고, 제2 신호 분할 모델은, 신호 스칼로그램 특징을 입력으로 하여, 제1 심음, 제2 심음, 수축기 및 이완기를 분할하도록 학습된 모델일 수 있다.According to another feature of the present invention, the first signal division model is a model learned to divide a first heart sound, a second heart sound, a systole, and a diastole by taking a signal envelope feature as an input, and The two-signal splitting model may be a model learned to divide a first heart sound, a second heart sound, a systolic period, and a diastolic period by taking a signal scalogram feature as an input.

본 발명의 또 다른 특징에 따르면, 심장 신호는, 심음도 (Phonocardiogram; PCG) 또는 심전도 (ECG; electrocardiogram 또는 EKG; Elektro kardiogramm)일 수 있다.According to another feature of the present invention, the heart signal may be a phonocardiogram (PCG) or an electrocardiogram (ECG) or an electrocardiogram (EKG).

본 발명의 또 다른 특징에 따르면, 상기 방법은 심장 신호를 복수의 구간으로 분할하는 단계 이후에, 복수의 구간으로 분할된 심장 신호를 기초로 심장 질환 발병 여부를 결정하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the method may further include, after dividing the heart signal into a plurality of sections, determining whether a heart disease occurs based on the heart signal divided into a plurality of sections. .

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 심장 신호 분할용 디바이스가 제공된다. 본 발명의 다른 실시예에 따른 디바이스는, 개체의 심장 신호를 수신하도록 구성된 통신부, 및 통신부와 통신하도록 연결된 프로세서를 포함한다. 이때, 프로세서는, 심장 신호로부터 신호 엔벨로프 (envelope) 특징 및 신호 스칼로그램 (scalogram) 특징을 각각 결정하고, 신호 엔벨로프 특징을 입력으로 하여 신호를 분할하도록 학습된 제1 신호 분할 모델을 이용하여, 신호 엔벨로프 특징을 복수의 구간으로 분할하고, 신호 스칼로그램 특징을 입력으로 하여 신호를 분할하도록 학습된 제2 신호 분할 모델을 이용하여, 신호 스칼로그램 특징을 복수의 구간으로 분할하고, 제1 신호 분할 모델 및 제2 신호 분할 모델 각각에 의해 분할된 복수의 구간에 기초하여, 심장 신호를 복수의 구간으로 분할하도록 구성될 수 있다.In order to solve the above problems, a device for dividing a heart signal according to another embodiment of the present invention is provided. A device according to another embodiment of the present invention includes a communication unit configured to receive a cardiac signal of an object, and a processor connected to communicate with the communication unit. At this time, the processor determines a signal envelope feature and a signal scalogram feature from the cardiac signal, and uses a first signal division model learned to divide the signal using the signal envelope feature as an input, The signal envelope feature is divided into a plurality of sections, and the signal scalogram feature is divided into a plurality of sections using a second signal segmentation model learned to divide the signal using the signal scalogram feature as an input. Based on the plurality of sections divided by each of the signal splitting model and the second signal splitting model, the heart signal may be divided into a plurality of sections.

본 발명의 특징에 따르면, 신호 엔벨로프 특징은, 동형 엔벨로프 (Homomorphic envelope), 힐베르트 엔벨로프 (Hilbert envelope), PSD (power spectral density) 엔벨로프 및 웨이블릿 엔벨로프 (Wavelet envelope) 중 적어도 하나일 수 있다. According to features of the present invention, the signal envelope feature may be at least one of a homomorphic envelope, a Hilbert envelope, a power spectral density (PSD) envelope, and a wavelet envelope.

본 발명의 다른 특징에 따르면, 신호 엔벨로프 특징은, 동형 엔벨로프이고, 프로세서는, 동형 엔벨로프를 획득하도록, 심장 신호에 대하여 동형 필터링 변환 (Homomorphic filtering converts) 을 수행하고, 심장 신호에 대하여 신호 스칼로그램의 특징을 결정하도록 구성될 수 있다.According to another feature of the present invention, the signal envelope feature is a homomorphic envelope, and the processor performs homomorphic filtering converts on the cardiac signal, so as to obtain the homomorphic envelope, and converts the signal scalogram on the cardiac signal. It can be configured to determine the characteristics of.

본 발명의 또 다른 특징에 따르면, 신호 엔벨로프 특징은, 힐베르트 엔벨로프이고, 프로세서는, 힐베르트 엔벨로프를 획득하도록, 심장 신호에 대하여 힐베르트 전환 (Hilbert transform) 을 수행하고, 심장 신호에 대하여 신호 스칼로그램의 특징을 결정하도록 구성될 수 있다.According to another feature of the present invention, the signal envelope feature is a Hilbert envelope, and the processor performs a Hilbert transform on the heart signal, so as to obtain a Hilbert envelope, and a signal scalogram of the heart signal. It can be configured to determine characteristics.

본 발명의 또 다른 특징에 따르면, 신호 엔벨로프 특징은, PSD 엔벨로프이고, 프로세서는, PSD 엔벨로프를 획득하도록, 심장 신호에 대하여 고속 퓨리에 변환 (Fast Fourier Transform, FFT) 을 수행하고, 심장 신호에 대하여 신호 스칼로그램의 특징을 결정하도록 구성될 수 있다.According to another feature of the present invention, the signal envelope feature is a PSD envelope, and the processor performs Fast Fourier Transform (FFT) on the cardiac signal to obtain the PSD envelope, and the signal on the cardiac signal. It can be configured to determine the characteristics of the scalogram.

본 발명의 또 다른 특징에 따르면, 신호 엔벨로프 특징은, 웨이블릿 엔벨로프이고, 프로세서는, 웨이블릿 엔벨로프를 획득하도록, 심장 신호에 대하여 웨이블릿 전환 (Wavelet transform) 을 수행하고, 심장 신호에 대하여 신호 스칼로그램의 특징을 결정하도록 구성될 수 있다.According to another feature of the present invention, the signal envelope feature is a wavelet envelope, and the processor performs a wavelet transform on the cardiac signal to obtain a wavelet envelope, and a signal scalogram on the cardiac signal. It can be configured to determine characteristics.

본 발명의 또 다른 특징에 따르면, 프로세서는, 제1 신호 분할 모델의 출력층 및 제2 신호 분할 모델의 출력층 각각과 연결된 접합 (concatenation) 모듈을 이용하여, 심장 신호를 복수의 구간으로 분할하도록 더 구성될 수 있다.According to another feature of the present invention, the processor is further configured to divide the cardiac signal into a plurality of sections using a concatenation module connected to each of the output layer of the first signal division model and the output layer of the second signal division model. It can be.

본 발명의 또 다른 특징에 따르면, 프로세서는, 제2 신호 분할 모델의 출력층과 접합 모듈 사이의 글로벌 애버리지 풀링 (global average pooling) 층을 이용하여 제2 신호 분할 모델의 출력 값의 차원을 감소시키고, 접합 모듈을 이용하여 감소된 차원의 제2 신호 분할 모델의 출력 값과 제1 신호 분할 모델의 출력 값을 접합하고, 접합된 출력 값에 기초하여 심장 신호를 복수의 구간으로 분할하도록 더 구성될 수 있다.According to another feature of the present invention, the processor reduces the dimensionality of the output value of the second signal splitting model by using a global average pooling layer between the output layer of the second signal splitting model and the splicing module, It may be further configured to combine the output value of the reduced-dimensional second signal segmentation model and the output value of the first signal segmentation model using the splicing module, and divide the heart signal into a plurality of sections based on the spliced output value. there is.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공 방법이 제공된다. 본 발명의 실시예에 따른 정보 제공 방법은, 프로세서에 의해 구현되는 심장 질환에 대한 정보 제공 방법으로서, 개체의 심장 신호를 수신하는 단계, 심장 신호를 입력으로 하여 심장 신호를 복수의 구간으로 분할하도록 학습된 심장 신호 분할 모델을 이용하여, 수신된 심장 신호를 복수의 구간으로 분할하는 단계, 및 분할된 심장 신호를 입력으로 하여 심장 질환 발병 여부를 분류하도록 학습된 질환 분류 모델을 이용하여 개체의 심장 질환 발병 여부를 결정하는 단계를 포함한다. 이때, 질환 분류 모델은, 합성곱 블록층 및 글로벌 애버리지 풀링층을 포함하고, 합성곱 블록층 및 글로벌 애버리지 풀링층이 서로 교번하여 연결된 구조를 갖는다.In order to solve the above problems, a method for providing information on heart disease according to an embodiment of the present invention is provided. An information providing method according to an embodiment of the present invention is a method for providing information on heart disease implemented by a processor, comprising the steps of receiving a heart signal of an individual, dividing the heart signal into a plurality of sections using the heart signal as an input. Dividing the received heart signal into a plurality of sections using the learned heart signal segmentation model, and using the divided heart signal as an input to classify whether or not a heart disease has occurred, using the learned disease classification model to determine the subject's heart It includes determining whether or not a disease has occurred. In this case, the disease classification model includes a convolutional block layer and a global average pooling layer, and has a structure in which the convolutional block layer and the global average pooling layer are alternately connected to each other.

본 발명의 다른 특징에 따르면, 신호 분할 모델은, 심장 신호를 입력으로 하여, 제1 심음, 제2 심음, 수축기 (systole) 및 이완기 (Diastole) 를 분할하도록 학습된 모델일 수 있다.According to another feature of the present invention, the signal division model may be a model learned to divide a first heart sound, a second heart sound, a systole, and a diastole by taking a heart signal as an input.

본 발명의 또 다른 특징에 따르면, 질환 분류 모델은, 합성곱 블록층 또는 글로벌 애버리지 풀링층과 연결된 완전 연결층을 더 포함할 수 있다.According to another feature of the present invention, the disease classification model may further include a fully connected layer connected to a convolutional block layer or a global average pooling layer.

본 발명의 또 다른 특징에 따르면, 신호 분할 모델은, 심장 신호를 입력으로 하여, 제1 심음, 제2 심음, 제3 심음 및 제4 심음 중 적어도 하나를 분할하도록 학습된 모델일 수 있다. 이때, 심장 질환 발병 여부를 결정하는 단계는, 질환 분류 모델을 이용하여 신호 분할 모델에 의한 제3 심음 또는 제4 심음의 검출 여부에 따라 개체의 심장 질환 발병 여부를 결정하는 단계를 더 포함할 수 있다.According to another feature of the present invention, the signal division model may be a model learned to divide at least one of a first heart sound, a second heart sound, a third heart sound, and a fourth heart sound by taking a heart signal as an input. In this case, the step of determining whether the individual has a heart disease may further include determining whether the individual has a heart disease according to whether the third heart sound or the fourth heart sound is detected by the signal division model using the disease classification model. there is.

본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은 신호를 분할하는 단계 이후에, 분할된 심장 신호를 3 주기 단위로 분할하는 단계를 포함한다. 이때, 심장 질환 발병 여부를 결정하는 단계는, 3 주기 단위의 심장 신호를 기초로 질환 분류 모델을 이용하여 개체의 심장 질환 발병 여부를 결정하는 단계를 포함할 수 있다.According to another feature of the present invention, the information providing method includes, after dividing the signal, dividing the divided heart signal into 3 cycles. In this case, determining whether or not a heart disease has occurred may include determining whether or not the subject has a heart disease by using a disease classification model based on a heart signal in units of 3 cycles.

본 발명의 또 다른 특징에 따르면, 상기 정보 제공 방법은 심장 신호를 분할하는 단계 이후에, 분할된 신호를 MFCC (Mel-Frequency Cepstral Coefficient) 에 기초하여 음성학적 특징을 추출하는 단계를 더 포함할 수 있다. 이때, 심장 질환 발병 여부를 결정하는 단계는, 음성학적 특징을 기초로 질환 분류 모델을 이용하여 개체의 심장 질환 발병 여부를 결정하는 단계를 포함할 수 있다. According to another feature of the present invention, the information providing method may further include, after dividing the heart signal, extracting phonetic features from the divided signal based on Mel-Frequency Cepstral Coefficient (MFCC). there is. In this case, determining whether or not a heart disease has occurred may include determining whether or not the individual has a heart disease by using a disease classification model based on phonetic characteristics.

본 발명의 또 다른 특징에 따르면, 심장 신호는, 심음도 (Phonocardiogram; PCG) 또는 심전도 (ECG; electrocardiogram 또는 EKG; Elektro kardiogramm) 일 수 있다.According to another feature of the present invention, the heart signal may be a phonocardiogram (PCG) or an electrocardiogram (ECG) or an electrocardiogram (EKG).

본 발명의 또 다른 특징에 따르면, 신호 분할 모델은, 상기 심장 신호를 입력으로 하여, 제1 파형 (P), 제2 파형 (Q), 제3 파형 (R), 제4 파형 (S), 및 제5 파형 (T)을 분할하도록 학습된 모델일 수 있다.According to another feature of the present invention, the signal division model takes the heart signal as an input and generates a first waveform (P), a second waveform (Q), a third waveform (R), a fourth waveform (S), and a model learned to divide the fifth waveform (T).

본 발명의 또 다른 특징에 따르면, 상기 방법은, 심장 신호를 수신하는 단계 이후에, DWT (Discrete Wavelet Transform), CWT (Continuous Wavelet Transform), FWT (Fast wavelet transform), WPD (Wavelet packet decomposition), SWT (Stationary wavelet transform), FRFT (Fractional Fourier transform), FRWT (Fractional wavelet transform), WPD (Wavelet Packet Decomposition), FFT (fast Fourier transform), DWD (discrete Wigner distribution), 또는 TQWT (tunable Q-factor wavelet transform) 데이터를 생성하도록, 상기 심장 신호에 대한 DWT, CWT, FWT, WPD, SWT, FRFT, FRWT, WPD, FFT, DWD, 또는 TQWT를 수행하는 단계를 더 포함한다. 나아가, 심장 신호를 분할하는 단계는, DWT, CWT, FWT, WPD, SWT, FRFT, FRWT, WPD, FFT, DWD, 또는 TQWT를 입력으로 하여 심장 신호를 분할하도록 학습된 심장 신호 분할 모델을 이용하여, 수신된 심장 신호를 복수의 구간으로 분할하는 단계를 더 포함할 수 있다. 보다 상세하게는, 상기 방법은, 심장 신호를 수신하는 단계 이후에, CWT 데이터를 생성하도록, 상기 심장 신호에 대한 CWT를 수행하는 단계를 더 포함하는 것이 보다 바람직하다. 나아가, 심장 신호를 분할하는 단계는, CWT를 입력으로 하여 심장 신호를 분할하도록 학습된 심장 신호 분할 모델을 이용하여, 수신된 심장 신호를 복수의 구간으로 분할하는 단계를 더 포함하는 것이 보다 바람직하다.According to another feature of the present invention, the method, after receiving the heart signal, discrete wavelet transform (DWT), continuous wavelet transform (CWT), fast wavelet transform (FWT), wavelet packet decomposition (WPD), Stationary wavelet transform (SWT), fractional Fourier transform (FRFT), fractional wavelet transform (FRWT), wavelet packet decomposition (WPD), fast Fourier transform (FFT), discrete Wigner distribution (DWD), or tunable Q-factor wavelet (TQWT) transform) data, and performing DWT, CWT, FWT, WPD, SWT, FRFT, FRWT, WPD, FFT, DWD, or TQWT on the heart signal. Furthermore, the dividing of the cardiac signal may include using a cardiac signal segmentation model trained to divide the cardiac signal by taking DWT, CWT, FWT, WPD, SWT, FRFT, FRWT, WPD, FFT, DWD, or TQWT as an input. , dividing the received heart signal into a plurality of sections. More specifically, the method may further include, after receiving the cardiac signal, performing CWT on the cardiac signal to generate CWT data. Further, the dividing of the heart signal may further include dividing the received heart signal into a plurality of sections using a heart signal division model learned to divide the heart signal by using the CWT as an input. .

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 다른 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스가 제공된다. 상기 정보 제공용 디바이스는, 개체의 심장 신호를 수신하도록 구성된 통신부, 및 통신부와 통신하도록 연결된 프로세서를 포함한다. 이때, 프로세서는, 심장 신호를 입력으로 하여 심장 신호를 복수의 구간으로 분할하도록 학습된 신호 분할 모델을 이용하여, 수신된 심장 신호를 복수의 구간으로 분할하고, 분할된 심장 신호를 입력으로 하여 심장 질환 발병 여부를 분류하도록 학습된 질환 분류 모델을 이용하여 개체의 심장 질환 발병 여부를 결정하도록 구성된다. 이때, 질환 분류 모델은, 합성곱 블록층 및 글로벌 애버리지 풀링층을 포함하고, 합성곱 블록층 및 상기 글로벌 애버리지 풀링층이 서로 교번하여 연결된 구조를 갖는다.In order to solve the above problems, a device for providing information on heart disease according to another embodiment of the present invention is provided. The device for providing information includes a communication unit configured to receive a heart signal of an object, and a processor connected to communicate with the communication unit. At this time, the processor divides the received heart signal into a plurality of sections by using a signal division model learned to divide the heart signal into a plurality of sections by taking the heart signal as an input, and taking the divided heart signal as an input to perform heart It is configured to determine whether or not the individual has a heart disease by using a disease classification model learned to classify whether or not the individual has a heart disease. In this case, the disease classification model includes a convolutional block layer and a global average pooling layer, and has a structure in which the convolutional block layer and the global average pooling layer are alternately connected to each other.

본 발명의 다른 특징에 따르면, 프로세서는, 신호 분할 모델에 의한 제3 심음 또는 제4 심음의 검출 여부에 따라, 질환 분류 모델을 이용하여 개체의 심장 질환 발병 여부를 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor may be further configured to determine whether the subject has a heart disease by using a disease classification model according to whether the third heart sound or the fourth heart sound is detected by the signal division model.

본 발명의 또 다른 특징에 따르면, 프로세서는 분할된 신호를 3 주기 단위로 분할하고, 3 주기 단위의 심장 신호를 기초로, 질환 분류 모델을 이용하여 개체의 심장 질환 발병 여부를 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor is further configured to divide the divided signal into 3 cycle units and determine whether or not the subject has a heart disease based on the heart signal of the 3 cycle units using a disease classification model. can

본 발명의 또 다른 특징에 따르면, 프로세서는, 분할된 심장 신호를 MFCC (Mel-Frequency Cepstral Coefficient) 에 기초하여 음성학적 특징을 추출하고, 음성학적 특징을 기초로, 질환 분류 모델을 이용하여 개체의 심장 질환 발병 여부를 결정하도록 더 구성될 수 있다.According to another feature of the present invention, the processor extracts a phonetic feature based on a Mel-Frequency Cepstral Coefficient (MFCC) from the divided heart signal, and uses a disease classification model based on the phonetic feature to determine the subject's It may be further configured to determine whether a heart disease has occurred.

기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other embodiment specifics are included in the detailed description and drawings.

본 발명은, 신호 엔벨로프 특징 및 신호 스칼로그램 특징을 적용한 정보 제공 시스템을 제공함에 따라, 심장 질환의 신뢰도 높은 진단에 기여할 수 있다.The present invention can contribute to highly reliable diagnosis of heart disease by providing an information providing system to which signal envelope characteristics and signal scalogram characteristics are applied.

이에, 본 발명은, 신뢰도 낮은 정보를 제공하는 종래의 청진음 기반 분석 방법의 한계를 극복할 수 있다.Thus, the present invention can overcome the limitations of the conventional stethoscope sound-based analysis method that provides low reliability information.

특히, 본 발명은 신호 엔벨로프 특징 및 신호 스칼로그램 특징을 입력으로 하여 신호를 각각 분할하도록 학습된 복수의 신호 분할 모델이 적용된 정보 제공 시스템을 제공함으로써, 심장 질환의 발병에 대한 신뢰도 높은 정보를 제공할 수 있다.In particular, the present invention provides an information providing system to which a plurality of signal division models learned to divide signals respectively using signal envelope characteristics and signal scalogram characteristics as inputs are applied, thereby providing highly reliable information on the onset of heart disease can do.

따라서, 의료진은 CT, MRI 등의 추가 진단 절차 없이 심장 질환 의심 개체에 대한 정보를 획득할 수 있어, 심장 질환에 대한 신속한 진단이 가능할 수 있다.Accordingly, the medical staff can obtain information on an object suspected of heart disease without additional diagnostic procedures such as CT and MRI, and thus, rapid diagnosis of heart disease may be possible.

즉, 본 발명은 심장 질환 발병 여부에 대한 정보를 제공함에 따라, 심장 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다. That is, the present invention can contribute to early diagnosis and good treatment prognosis of heart disease by providing information on the onset of heart disease.

본 발명은, 인공지능 네트워크 기반의 심장 질환에 대한 정보를 제공하는 정보 제공 시스템을 제공함에 따라, 심장 질환의 신뢰도 높은 진단에 기여할 수 있다.The present invention can contribute to highly reliable diagnosis of heart disease by providing an information providing system that provides information on heart disease based on an artificial intelligence network.

특히, 본 발명은 심장 신호를 입력으로 하여 신호를 분할하도록 학습된 신호 분할 모델 및 분할된 신호를 입력으로 하여 심장 질환의 발병 여부를 분류하도록 학습된 질환 분류 모델을 적용한 정보 제공 시스템을 제공함으로써, 심장 질환의 발병에 대한 신뢰도 높은 정보를 제공할 수 있다.In particular, the present invention provides an information providing system to which a signal division model learned to divide a signal by taking a heart signal as an input and a disease classification model learned to classify whether or not a heart disease has occurred by taking the divided signal as an input are applied, It can provide reliable information about the onset of heart disease.

즉, 본 발명은 심장 질환 발병 여부에 대한 정보를 제공함에 따라, 심장 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다.That is, the present invention can contribute to early diagnosis and good treatment prognosis of heart disease by providing information on the onset of heart disease.

본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 발명 내에 포함되어 있다.Effects according to the present invention are not limited by the contents exemplified above, and more various effects are included in the present invention.

도 1은 본 발명의 실시예에 따른 신호 엔벨로프 특징 및 신호 스칼로그램 특징을 이용한 심장 신호 분할 시스템을 설명하기 위한 개략도이다.1 is a schematic diagram illustrating a cardiac signal segmentation system using signal envelope characteristics and signal scalogram characteristics according to an embodiment of the present invention.

도 2a는 본 발명의 실시예에 따른 심장 신호 분할용 디바이스를 설명하기 위한 개략도이다.2A is a schematic diagram for explaining a device for heart signal splitting according to an embodiment of the present invention.

도 2b는 본 발명의 실시예에 따른 심장 신호 분할용 디바이스로부터 정보를 제공받는 사용자 디바이스를 설명하기 위한 개략도이다.2B is a schematic diagram illustrating a user device receiving information from a heart signal splitting device according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 심장 신호 분할용 디바이스에서 개체의 신호 엔벨로프 특징 및 신호 스칼로그램 특징에 기반하여 심장 신호 분할 방법을 설명하기 위한 개략적인 순서도이다.FIG. 3 is a schematic flowchart illustrating a method for dividing a heart signal based on a signal envelope characteristic and a signal scalogram characteristic of an object in a device for dividing a heart signal according to an embodiment of the present invention.

도 4a 내지 4c는 본 발명의 실시예에 따른 심장 신호 분할용 디바이스에서 심장 신호를 분할하는 절차를 예시적으로 도시한 것이다. 4A to 4C exemplarily illustrate a procedure for dividing a cardiac signal in a device for dividing a cardiac signal according to an embodiment of the present invention.

도 5는 본 발명의 다양한 실시예에 적용되는 제2 신호 분할 모델의 구조를 예시적으로 도시한 것이다.5 exemplarily illustrates the structure of a second signal splitting model applied to various embodiments of the present invention.

도 6a 내지 6g, 7a 내지 7d는 신호 분할 모델 기반의 본 발명의 실시예에 따른 심장 신호 분할용 디바이스의 평가 결과를 도시한 것이다. 6a to 6g and 7a to 7d illustrate evaluation results of a device for dividing a heart signal according to an embodiment of the present invention based on a signal division model.

도 8은 본 발명의 실시예에 따른 심장 신호를 이용한 심장 질환에 대한 정보 제공 시스템을 설명하기 위한 개략도이다.8 is a schematic diagram illustrating a system for providing information on heart disease using heart signals according to an embodiment of the present invention.

도 9a는 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다.9A is a schematic diagram illustrating a device for providing information on heart disease according to an embodiment of the present invention.

도 9b는 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스로부터 정보를 제공받는 의료진 디바이스를 설명하기 위한 개략도이다.9B is a schematic diagram for explaining a medical device that receives information from a device for providing information about heart disease according to an embodiment of the present invention.

도 10은 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스에서 개체의 심장 신호에 기반하여 심장 질환에 대한 발병 여부를 결정하는 방법을 설명하기 위한 개략적인 순서도이다.10 is a schematic flowchart illustrating a method of determining whether or not a heart disease has occurred based on a heart signal of a subject in a device for providing information on heart disease according to an embodiment of the present invention.

도 11a 및 11b는 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스에서 심장 질환에 대한 발병 여부를 결정하는 절차를 예시적으로 도시한 것이다. 11A and 11B illustratively illustrates a procedure for determining whether a heart disease has occurred in a device for providing information on heart disease according to an embodiment of the present invention.

도 12는 본 발명의 다양한 실시예에 적용되는 신호 분할 모델의 구조를 예시적으로 도시한 것이다.12 exemplarily illustrates the structure of a signal splitting model applied to various embodiments of the present invention.

도 13a 및 13b는 본 발명의 다양한 실시예에 적용되는 질환 분할 모델의 구조를 예시적으로 도시한 것이다.13a and 13b exemplarily illustrate the structure of a disease segmentation model applied to various embodiments of the present invention.

도 14는 신호 분할 모델 기반의 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스의 평가 결과를 도시한 것이다.14 illustrates an evaluation result of a device for providing information on heart disease according to an embodiment of the present invention based on a signal division model.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용될 수 있다.Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below and will be implemented in various forms different from each other, only these embodiments make the disclosure of the present invention complete, and common knowledge in the art to which the present invention pertains. It is provided to completely inform the person who has the scope of the invention, and the present invention is only defined by the scope of the claims. In connection with the description of the drawings, like reference numerals may be used for like elements.

본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "has," "may have," "includes," or "may include" indicate the existence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.

본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는(3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together. . For example, “A or B,” “at least one of A and B,” or “at least one of A or B” (1) includes at least one A, (2) includes at least one B, Or (3) may refer to all cases including at least one A and at least one B.

본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.Expressions such as “first,” “second,” “first,” or “second,” used in this document may modify various elements, regardless of order and/or importance, and refer to one element as It is used only to distinguish it from other components and does not limit the corresponding components. For example, a first user device and a second user device may represent different user devices regardless of order or importance. For example, without departing from the scope of rights described in this document, a first element may be named a second element, and similarly, the second element may also be renamed to the first element.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.A component (e.g., a first component) is "(operatively or communicatively) coupled with/to" another component (e.g., a second component); When referred to as "connected to", it should be understood that the certain component may be directly connected to the other component or connected through another component (eg, a third component). On the other hand, when an element (eg, a first element) is referred to as being “directly connected” or “directly connected” to another element (eg, a second element), the element and the above It may be understood that other components (eg, a third component) do not exist between the other components.

본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~ 를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된)프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.As used in this document, the expression "configured to" means "suitable for," "having the capacity to," depending on the circumstances. ," "designed to," "adapted to," "made to," or "capable of." The term "configured (or set) to" may not necessarily mean only "specifically designed to" hardware. Instead, in some contexts, the phrase "device configured to" may mean that the device is "capable of" in conjunction with other devices or components. For example, the phrase "a processor configured (or configured) to perform A, B, and C" may include a dedicated processor (e.g., embedded processor) to perform those operations, or by executing one or more software programs stored in a memory device. , may mean a general-purpose processor (eg, CPU or application processor) capable of performing corresponding operations.

본 문서에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시 예들을 배제하도록 해석될 수 없다.Terms used in this document are only used to describe a specific embodiment, and may not be intended to limit the scope of other embodiments. Singular expressions may include plural expressions unless the context clearly dictates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as commonly understood by a person of ordinary skill in the art described in this document. Among the terms used in this document, terms defined in a general dictionary may be interpreted as having the same or similar meaning as the meaning in the context of the related art, and unless explicitly defined in this document, an ideal or excessively formal meaning. not be interpreted as In some cases, even terms defined in this document cannot be interpreted to exclude the embodiments of this document.

본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.Each feature of the various embodiments of the present invention can be partially or entirely combined or combined with each other, and as those skilled in the art can fully understand, various interlocking and driving operations are possible, and each embodiment can be implemented independently of each other. It may be possible to implement together in an association relationship.

본 명세서의 해석의 명확함을 위해, 이하에서는 본 명세서에서 사용되는 용어들을 정의하기로 한다.For clarity of interpretation of this specification, terms used in this specification will be defined below.

본 명세서에서 사용되는 용어, "심장 신호"는 심음도 (Phonocardiogram; PCG) 또는 심전도 (ECG; electrocardiogram 또는 EKG; Elektro kardiogramm) 신호를 의미할 수 있다.As used herein, the term "heart signal" may mean a phonocardiogram (PCG) or electrocardiogram (ECG; electrocardiogram or EKG; Electrocardiogramm) signal.

본 발명의 특징에 따르면, 심장 신호는 심음도일 수 있으나, 이에 제한되는 것은 아니다.According to a feature of the present invention, the heart signal may be a cardiogram, but is not limited thereto.

본 발명의 일 실시예에 따르면, 심장 신호는 심장 주기 동안의 심음에 대한 신호를 의미할 수 있다. 이때, 심장 신호는 제1 심음 (S1), 제2 심음 (S2), 수축기 (systole) 및 이완기 (Diastole) 의 "복수의 구간"을 포함할 수 있다.According to an embodiment of the present invention, the heart signal may refer to a heart sound signal during a cardiac cycle. In this case, the heart signal may include “plural sections” of the first heart sound S1, the second heart sound S2, systole, and diastole.

그러나, 이에 제한되는 것은 아니며 심장 신호는, 심장 질환이 있는 개체인 경우 제3 심음 (S3) 및 제4 심음 (S4) 을 포함할 수 있다. However, it is not limited thereto, and the heart signal may include a third heart sound (S3) and a fourth heart sound (S4) in the case of an individual with a heart disease.

보다 구체적으로, "제1 심음"은 심실 수축 초기에 이첨판과 삼첨판의 폐쇄 시 혈액이 판막벽에 부딪치는 소리로서, 길고 둔한 저음일 수 있다.More specifically, the "first heart sound" is the sound of blood hitting the valve wall when the bicuspid and tricuspid valves close at the beginning of ventricular contraction, and may be a long, dull, low sound.

"제2 심음"은 심실확장 직후에 대동맥판과 폐동맥판이 닫힘으로써 일어나는 진동음으로서 짧은 고음일 수 있다. The "second heart sound" is a vibration sound caused by the closure of the aortic and pulmonary valves immediately after ventricular dilatation, and may be a short high-pitched sound.

"제3 심음"은 제2 심음 후 0.12초 내지 0.16초 사이의 심장 확장기 초에 일어나는 심실의 충만음일 수 있다. 이는 방실 판막이 열려 심방으로부터 들어온 혈액이 심실을 통과한 직후에 발생되는 아주 약하고 짧은 음으로 청진 상으로도 구별될 수 있으며 심장 질환의 첫 징후일 수 있다. 특히, 제3 심음은 갑상선 기능항진증, 빈혈로 좌심실의 박동량이 많을 경우, 대동맥 폐쇄 부전증, 승모판이나 삼첨판의 역류, 심장중격 결손증, 폐성심등 심장의 순환부담이 클 때는 검출될 수 있다.The “third heart sound” may be a ventricular filling sound occurring at the beginning of diastole between 0.12 and 0.16 seconds after the second heart sound. This is a very weak and short sound generated immediately after the atrioventricular valve opens and blood from the atrium passes through the ventricle. It can be distinguished even on auscultation and can be the first sign of heart disease. In particular, the third heart sound can be detected when the circulatory load of the heart is high, such as hyperthyroidism, anemia, aortic insufficiency, mitral or tricuspid valve regurgitation, septal defect, cor pulsating heart, etc.

"제4 심음"은 정상 심장인 사람에게는 일반적으로 들을 수 없으며 선천성 심장 질환자에서 청취되는 심음일 수 있다. 더욱이, 제4 심음은 대동맥 협착증, 허혈성 심질환, 동성 부정맥, 심부전증 등에서 들을 수 있기 때문에 임상적으로 중요할 수 있다. The “fourth heart sound” may be a heart sound that is generally inaudible to people with normal hearts and can be heard by patients with congenital heart disease. Moreover, the fourth heart sound can be clinically important because it can be heard in aortic stenosis, ischemic heart disease, sinus arrhythmias, heart failure, and the like.

이에 제한되는 것은 아니며, 심장 신호는 심전도이고, 제1 파형 (P), 제2 파형 (Q), 제3 파형 (R), 제4 파형 (S), 및 제5 파형 (T) 의 복수의 구간을 포함할 수도 있다. It is not limited thereto, and the heart signal is an electrocardiogram, and a plurality of the first waveform (P), the second waveform (Q), the third waveform (R), the fourth waveform (S), and the fifth waveform (T). It can also contain intervals.

본 명세서에서 사용되는 용어, "신호 엔벨로프 특징"은 심장 신호에 변환을 적용하여 추출 가능한 특징으로, 동형 엔벨로프 (Homomorphic envelope), 힐베르트 엔벨로프 (Hilbert envelope), PSD (power spectral density) 엔벨로프 및 웨이블릿 엔벨로프 (Wavelet envelope) 가 있을 수 있다.As used herein, the term "signal envelope feature" is a feature that can be extracted by applying a transformation to a heart signal, and includes a homomorphic envelope, a Hilbert envelope, a power spectral density (PSD) envelope, and a wavelet envelope ( There may be a wavelet envelope).

본 명세서에서 사용되는 용어, "신호 스칼로그램 특징"은 심장 신호에 대한 시간-주파수 정보를 포함하는 특징을 의미할 수 있다. As used herein, the term “signal scalogram feature” may refer to a feature including time-frequency information of a cardiac signal.

바람직하게, 신호 스칼로그램 특징은, CWT (Continuous Wavelet Transform) 된 특징일 수 있다.Preferably, the signal scalogram feature may be a Continuous Wavelet Transform (CWT) feature.

보다 바람직하게 신호 스칼로그램 특징은 2D 스칼로그램, 보다 더 바람직하게 2D CWT 데이터일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 신호 스칼로그램 특징은, 2D 스칼로그램을 1차원의 신호로 나타내는 1D CWT 데이터일 수 있다.More preferably, the signal scalogram feature may be a 2D scalogram, more preferably 2D CWT data, but is not limited thereto. For example, the signal scalogram feature may be 1D CWT data representing a 2D scalogram as a 1-dimensional signal.

본 명세서에서 사용되는 용어, "제1 신호 분할 모델"은 신호 엔벨로프 특징을 입력으로 하여, 제1 심음 또는 제2 심음, 나아가 이완기 및 수축기를 분할하도록 학습된 모델일 수 있다.As used herein, the term “first signal division model” may be a model learned to divide a first heart sound or a second heart sound, and further diastole and systole, by taking a signal envelope feature as an input.

즉, 제1 신호 분할 모델은, 1차원의 신호 엔벨로프에 대하여 제1 심음 구간 및 제2 심음 구간, 나아가 이완기 구간 및 수축기 구간을 분할하도록 학습된 모델일 수 있다. That is, the first signal division model may be a model learned to divide the first heart sound section and the second heart sound section, and furthermore, the diastolic section and the systolic section, with respect to the one-dimensional signal envelope.

나아가 제1 신호 분할 모델은 신호 엔벨로프 특징을 입력으로 하여, 심장 질환과 연관도가 높은 제3 심음 및 제4 심음을 분할하도록 더욱 학습될 수 있다. Furthermore, the first signal division model may be further trained to divide a third heart sound and a fourth heart sound highly correlated with a heart disease by taking the signal envelope feature as an input.

그러나, 이에 제한되는 것은 아니며 1 신호 분할 모델은 신호 엔벨로프 특징을 입력으로 하여, 제1 파형 (P), 제2 파형 (Q), 제3 파형 (R), 제4 파형 (S), 및 제5 파형 (T) 의 복수의 구간을 분할하도록 학습될 수도 있다.However, it is not limited thereto, and the 1-signal division model takes signal envelope characteristics as inputs, and generates a first waveform (P), a second waveform (Q), a third waveform (R), a fourth waveform (S), and a second waveform (S). 5 It may be learned to divide a plurality of sections of the waveform (T).

이때, 제1 신호 분할 모델은 1D-CNN을 기반으로 하는 분할 모델일 수도 있다. 예를 들어, 본 발명의 신호 분할 모델은, 1D-U-net, SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), 또는 SSD (Single Shot Detector) 등의 다양한 인공 지능 네트워크 기반의 모델일 수 있다. In this case, the first signal splitting model may be a splitting model based on 1D-CNN. For example, the signal division model of the present invention includes 1D-U-net, SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) and ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN ( Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), or SSD (Single Shot Detector).

본 명세서에서 사용되는 용어, "제1 신호 분할 모델"은 신호 엔벨로프 특징을 입력으로 하여, 제1 심음 또는 제2 심음, 나아가 이완기 및 수축기 와 같은 복수의 구간을 분할하도록 학습된 모델일 수 있다.As used herein, the term “first signal division model” may be a model learned to divide a plurality of sections, such as a first heart sound or a second heart sound, diastole, and systole, by taking a signal envelope feature as an input.

그러나, 이에 제한되는 것은 아니며 제1 신호 분할 모델은 신호 엔벨로프 특징을 입력으로 하여, 제1 파형 (P), 제2 파형 (Q), 제3 파형 (R), 제4 파형 (S), 및 제5 파형 (T) 의 복수의 구간을 분할하도록 학습될 수도 있다.However, it is not limited thereto, and the first signal division model takes the signal envelope characteristics as an input and generates a first waveform (P), a second waveform (Q), a third waveform (R), a fourth waveform (S), and It may be learned to divide a plurality of sections of the fifth waveform (T).

이때, 제1 신호 분할 모델은 1D-CNN을 기반으로 하는 분할 모델일 수 있다. 예를 들어, 본 발명의 신호 분할 모델은 1D U-net일 수 있으나, 이에 제한되는 것은 아니며 SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), 또는 SSD (Single Shot Detector) 등의 다양한 인공 신경망 네트워크 기반의 모델일 수 있다. In this case, the first signal splitting model may be a splitting model based on 1D-CNN. For example, the signal division model of the present invention may be 1D U-net, but is not limited thereto, and SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) and ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), or Single Shot Detector (SSD).

본 명세서에서 사용되는 용어, "제2 신호 분할 모델"은 신호 스칼로그램 특징을 입력으로 하여, 제1 심음 또는 제2 심음, 나아가 이완기 및 수축기와 같은 복수의 구간을 분할하도록 학습된 모델일 수 있다.As used herein, the term "second signal division model" may be a model learned to divide a plurality of sections such as a first heart sound or a second heart sound, and further diastole and systole, by taking signal scalogram features as inputs. there is.

이때, 제2 신호 분할 모델은, 2차원의 신호 스칼로그램에 대하여 제1 심음 구간 및 제2 심음 구간, 나아가 이완기 구간 및 수축기 구간을 분할하도록 학습된 모델일 수 있다. In this case, the second signal division model may be a model learned to divide the first heart sound section and the second heart sound section, furthermore, the diastolic section and the systolic section with respect to the two-dimensional signal scalogram.

나아가 제2 신호 분할 모델은 신호 스칼로그램 특징을 입력으로 하여, 심장 질환과 연관도가 높은 제3 심음 및 제4 심음을 분할하도록 더욱 학습될 수 있다. Furthermore, the second signal division model may be further trained to divide the third heart sound and the fourth heart sound that are highly related to heart disease by taking the signal scalogram feature as an input.

그러나, 이에 제한되는 것은 아니며 제2 신호 분할 모델은 신호 스칼로그램 특징을 입력으로 하여, 제1 파형 (P), 제2 파형 (Q), 제3 파형 (R), 제4 파형 (S), 및 제5 파형 (T) 의 복수의 구간을 분할하도록 학습될 수도 있다.However, it is not limited thereto, and the second signal division model takes the signal scalogram characteristics as an input, and the first waveform (P), the second waveform (Q), the third waveform (R), and the fourth waveform (S) , and may be learned to divide a plurality of sections of the fifth waveform (T).

이때, 제2 신호 분할 모델은 2D-CNN을 기반으로 하는 분할 모델일 수 있다. 예를 들어, 본 발명의 신호 분할 모델은 2D U-net일 수 있으나, 이에 제한되는 것은 아니며 SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), 또는 SSD (Single Shot Detector) 등의 다양한 인공 신경망 네트워크 기반의 모델일 수 있다. In this case, the second signal splitting model may be a splitting model based on 2D-CNN. For example, the signal splitting model of the present invention may be a 2D U-net, but is not limited thereto, and is not limited thereto, such as SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) and ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network). Neural Network), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), Deep Belief Network (DBN), or Single Shot Detector (SSD).

본 명세서에서 사용되는 용어, "심장 질환 (cardiopathy)"은, 심장의 이상 (disorder) 에 따라 나타나는 모든 임상적 증상을 아우를 수 있다. 예를 들어, 심장 질환은 심장 중격결손, 승모판막 협착증, 승모판막 폐쇄 부전증, 동맥관 개존증, 대동맥 협착증, 허혈성 심질환, 부정맥, 심부전증, 대동맥 판막 폐쇄 부전증, 선천성 심질환, 심실 비대, 관상동맥질환, 심방세동, 심실세동, 심근경색, 심근허혈, 고칼륨혈증, 저칼륨혈증, 디기탈리스 독성 증상, 베타차단제 독성 증상, 칼슘통로차단제 부작용, 저산소증, 칼슘 침착에 의한 대동맥판막협착, 울혈성 심부전, 우측 관상동맥폐색으로 인한 방실결절성 허혈, 볼프 파킨슨화이트 증후군(Wolff-Parkinson-White syndrome, WPW 증후군), Adams-Stokes 증후군, 우흉심 중 적어도 하나일 수 있다.As used herein, the term "cardiopathy" may encompass all clinical symptoms caused by cardiac disorders. For example, heart disease includes cardiac septal defect, mitral stenosis, mitral regurgitation, patent ductus arteriosus, aortic stenosis, ischemic heart disease, arrhythmia, heart failure, aortic regurgitation, congenital heart disease, ventricular hypertrophy, coronary artery disease, and atrial fibrillation. , ventricular fibrillation, myocardial infarction, myocardial ischemia, hyperkalemia, hypokalemia, digitalis toxicity symptoms, beta-blocker toxicity symptoms, calcium channel blocker side effects, hypoxia, aortic valve stenosis due to calcium deposition, congestive heart failure, right coronary artery occlusion It may be at least one of atrioventricular node ischemia, Wolff-Parkinson-White syndrome (WPW syndrome), Adams-Stokes syndrome, and right chest heart.

그러나, 이에 제한되는 것은 아니며 심장 질환은, 심장 신호 측정에 의해 진단 가능한 모든 심혈관계 질환을 포함할 수 있다.However, it is not limited thereto, and heart disease may include all cardiovascular diseases that can be diagnosed by measuring a heart signal.

본 명세서에서 사용되는 용어, "심장 신호"는 심음도 (Phonocardiogram; PCG) 또는 심전도 (ECG; electrocardiogram 또는 EKG; Elektro kardiogramm)를 의미할 수 있다.As used herein, the term "heart signal" may mean a phonocardiogram (PCG) or an electrocardiogram (ECG; electrocardiogram or EKG; Elektro kardiogramm).

본 발명의 일 실시예에 따르면, 심장 신호는 신호 엔벨로프 (envelope) 를 포함할 수도 있다.According to one embodiment of the present invention, a cardiac signal may include a signal envelope.

본 명세서에서 사용되는 용어, "신호 분할 모델"은 심장 신호를 입력으로 하여, 제1 심음 또는 제2 심음을 분할하도록 학습된 모델일 수 있다.As used herein, the term “signal division model” may be a model learned to divide a first heart sound or a second heart sound by taking a heart signal as an input.

즉, 신호 분할 모델은, 심장 신호 내에서 제1 심음 구간 및 제2 심음 구간을 분할하도록 학습된 모델일 수 있다. That is, the signal division model may be a model learned to divide the first heart sound section and the second heart sound section within the heart signal.

그러나, 이에 제한되는 것은 아니며 신호 분할 모델은, 심장 신호 및/또는 심장 신호 (신호 엔벨로프) 를 입력으로 하여, 제1 심음 및 제2 심음 사이의 수축기와 및 이완기의 복수의 구간을 분할하도록 더욱 학습될 수 있다.However, the signal division model is not limited thereto, and further learns to divide a plurality of sections of systole and diastole between the first heart sound and the second heart sound by taking the heart signal and/or the heart signal (signal envelope) as an input. It can be.

나아가 신호 분할 모델은 심장 신호를 입력으로 하여, 심장 질환과 연관도가 높은 제3 심음 및 제4 심음을 분할하도록 더욱 학습될 수 있다. Furthermore, the signal division model may be further trained to divide a third heart sound and a fourth heart sound highly correlated with a heart disease by taking a heart signal as an input.

본 발명의 다른 특징에 따르면, 신호 분할 모델은 심전도의 심장 신호에 대하여 제1 파형 (P), 제2 파형 (Q), 제3 파형 (R), 제4 파형 (S), 및 제5 파형 (T) 의 복수의 구간을 분할하도록 학습된 모델일 수도 있다. According to another feature of the present invention, the signal division model is a first waveform (P), a second waveform (Q), a third waveform (R), a fourth waveform (S), and a fifth waveform with respect to the heart signal of the electrocardiogram. It may be a model learned to divide a plurality of sections of (T).

이때, 신호 분할 모델은 U-net을 기반으로 하는 분할 모델일 수도 있다. 그러나 이에 제한되는 것은 아니다. 예를 들어, 본 발명의 신호 분할 모델은, SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) 및 ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), 또는 SSD (Single Shot Detector) 등의 다양한 인공 지능 네트워크 기반의 모델일 수 있다. In this case, the signal splitting model may be a splitting model based on U-net. However, it is not limited thereto. For example, the signal division model of the present invention is SegNet, VGG-16, DCNN (Deep Convolutional Neural Network) and ResNet, DNN (Deep Neural Network), CNN (Convolutional Neural Network), RNN (Recurrent Neural Network), RBM It can be a model based on various artificial intelligence networks such as (Restricted Boltzmann Machine), DBN (Deep Belief Network), or SSD (Single Shot Detector).

본 명세서에서 사용되는 용어, "질환 분류 모델"은 분할된 신호 (예를 들어, 제1 심음, 제2 심음) 에 기초하여, 심장 질환의 발병 여부를 분류하도록 학습된 모델일 수 있다. As used herein, the term “disease classification model” may be a model learned to classify whether or not a heart disease has occurred based on divided signals (eg, first heart sound and second heart sound).

여기서, "질환 분류"는 "질환 발병 여부의 판별"로 해석될 수 있다.Here, "disease classification" may be interpreted as "determination of disease onset".

예를 들어 질환 분류 모델은, 입력 데이터를 정상, 또는 심장 중격결손, 승모판막 협착증, 승모판막 폐쇄 부전증, 동맥관 개존증, 대동맥 협착증, 허혈성 심질환, 부정맥, 심부전증, 대동맥 판막 폐쇄 부전증, 선천성 심질환, 심실 비대, 관상동맥질환, 심방세동, 심실세동, 심근경색, 심근허혈, 고칼륨혈증, 저칼륨혈증, 디기탈리스 독성 증상, 베타차단제 독성 증상, 칼슘통로차단제 부작용, 저산소증, 칼슘 침착에 의한 대동맥판막협착, 울혈성 심부전, 우측 관상동맥폐색으로 인한 방실결절성 허혈, 볼프 파킨슨화이트 증후군(Wolff-Parkinson-White syndrome, WPW 증후군), Adams-Stokes 증후군, 우흉심 중 적어도 하나의 심장 질환의 여부를 결정할 수 있다. For example, a disease classification model can classify input data as normal or septal defect, mitral stenosis, mitral regurgitation, patent ductus arteriosus, aortic stenosis, ischemic heart disease, arrhythmias, heart failure, aortic valve regurgitation, congenital heart disease, and ventricular hypertrophy. , coronary artery disease, atrial fibrillation, ventricular fibrillation, myocardial infarction, myocardial ischemia, hyperkalemia, hypokalemia, digitalis toxicity symptoms, beta-blocker toxicity symptoms, calcium channel blocker side effects, hypoxia, aortic valve stenosis due to calcium deposition, congestive Heart failure, atrioventricular node ischemia due to right coronary artery occlusion, Wolff-Parkinson-White syndrome (WPW syndrome), Adams-Stokes syndrome, and right chest heart disease can be determined.

이때, 질환 분류 모델은 합성곱 블록층, 글로벌 애버리지 풀링층 및 완전 연결층으로 이루어진 복수의 층으로 구성될 수 있다.In this case, the disease classification model may be composed of a plurality of layers including a convolutional block layer, a global average pooling layer, and a fully connected layer.

보다 구체적으로, 질환 분류 모델은, 합성 블록층 및 글로벌 애버리지 풀링층으로 이루어진 복수의 특징 추출층을 포함하고, 심장 질환의 발병 여부 (즉, 심장 질환 또는 정상, 또는 0 또는 1) 의 2 클래스의 출력을 위한 완전 연결층으로 구성될 수 있다. More specifically, the disease classification model includes a plurality of feature extraction layers composed of a synthetic block layer and a global average pooling layer, and determines whether or not a heart disease occurs (ie, heart disease or normal, or 0 or 1) of two classes. It can be composed of a fully connected layer for output.

이때, 합성 블록층 및 글로벌 애버리지 풀링층은 서로 교번하여 복수로 존재할 수 있다.In this case, the synthesis block layer and the global average pooling layer may alternately exist in plurality.

특히 글로벌 애버리지 풀링층이 합성 블록층 사이사이에 존재할 수 있어, 입력 데이터 (예를 들어, 분할된 심장 신호) 의 전체 크기에 대하여 평균을 구하는 것이 아니라 실제 유효 길이에 맞는 연산이 수행될 수 있다. In particular, since a global average pooling layer may be present between the synthesized block layers, an operation suitable for an actual effective length may be performed instead of averaging the entire size of input data (eg, divided heart signals).

즉, 질환 분류 모델은, 길이 적응형 네트워크 구조를 가질 수 있어, 이의 성능이 그렇지 않은 모델보다 우수할 수 있다. That is, the disease classification model may have a length-adaptive network structure, so its performance may be superior to other models.

한편, 완전 연결층은 합성 블록층 또는 글로벌 애버리지 풀링층 마지막 층과 연결될 수 있다. 그러나, 질환 분류 모델의 구조는 이에 제한되는 것이 아니며 개체의 심장 질환의 중증도를 출력하거나, 질환 발병 확률 등을 출력하도록 구성될 수도 있다.Meanwhile, the fully connected layer may be connected to the last layer of the synthesis block layer or the global average pooling layer. However, the structure of the disease classification model is not limited thereto and may be configured to output the severity of the subject's heart disease or the disease onset probability.

본 발명의 특징에 따르면 질환 분류 모델은, 3 주기 단위의 신호 (예를 들어, 3According to the features of the present invention, the disease classification model is a signal of 3 cycle units (eg, 3

번의 S1 및 S2 주기) 을 기초로 개체의 심장 질환 발병 여부를 분류하도록 학습된 모델일 수 있다. It may be a model learned to classify whether an individual has a heart disease based on S1 and S2 cycles).

본 발명의 특징에 따르면 질환 분류 모델은, 분할된 신호의 MFCC (Mel-Frequency Cepstral Coefficient) 에 기초하여 결정된 음성학적 특징을 입력으로 하여 심장 질환 발병 여부를 분류하도록 학습된 모델일 수 있다.According to a feature of the present invention, the disease classification model may be a model learned to classify whether a heart disease occurs or not by using phonetic characteristics determined based on MFCC (Mel-Frequency Cepstral Coefficient) of divided signals as an input.

한편 질환 분류 모델은, CNN 네트워크 기반의 모델일 수 있다. 그러나 이에 제한되는 것은 아니며, 질환 분류 모델은 SVM (support vector machine), 의사 결정 트리 (Decision Tree), 랜덤 포래스트 (Random Forest), AdaBoost (Adaptive Boosting), PLR (Penalized Logistic Regression) 와 같은 다양한 학습 알고리즘에 기초할 수 있다.Meanwhile, the disease classification model may be a CNN network-based model. However, it is not limited thereto, and disease classification models include various learning methods such as support vector machine (SVM), decision tree, random forest, adaptive boosting (AdaBoost), and penalized logistic regression (PLR). It can be based on an algorithm.

이하에서는, 도 1, 도 2a 내지 2b를 참조하여, 본 발명의 다양한 실시예에 따른 심장 신호 분할용 디바이스를 상세히 설명한다.Hereinafter, a device for dividing a cardiac signal according to various embodiments of the present invention will be described in detail with reference to FIGS. 1 and 2A to 2B.

먼저, 도 1을 참조하면, 정보 제공 시스템 (1000) 은, 사용자의 심장 신호, 특히 신호 엔벨로프 특징 및 신호 스칼로그램 특징을 기초로 심장 질환과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 심장 신호 분할 시스템 (1000) 은, 신호 엔벨로프 특징 및 신호 스칼로그램 특징에 기초하여, 신호를 분할하도록 구성된 심장 신호 분할용 디바이스 (100), 사용자 디바이스 (200) 및 사용자의 심장 신호를 측정하도록 구성된 심장 신호 측정용 디바이스 (400) 로 구성될 수 있다. First, referring to FIG. 1 , an information providing system 1000 may be a system configured to provide heart disease-related information based on a user's cardiac signal, in particular, a signal envelope characteristic and a signal scalogram characteristic. At this time, the heart signal splitting system 1000 measures the cardiac signal splitting device 100, the user device 200, and the user configured to split the signal based on the signal envelope characteristics and the signal scalogram characteristics. It can be configured as a device 400 for measuring a heart signal configured to.

먼저, 심장 신호 분할용 디바이스 (100) 는 심장 신호 측정용 디바이스 (400) 로부터 제공된 사용자의 심장 신호를 신호 엔벨로프 특징 및 신호 스칼로그램 특징으로 변환하고, 이를 기초로 심장 신호를 분할하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. First, the heart signal dividing device 100 converts the user's heart signal provided from the heart signal measuring device 400 into a signal envelope feature and a signal scalogram feature, and performs various operations to divide the heart signal based on the converted heart signal. It may include a general-purpose computer, laptop, and/or data server that performs

사용자 디바이스 (200) 는 심장 신호 분할과 연관된 정보가 저장된 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다. The user device 200 may be a device for accessing a web server providing a web page in which information related to cardiac signal segmentation is stored or a mobile web server providing a mobile web site. Not limited.

심장 신호 측정용 디바이스 (400) 는, 심장 신호 분할용 디바이스 (100) 와 통신하는 통신 모듈이 구비된 전자 청진기일 수 있으나, 이에 제한되는 것은 아니다. The device 400 for measuring a heart signal may be an electronic stethoscope equipped with a communication module communicating with the device 100 for dividing a heart signal, but is not limited thereto.

보다 구체적으로, 심장 신호 분할용 디바이스 (100) 는 심장 신호 측정용 디바이스 (400) 로부터 심장 신호를 수신하고, 수신된 심장 신호를 신호 엔벨로프 특징 및 신호 스칼로그램 특징으로 전환한 후 신호를 복수의 구간으로 분할하도록 구성될 수 있다.More specifically, the device for dividing a heart signal 100 receives a heart signal from the device for measuring a heart signal 400, converts the received heart signal into a signal envelope feature and a signal scalogram feature, and then converts the signal into a plurality of It can be configured to divide into sections.

심장 신호 분할용 디바이스 (100) 는 분할된 신호를 사용자 디바이스 (200) 로 제공할 수 있다. The device 100 for cardiac signal splitting can provide the split signal to the user device 200 .

이와 같이 심장 신호 분할용 디바이스 (100) 로부터 제공되는 데이터는 사용자 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.Data provided from the device 100 for heart signal splitting in this way may be provided as a web page through a web browser installed in the user device 200, or may be provided in the form of an application or program. In various embodiments, this data may be provided in a form incorporated into the platform in a client-server environment.

다음으로, 사용자 디바이스 (200) 는 신호 분할 결과 제공을 요청하고 분석 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.Next, the user device 200 is an electronic device that requests the provision of a signal division result and provides a user interface for displaying analysis result data, and includes at least one of a smartphone, a tablet PC (Personal Computer), a laptop computer, and/or a PC. may contain one.

사용자 디바이스 (200) 는 심장 신호 분할용 디바이스 (100) 로부터 신호 분할 결과를 수신할 수 있다. 이때, 수신된 결과는 사용자 디바이스 (200) 의 표시부를 통해 표시될 수 있다. 여기서, 신호 분할 결과는, 제1 심음, 제2 심음, 제3 심음 및 제4 심음, 나아가 이완기 또는 수축기일 수 있고, 예측 값 (예를 들어, 분할 확률) 등을 포함할 수 있다. 그러나, 이에 제한되는 것은 아니며, 신호 분할 결과는, 제1 파형 (P), 제2 파형 (Q), 제3 파형 (R), 제4 파형 (S), 및 제5 파형 (T) 을 포함할 수 있다. The user device 200 can receive a signal split result from the device 100 for splitting a cardiac signal. At this time, the received result may be displayed through the display unit of the user device 200 . Here, the result of the signal division may be the first heart sound, the second heart sound, the third heart sound, and the fourth heart sound, and further diastole or systole, and may include a predicted value (eg, a split probability), and the like. However, it is not limited thereto, and the signal division result includes a first waveform (P), a second waveform (Q), a third waveform (R), a fourth waveform (S), and a fifth waveform (T). can do.

다음으로, 도 2a를 참조하여, 본 발명의 심장 신호 분할용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다. Next, with reference to FIG. 2A, components of the device 100 for heart signal division according to the present invention will be described in detail.

도 2a는 본 발명의 일 실시예에 따른 심장 신호 분할용 디바이스를 설명하기 위한 개략도이다. 2A is a schematic diagram illustrating a device for splitting cardiac signals according to an embodiment of the present invention.

도 2a를 참조하면, 심장 신호 분할용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다. Referring to FIG. 2A , a device 100 for splitting cardiac signals includes a storage unit 110 , a communication unit 120 and a processor 130 .

먼저, 저장부 (110) 는 신호 분할 결과를 제공을 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.First, the storage unit 110 may store various data for providing signal division results. In various embodiments, the storage unit 110 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory , a magnetic disk, and an optical disk may include at least one type of storage medium.

통신부 (120) 는 심장 신호 분할용 디바이스 (100) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 사용자 디바이스 (200) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 심장 신호 측정용 디바이스 (400) 로부터 개체의 심장 신호를 수신하고 사용자 디바이스 (200) 로 분할 결과를 전달할 수 있다. The communication unit 120 connects the heart signal splitting device 100 to enable communication with an external device. The communication unit 120 is connected to the user device 200 using wired/wireless communication to transmit/receive various data. In detail, the communication unit 120 may receive a heart signal of an object from the heart signal measurement device 400 and transmit a division result to the user device 200 .

프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 신호 엔벨로프 특징 및 신호 스칼로그램 특징을 분석하기 위한 다양한 명령들을 수행할 수 있다. The processor 130 is operatively connected to the storage unit 110 and the communication unit 120, and can execute various instructions for analyzing signal envelope characteristics and signal scalogram characteristics for an entity.

구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 심장 신호 측정용 디바이스 (400) 로부터 개체의 심장 신호를 수신하고, 수신된 심장 신호를 기반하여 신호 엔벨로프 특징 및 신호 스칼로그램 특징을 결정하고, 신호를 분할할 수 있다. Specifically, the processor 130 receives a cardiac signal of an individual from the device 400 for measuring cardiac signals through the communication unit 120, determines a signal envelope characteristic and a signal scalogram characteristic based on the received cardiac signal, , the signal can be divided.

더욱이, 프로세서 (130) 는 신호 엔벨로프 특징 및 신호 스칼로그램 특징에 기초하여 신호를 각각 분할하도록 구성된 복수의 신호 분할 모델에 기초할 수 있다. Furthermore, processor 130 can base a plurality of signal partitioning models configured to each partition a signal based on signal envelope characteristics and signal scalogram characteristics.

이와 같이 본 발명은 심장 신호를 분할하고, 임상적으로 유의미한 정보를 제공하는 특정 구간을 정확도로 분할하여 제공함에 따라, 심장 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다.As described above, the present invention can contribute to early diagnosis of heart disease and good treatment prognosis by dividing a heart signal and providing a specific section providing clinically meaningful information with accuracy.

한편, 도 2b를 함께 참조하면, 사용자 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다. Meanwhile, referring to FIG. 2B , the user device 200 includes a communication unit 210 , a display unit 220 , a storage unit 230 and a processor 240 .

통신부 (210) 는 사용자 디바이스 (200) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 심장 신호 분할용 디바이스 (100) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (210) 는 심장 신호 분할용 디바이스 (100) 로부터 심장 신호 분할 결과를 수신할 수 있다. The communication unit 210 connects the user device 200 to enable communication with an external device. The communication unit 210 can transmit/receive various data by being connected to the device 100 for dividing heart signals using wired/wireless communication. Specifically, the communication unit 210 may receive a heart signal split result from the heart signal split device 100 .

표시부 (220) 는 심장 신호 분할 결과를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. The display unit 220 can display various interface screens for displaying heart signal division results.

다양한 실시예에서 표시부 (220) 는 터치스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치 (touch), 제스처 (gesture), 근접, 드래그 (drag), 스와이프 (swipe) 또는 호버링 (hovering) 입력 등을 수신할 수 있다. In various embodiments, the display unit 220 may include a touch screen, and for example, a touch using an electronic pen or a part of the user's body, a gesture, a proximity, a drag, or a swipe A swipe or hovering input may be received.

저장부 (230) 는 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하기 위해 사용되는 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (230) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 램 (Random Access Memory, RAM), SRAM (Static Random Access Memory), 롬 (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The storage unit 230 may store various data used to provide a user interface for displaying result data. In various embodiments, the storage unit 230 may be a flash memory type, a hard disk type, a multimedia card micro type, or a card type memory (for example, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read-Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory) , a magnetic memory, a magnetic disk, and an optical disk may include at least one type of storage medium.

프로세서 (240) 는 통신부 (210), 표시부 (220) 및 저장부 (230) 와 동작 가능하게 연결되며, 정보를 나타내기 위한 사용자 인터페이스를 제공하기 위한 다양한 명령들을 수행할 수 있다. The processor 240 is operably connected to the communication unit 210, the display unit 220, and the storage unit 230, and can perform various commands to provide a user interface for displaying information.

이하에서는 도 3, 4a 내지 4d를 참조하여 본 발명의 다양한 실시예에 따른 방법에 대하여 설명한다. Hereinafter, methods according to various embodiments of the present invention will be described with reference to FIGS. 3 and 4a to 4d.

도 3은 본 발명의 실시예에 따른 심장 신호 분할용 디바이스에서 개체의 신호 엔벨로프 특징 및 신호 스칼로그램 특징에 기반하여 심장 신호 분할 방법을 설명하기 위한 개략적인 순서도이다. 도 4a 내지 4c는 본 발명의 실시예에 따른 심장 신호 분할용 디바이스에서 심장 신호를 분할하는 절차를 예시적으로 도시한 것이다. 도 4d는 본 발명의 다양한 실시예에 적용되는 복수의 신호 분할 모델의 구조를 예시적으로 도시한 것이다.FIG. 3 is a schematic flowchart illustrating a method for dividing a heart signal based on a signal envelope characteristic and a signal scalogram characteristic of an object in a device for dividing a heart signal according to an embodiment of the present invention. 4A to 4C exemplarily illustrate a procedure for dividing a cardiac signal in a device for dividing a cardiac signal according to an embodiment of the present invention. 4D illustratively illustrates the structure of a plurality of signal splitting models applied to various embodiments of the present invention.

먼저, 도 3을 참조하면 본 발명의 일 실시예에 따른 심장 신호 분할 방법에 따라 개체의 심장 신호가 수신된다 (S310). 그 다음, 심장 신호에 기초하여 신호 엔벨로프 특징 및 신호 스칼로그램 특징이 생성된다 (S320). 그 다음, 제1 신호 분할 모델에 의해 신호 엔벨로프가 복수의 구간으로 분할되고 (S330), 동시에 제2 신호 분할 모델에 의해 신호 스칼로그램 특징이 복수의 구간으로 분할된다 (S340). 그 다음, 최종적으로 심장 신호에 대한 분할 결과가 결정된다 (S350). First, referring to FIG. 3 , an object's heart signal is received according to the heart signal division method according to an embodiment of the present invention (S310). Then, a signal envelope feature and a signal scalogram feature are generated based on the heart signal (S320). Next, the signal envelope is divided into a plurality of sections by the first signal division model (S330), and at the same time, the signal scalogram feature is divided into a plurality of sections by the second signal division model (S340). Then, a division result for the heart signal is finally determined (S350).

보다 구체적으로, 개체의 심장 신호가 수신되는 단계 (S310) 에서, 전술한 심장 신호 측정용 디바이스로부터 심장 신호가 획득될 수 있다. More specifically, in the step of receiving the subject's heart signal ( S310 ), the heart signal may be obtained from the device for measuring the heart signal.

한편, 개체의 심장 신호가 수신되는 단계 (S310) 에서 획득된 심장 신호가 노이즈를 포함할 경우, 이는 필터링을 통해 제거될 수 있다.Meanwhile, if the heart signal obtained in step S310 of receiving the subject's heart signal includes noise, it may be removed through filtering.

예를 들어, 필터링 단계에서, 버터워스 필터 (Butterworth filter) 에 의해 노이즈가 제거되고 기 설정된 주파수 범위 (특히, S1, S2 신호가 활성화 되는 주파수 구간인 20 내지 150 Hz) 의 심장 신호가 결정될 수 있다. For example, in the filtering step, noise is removed by a Butterworth filter, and heart signals in a preset frequency range (particularly, 20 to 150 Hz, which is a frequency range in which signals S1 and S2 are activated) can be determined. .

그 다음, 획득된 심장 신호에 기초하여 신호 엔벨로프 특징 및 신호 스칼로그램 특징이 각각 생성된다 (S320).Then, a signal envelope feature and a signal scalogram feature are generated based on the obtained heart signal (S320).

예를 들어, 도 4a를 함께 참조하면, 신호 엔벨로프 특징 및 신호 스칼로그램 특징이 각각 결정되는 단계 (S320) 에서, 신호 엔벨로프 특징으로서, 동형 엔벨로프 (Homomorphic envelope), 힐베르트 엔벨로프 (Hilbert envelope), PSD (power spectral density) 엔벨로프 및 웨이블릿 엔벨로프 (Wavelet envelope) 중 적어도 하나가 결정될 수 있다. For example, referring to FIG. 4A together, in step S320 of determining the signal envelope characteristics and the signal scalogram characteristics, respectively, as the signal envelope characteristics, a homomorphic envelope, a Hilbert envelope, and a PSD At least one of a power spectral density envelope and a wavelet envelope may be determined.

다시 도 3을 참조하면, 본 발명의 특징에 따르면, 신호 엔벨로프 특징 및 신호 스칼로그램 특징이 각각 결정되는 단계 (S320) 에서, 동형 엔벨로프 (Homomorphic envelope) 가 획득되도록, 수신된 심장 신호에 대하여 동형 필터링 변환 (Homomorphic filtering converts) 이 수행되고, 심장 신호에 대하여 신호 스칼로그램의 특징이 결정될 수 있다.Referring back to FIG. 3 , according to a feature of the present invention, in step S320 in which signal envelope characteristics and signal scalogram characteristics are respectively determined, a homomorphic envelope is obtained with respect to the received cardiac signal. Homomorphic filtering converts are performed, and characteristics of the signal scalogram can be determined for the cardiac signal.

본 발명의 다른 특징에 따르면, 신호 엔벨로프 특징 및 신호 스칼로그램 특징이 각각 결정되는 단계(S320) 에서, 힐베르트 엔벨로프가 획득되도록, 심장 신호에 대하여 힐베르트 전환 (Hilbert transform) 이 수행되고, 심장 신호에 대하여 신호 스칼로그램의 특징이 결정될 수 있다.According to another feature of the present invention, in the step of determining the signal envelope characteristics and the signal scalogram characteristics respectively (S320), the Hilbert transform is performed on the heart signal so that the Hilbert envelope is obtained, and the heart signal is The characteristics of the signal scalogram can be determined for

본 발명의 또 다른 특징에 따르면, 신호 엔벨로프 특징 및 신호 스칼로그램 특징이 각각 결정되는 단계 (S320) 에서 PSD 엔벨로프가 획득되도록, 심장 신호에 대하여 고속 퓨리에 변환 (Fast Fourier Transform, FFT) 이 수행되고, 심장 신호에 대하여 신호 스칼로그램의 특징이 결정될 수 있다. According to another feature of the present invention, Fast Fourier Transform (FFT) is performed on the heart signal so that the PSD envelope is obtained in the step (S320) of determining the signal envelope characteristics and the signal scalogram characteristics, respectively, , the characteristics of the signal scalogram can be determined for the cardiac signal.

본 발명의 또 다른 특징에 따르면, 신호 엔벨로프 특징 및 신호 스칼로그램 특징이 각각 결정되는 단계 (S320) 에서 웨이블릿 엔벨로프가 획득되도록, 심장 신호에 대하여 웨이블릿 전환 (Wavelet transform) 이 수행되고 심장 신호에 대하여 신호 스칼로그램의 특징이 결정될 수 있다. According to another feature of the present invention, in step S320 in which the signal envelope characteristics and the signal scalogram characteristics are determined, wavelet transform is performed on the heart signal so that a wavelet envelope is obtained, and the heart signal is Characteristics of the signal scalogram can be determined.

이때, 도 4b를 참조하면, 신호 스칼로그램 특징은, CWT (Continuous Wavelet Transform) 된, 2D CWT 데이터일 수 있다.At this time, referring to FIG. 4B , the signal scalogram feature may be continuous wavelet transformed (CWT) 2D CWT data.

다시, 도 3으로 돌아오며, 제1 신호 분할 모델에 의해 신호 엔벨로프가 복수의 구간으로 분할되고 (S330), 동시에 제2 신호 분할 모델에 의해 신호 스칼로그램 특징이 복수의 구간으로 분할된다 (S340). 그 다음, 두 개의 모델의 분할 결과에 기초하여 최종적으로 심장 신호에 대한 분할 결과가 결정된다 (S350).Returning to FIG. 3 again, the signal envelope is divided into a plurality of sections by the first signal division model (S330), and at the same time, the signal scalogram feature is divided into a plurality of sections by the second signal division model (S340). ). Then, a split result for the heart signal is finally determined based on the split result of the two models (S350).

보다 구체적으로, 신호 엔벨로프가 복수의 구간으로 분할되는 단계 (S330) 및 신호 스칼로그램 특징이 복수의 구간으로 분할되는 단계 (S340) 에서, 제1 신호 분할 모델 및 제2 신호 분할 모델에 의해 신호 엔벨로프 특징 및 신호 스칼로그램 특징 각각이 제1 심음 (S1) 및 제2 심음 (S2), 나아가 기타 심음 (예를 들어, 이완기 및 수축기) 로 분할될 수 있다. 그 다음, 심장 신호에 대한 분할 결과가 결정되는 단계 (S350) 에서 제1 신호 분할 모델 및 제2 신호 분할 모델 각각에 의해 결정된 예측 값 (또는 출력 값) 을 기초로, 심장 신호가 복수의 구간으로 최종 분할된다.More specifically, in the step of dividing the signal envelope into a plurality of sections (S330) and the step of dividing the signal scalogram into a plurality of sections (S340), the signal by the first signal division model and the second signal division model Each of the envelope feature and the signal scalogram feature can be divided into a first heart sound (S1) and a second heart sound (S2), and further other heart sounds (eg, diastolic and systolic). Next, in step S350, in which a result of splitting the heart signal is determined, the heart signal is divided into a plurality of sections based on the prediction value (or output value) determined by each of the first signal splitting model and the second signal splitting model. finally split.

도 4c를 함께 참조하면, 신호 엔벨로프가 복수의 구간으로 분할되는 단계 (S330) 심장 신호 (412) 로 부터 추출된 신호 엔벨로프 특징 (422), 보다 구체적으로, 동형 엔벨로프 (422a), 힐베르트 엔벨로프 (422b), PSD 엔벨로프 (422c) 및 웨이블릿 엔벨로프 (422d) 중 적어도 하나가 제1 신호 분할 모델 (430a) 에 입력된다. 그 결과, 신호 엔벨로프 특징 (422) 이 1 심음 (S1) 및 제2 심음 (S2) 나아가 기타 심음 (예를 들어, 이완기 및 수축기) 의 3 클래스로 분할될 수 있다. 동시에, 신호 스칼로그램 특징이 복수의 구간으로 분할되는 단계 (S340) 에서, 신호 스칼로그램 특징으로서, CWT 데이터 (CWT된 특징) 가 제2 신호 분할 모델 (430b) 에 입력된다. 그 결과, 신호 스칼로그램 특징 (424) 이 1 심음 (S1) 및 제2 심음 (S2) 나아가 기타 심음 (예를 들어, 이완기 및 수축기) 의 3 클래스로 분할될 수 있다. 이때, 제1 신호 분할 모델 (430a) 및 제2 신호 분할 모델 (430b) 각각은 3 개의 클래스 (특히, 1 심음 (S1) 및 제2 심음 (S2) 나아가 기타 심음) 로 분할될 확률을 출력할 수 있다. Referring to FIG. 4C together, the signal envelope feature 422 extracted from the heart signal 412 in the step of dividing the signal envelope into a plurality of sections (S330), more specifically, a homomorphic envelope 422a and a Hilbert envelope 422b ), at least one of the PSD envelope 422c and the wavelet envelope 422d is input to the first signal segmentation model 430a. As a result, the signal envelope feature 422 can be divided into three classes: first heart sound (S1) and second heart sound (S2) and further other heart sounds (eg, diastolic and systolic). At the same time, in the step of dividing the signal scalogram feature into a plurality of sections (S340), CWT data (CWT feature) is input to the second signal division model 430b as the signal scalogram feature. As a result, the signal scalogram feature 424 can be divided into three classes: first heart sound (S1) and second heart sound (S2) and further other heart sounds (eg, diastolic and systolic). At this time, each of the first signal splitting model 430a and the second signal splitting model 430b outputs a probability of splitting into three classes (particularly, heart sound 1 (S1), heart sound 2 (S2), and other heart sounds). can

계속해서 도 4c를 함께 참조하면, 그 다음, 심장 신호에 대한 분할 결과가 결정되는 단계 (S350) 에서 제1 신호 분할 모델 (430a) 및 제2 신호 분할 모델 (430b) 의 출력 값이 접합 (concatenation) 되고, 최종적으로 심장 신호에 대한 분할 결과 (432) 가 결정될 수 있다.Referring to FIG. 4C together, next, in step S350 in which a split result for a heart signal is determined, the output values of the first signal split model 430a and the second signal split model 430b are concatenated. ), and finally the division result 432 for the heart signal can be determined.

이때, 본 발명의 특징에 따르면, 제1 신호 분할 모델 (430a) 은, 1 차원의 신호 엔벨로프 특징 (422) 을 입력으로 하는 1차원 CNN (1D Convolutional neural network) 구조를 가질 수 있다. 나아가, 신호 스칼로그램 특징 (424) 은 2차원 스칼로그램 특징이고, 이에 따라 제2 신호 분할 모델 (430b) 은, 2차원의 스칼로그램 특징을 입력으로 하는 2 차원 CNN 구조를 가질 수 있다.At this time, according to the characteristics of the present invention, the first signal segmentation model 430a may have a 1D convolutional neural network (CNN) structure that takes the 1D signal envelope feature 422 as an input. Furthermore, the signal scalogram feature 424 is a 2-dimensional scalogram feature, and accordingly, the second signal segmentation model 430b may have a 2-dimensional CNN structure that takes the 2-dimensional scalogram feature as an input. .

이에, 심장 신호에 대한 분할 결과가 결정되는 단계 (S350) 에서, 제1 신호 분할 모델 (430a) 및 제2 신호 분할 모델 (430b) 의 출력 값이 접합을 위해, 제2 신호 분할 모델 (430b) 의 출력 값의 차원 축소가 수행될 수 있다.Accordingly, in step S350 of determining the splitting result for the heart signal, the output values of the first signal splitting model 430a and the second signal splitting model 430b are combined to form the second signal splitting model 430b. Dimensional reduction of the output value of may be performed.

예를 들어, 도 4d를 더욱 참조하면, 심장 신호에 대한 분할 결과가 결정되는 단계 (S350) 에서, 제1 신호 분할 모델 (430a) 의 출력 층 (output 1) 및 제2 신호 분할 모델 (430b) 의 출력 층 (output 2) 은 접합 모듈 (4304) 로 연결되어, 각 모델의 출력 값이 합산될 수 있다. 이때, 제2 신호 분할 모델 (430b) 의 출력 층 (output 2) 은 글로벌 에버리지 풀링 (global average pooling) 층 과 연결될 수 있다. For example, further referring to FIG. 4D , in step S350 of determining a splitting result for a heart signal, the output layer (output 1) of the first signal splitting model 430a and the second signal splitting model 430b The output layer (output 2) of is connected to the splicing module 4304 so that the output values of each model can be summed. At this time, the output layer (output 2) of the second signal splitting model 430b may be connected to a global average pooling layer.

즉, 2차원의 제2 신호 분할 모델 (430b) 의 출력 값은 글로벌 에버리지 풀링 (global average pooling) 층을 통과하면서 차원이 감소될 수 있다. 그 다음, 접합 모듈 (4304) 에 의해 레벨이 동일한 두 모델의 출력 값이 합산되고, 최종 컨볼루션 층 (final convolution layer) (4306) 에 의해 심장 신호가 복수의 구간으로 최종 분할될 수 있다. That is, the output value of the 2-dimensional second signal segmentation model 430b may be reduced in dimension while passing through a global average pooling layer. Then, the output values of the two models having the same level are summed by the splicing module 4304, and the cardiac signal may be finally divided into a plurality of sections by the final convolution layer 4306.

본 발명의 특징에 따르면, 심장 신호에 대한 분할 결과가 결정되는 단계 (S350) 이후에, 분할된 결과에 기초하여 심장 질환의 발병 여부가 결정되는 단계가 더욱 수행될 수도 있다.According to a feature of the present invention, after the step of determining the result of division of the heart signal (S350), the step of determining whether or not to have a heart disease based on the result of the division may be further performed.

한편, 제1 신호 분할 모델 및 제2 신호 분할 모델은 하나의 모델 안에서 동시에 학습될 수도 있고, 각각 학습될 수도 있다. Meanwhile, the first signal splitting model and the second signal splitting model may be simultaneously learned in one model or may be learned separately.

복수의 신호 분할 모델에 의해 결정된, 심장 신호 분할 결과가 사용자 디바이스 등으로 송신될 수 있다.A cardiac signal splitting result, determined by a plurality of signal splitting models, may be transmitted to a user device or the like.

이와 같은 본 발명의 다양한 실시예에 따른 심장 신호 분할 방법에 의해 의료진은 개체의 심장 질환과 연관된 정보를 획득할 수 있어, 심장 질환 의심 개체에 대한 심장 질환의 조기 진단이 가능할 수 있다.According to the heart signal segmentation method according to various embodiments of the present invention, a medical staff may obtain information related to an object's heart disease, and thus an early diagnosis of heart disease may be possible for a subject suspected of having a heart disease.

한편, 심장 신호의 분할 시스템은 전술한 것에 제한되는 것은 아니며, 심전도 신호에 대한 제1 파형, 제2 파형, 제3 파형, 제4 파형 및 제5 파형의 분할에 적용될 수 있다. Meanwhile, the heart signal division system is not limited to the above, and may be applied to division of the first, second, third, fourth, and fifth waveforms of the ECG signal.

이하에서는 도 5를 참조하여 본 발명의 다양한 실시예에 이용되는 신호 분할 모델의 구조를 설명한다.Hereinafter, the structure of a signal division model used in various embodiments of the present invention will be described with reference to FIG. 5 .

도 5는 본 발명의 다양한 실시예에 적용되는 제2 신호 분할 모델의 구조를 예시적으로 도시한 것이다. 5 exemplarily illustrates the structure of a second signal splitting model applied to various embodiments of the present invention.

먼저 도 5를 참조하면, 본 발명의 본 발명의 다양한 실시예에서 이용되는 제2 신호 분할 모델은, 2차원 CNN으로서, 2D U-net 구조를 가질 수 있다. 보다 구체적으로, 도 5의 U 자 형태의 제2 신호 분할 모델에서 왼쪽 영역은 입력된 2D 신호 스칼로그램 특징 (이미지) 에 대한 2차원 컨볼루션 (2D convolutional) 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서 2D 신호 스칼로그램 특징은 전역적 특징으로 표현될 수 있다. 나아가, 제2 신호 분할 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 업 샘플링 (upsampling) 된다. 결과적으로, 입력된 2D 신호 스칼로그램 특징은 제1 심음 (S1) 구간, 제2 심음 (S2) 구간, 기타 (수축기 (systole) 구간 및 이완기 (Diastole) 구간) 의 3 개의 채널로 출력되고, 각 구간이 분할되어 결정될 수 있다. 또는, 본 발명의 다른 실시예에 따르면, 입력된 2D 신호 스칼로그램 특징은 제1 심음 (S1) 구간, 제2 심음 (S2) 구간, 수축기 (systole) 구간 및 이완기 (Diastole) 구간의 4 개의 채널로 출력되고, 각 구간이 분할되어 결정될 수 있다.Referring first to FIG. 5 , the second signal splitting model used in various embodiments of the present invention is a 2D CNN and may have a 2D U-net structure. More specifically, in the U-shaped second signal segmentation model of FIG. 5, the left region is characterized by extracting a 2D convolutional layer and a local maximum for the input 2D signal scalogram feature (image). It consists of the max pooling layer used. In the lowermost region, the 2D signal scalogram features can be expressed as global features. Furthermore, in the right region of the second signal division model, features obtained in the lowermost region are upsampled as they go up. As a result, the input 2D signal scalogram features are output as three channels: the first heart sound (S1) section, the second heart sound (S2) section, and others (systole section and diastole section), Each section may be divided and determined. Alternatively, according to another embodiment of the present invention, the input 2D signal scalogram features four segments of a first heart sound (S1) section, a second heart sound (S2) section, a systole section, and a diastole section. It is output as a channel, and each section may be divided and determined.

한편, U 형태의 신호 분할 모델에서 왼쪽에서 오른쪽으로 연결된 선 (skip connection) 을 통해, 왼쪽 영역의 특징이 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이를 통해, 신호 분할 동안, 입력된 2D 신호 스칼로그램 특징이 작아짐에 따라 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다. Meanwhile, in the U-shaped signal division model, features of the left region may be copied and pasted to positions of the same level in the right region through a skip connection from left to right. Through this, during signal division, lost features can be corrected as the input 2D signal scalogram features become smaller, and copied features can be used together with features transferred from the lowermost region.

한편, 제1 신호 분할 모델은, 전술한 제2 신호 분할 모델 구조에의 왼쪽 컨볼루션 영역 및 오른쪽 컨볼루션 영역이 1차원 컨볼루션층인, 1D U-net 구조를 가질 수 있다. 그러나, 이에 제한되는 것은 아니며 제1 신호 분할 모델은 보다 다양한 1D CNN구조를 가질 수 있다.Meanwhile, the first signal splitting model may have a 1D U-net structure in which the left convolution area and the right convolution area of the above-described second signal splitting model structure are one-dimensional convolution layers. However, it is not limited thereto, and the first signal splitting model may have more diverse 1D CNN structures.

즉, 전술한 구조적 특징의 제1 신호 분할 모델 및 제2 신호 모델은 신호 엔벨로프 특징과 CWT된 특징의 신호 스칼로그램 특징 각각을 입력으로 받아 신호를 복수의 구간으로 분할하도록 학습된 독립된 모델로 존재하여, S1 및 S2의 특징을 효율적으로 학습할 수 있다. That is, the first signal division model and the second signal model of the above-described structural features exist as independent models learned to divide a signal into a plurality of sections by receiving each of the signal envelope features and the signal scalogram features of the CWTed features as inputs. Thus, the characteristics of S1 and S2 can be efficiently learned.

한편, 제1 신호 분할 모델 및 제2 신호 분할 모델의 학습에 있어서, 패치 크기가 N=64 내지 N=512로 설정될 수 있고, 배치 크기 B는 32 내지 128로 설정될 수 있다. 나아가, 각 층의 웨이트 (weight) 는 범주형 크로스 회기 손실 함수 (categorical cross-entropy loss function) 에 의해 매개될 수 있고, 학습율은 1e-3 내지 1e-5로 설정될 수 있다. 더욱이, 드롭아웃 함수 (dropout function) 가 오버 핏팅 (over fitting) 을 방지하기 위해 적용될 수 있다. 드롭율 (drop rate) 은 0.3 내지 0.5로 설정될 수 있고, 2D CNN 구조의 제2 신호 모델을 고려했을 때, 배치 표준화 2D (Batch normalization 2D) 가 더욱 적용될 수 있다. 나아가, 학습 에폭 (epochs) 의 수는 150으로 설정될 수 있고, Pytorch가 심장 신호 분할을 위한 함수로서 더욱 적용될 수 있다. Meanwhile, in learning the first signal splitting model and the second signal splitting model, the patch size may be set to N=64 to N=512, and the batch size B may be set to 32 to 128. Furthermore, the weight of each layer can be mediated by a categorical cross-entropy loss function, and the learning rate can be set to 1e-3 to 1e-5. Moreover, a dropout function can be applied to prevent over fitting. A drop rate may be set to 0.3 to 0.5, and when considering the second signal model of the 2D CNN structure, batch normalization 2D may be further applied. Furthermore, the number of learning epochs can be set to 150, and Pytorch can be further applied as a function for cardiac signal segmentation.

그러나 신호 분할 모델의 학습 파라미터는 전술한 것에 제한되는 것은 아니다. However, the learning parameters of the signal splitting model are not limited to those described above.

평가: 심장 신호 분할용 디바이스의 분할 성능 평가Evaluation: Evaluation of segmentation performance of devices for cardiac signal segmentation

이하에서는, 도 6a 내지 6g, 7a 내지 7d을 참조하여, 본 발명의 일 실시예에 따른 심장 신호 분할용 디바이스의 평가 결과를 설명한다.Hereinafter, evaluation results of a device for dividing a heart signal according to an embodiment of the present invention will be described with reference to FIGS. 6A to 6G and 7A to 7D.

먼저, 도 6a를 참조하면 하이퍼 파라미터 (N=64, T=8, 또는 N=128, T=16, 또는 N=256, T=32, 또는 N=512, T=64) 및 분할에 이용되는 특징 (신호 엔벨로프 특징 (1D envelope), 신호 스칼로그램 특징 (1D CWT 또는 2D CWT)) 에 따른 신호 분할 결과의 정확도 (Accuracy), PPV (Positive Predictive Value), 민감도 (Sensitivity) 가 도시된다.First, referring to FIG. 6A, the hyperparameter (N = 64, T = 8, or N = 128, T = 16, or N = 256, T = 32, or N = 512, T = 64) and the division used for Accuracy, Positive Predictive Value (PPV), and Sensitivity of signal division results according to features (signal envelope feature (1D envelope), signal scalogram feature (1D CWT or 2D CWT)) are shown.

보다 구체적으로, 하이퍼 파라미터가 N=512, T=64인 경우, 특징 데이터에 관계없이 신호 분할의 정확도, PPV, 및 민감도가 가장 높은 것으로 나타난다. 특히, 신호 엔벨로프 특징 (1D envelope) 을 분할에 이용했을 때 보다, 신호 스칼로그램 특징 (1D CWT 또는 2D CWT) 을 분할에 이용했을 때, 신호 분할 모델의 분할 성능이 우수한 것으로 나타난다.More specifically, when the hyperparameters are N = 512 and T = 64, the accuracy, PPV, and sensitivity of signal segmentation are the highest regardless of feature data. Particularly, it appears that the segmentation performance of the signal segmentation model is superior when the signal scalogram feature (1D CWT or 2D CWT) is used for segmentation than when the signal envelope feature (1D envelope) is used for segmentation.

이러한 결과는, 1D CWT 또는 2D CWT와 같은 신호 스칼로그램 특징이 주파수-시간을 고려함에 따라 심장 신호를 보다 정확하게 분할하는 것을 의미할 수 있다. This result may mean that the signal scalogram feature, such as 1D CWT or 2D CWT, divides the cardiac signal more accurately by considering frequency-time.

도 6b를 참조하면 하이퍼 파라미터 (N=64, T=8, 또는 N=128, T=16, 또는 N=256, T=32, 또는 N=512, T=64) 및 두 개의 신호 분할 모델의 접합 (concatenation) 위치 (앞단에서 접합 (early fusion) 또는 마지막 컨볼루션 층 이전에 접합 (hybrid fusion)) 에 따른 신호 분할 결과의 정확도, PPV 및 민감도가 도시된다.Referring to Figure 6b, the hyperparameters (N = 64, T = 8, or N = 128, T = 16, or N = 256, T = 32, or N = 512, T = 64) and two signal split models Accuracy, PPV and sensitivity of the signal division result according to the concatenation position (early fusion or hybrid fusion before the last convolution layer) are shown.

이때, 앞단에서 접합이 수행된 모델 (early fusion model) 은, 엔벨로프 데이터와 1D로 간주된 CWT 데이터가 합쳐진 하나의 데이터가 인공지능 모델 학습에 반영된 모델을 의미할 수 있다. In this case, a model in which splicing is performed at the front end (early fusion model) may mean a model in which one data obtained by combining envelope data and CWT data considered as 1D is reflected in artificial intelligence model learning.

보다 구체적으로, 하이퍼 파라미터가 N=512, T=64에서, 1D CNN의 제1 신호 분할 모델 및 2D CNN의 제2 신호 분할 모델 각각의 출력 값이 마지막 컨볼루션 층 (Final convolutional layer) 이전에 접합한 경우 (Hybrid Fusion 1D&2D) 정확도 및 PPV가 가장 높은 것으로 나타난다. More specifically, when the hyperparameter is N = 512 and T = 64, the output values of the first signal division model of the 1D CNN and the second signal division model of the 2D CNN are combined before the final convolutional layer. In one case (Hybrid Fusion 1D&2D) accuracy and PPV appear to be the highest.

이러한 결과는, 1차원의 신호 엔벨로프 특징을 분할하도록 학습된 제1 신호 모델 및 2차원의 신호 스칼로그램 특징을 분할하도록 학습된 제2 신호 모델의 두 모델을 융합했을 때, 심장 신호 분할 성능이 우수한 것을 의미할 수 있다.These results show that when the two models, the first signal model learned to segment the 1-dimensional signal envelope features and the second signal model learned to segment the 2-dimensional signal scalogram features, are fused, the cardiac signal segmentation performance is improved. can mean excellent.

특히, 두 모델의 출력 값이, 최종 분할 이전, 즉 마지막 컨볼루션 층 이전에 접합될 때 분할의 정확도가 높은 것을 의미할 수 있다.In particular, when the output values of the two models are joined before the final division, that is, before the last convolution layer, it may mean that the division accuracy is high.

도 6c를 참조하면, 하이퍼 파라미터 (N=64, T=8, 또는 N=128, T=16, 또는 N=256, T=32, 또는 N=512, T=64) 에 따른 환자 데이터 (patient) 및 패치 (patch) 의 신호 분할 결과의 정확도, PPV 및 민감도가 도시된다.Referring to FIG. 6C, patient data (patient ) and the accuracy, PPV and sensitivity of the signal division result of the patch are shown.

보다 구체적으로, 본 발명의 다양한 실시예에 따른 신호 분할 모델은 하이퍼 파라미터가 N=512, T=64에서, 환자 데이터 및 패치에서 정확도, PPV 나아가 민감도가 가장 높은 것으로 나타난다. More specifically, the signal segmentation model according to various embodiments of the present invention shows the highest accuracy, PPV, and sensitivity in patient data and patches when the hyperparameter is N = 512 and T = 64.

이러한 결과는, 두 개의 신호 분할 모델의 학습에 있어서 하이퍼 파라미터가 N=512, T=64로 설정될 수 있음을 의미할 수 있으나, 이에 제한되는 것은 아니다.This result may mean that hyperparameters can be set to N=512 and T=64 in learning the two signal splitting models, but is not limited thereto.

도 6d를 참조하면, 1D 엔벨로프의 제1 신호 분할 모델의 심음 분할 결과 (도 6d의 (a)) 와 본 발명의 다양한 실시예에 이용되는 제1 신호 분할 모델 및 제2 신호 분할 모델 기반의 심음 분할 결과 (도 6d의 (b)) 가 도시된다.Referring to FIG. 6D , the heart sound segmentation result of the first signal segmentation model of the 1D envelope (FIG. 6D (a)) and the heart sound based on the first signal segmentation model and the second signal segmentation model used in various embodiments of the present invention The segmentation result (Fig. 6D(b)) is shown.

보다 구체적으로, 제1 신호 분할 모델 및 제2 신호 분할 모델 기반을 이용한 PCG 분할 결과 (Prediction) 가, 단독의 제1 신호 분할 모델의 분할 결과보다 미리 결정된 G.T (ground truth) 와 유사한 것으로 나타난다.More specifically, the PCG division result (prediction) using the first signal division model and the second signal division model basis appears to be similar to the predetermined ground truth (G.T) than the division result of the first signal division model alone.

그러나, 1D 엔벨로프에서 잘 잡아내지 못하는 특징을 CWT 모델에서 잘 잡아낼 수 있기 때문에 (ex. 양 끝 경계선상 및 S1, S2 주위에 잡음이 있을 경우 분할 성능 저하 등…) 두 모델을 합치는 경우 (모델 앙상블 또는 에측값 합산 등) 각각의 모델 성능보다 더욱 높은 성능의 모델을 만들 수 있다However, since the CWT model can capture features that are not well captured in the 1D envelope (ex. deterioration in segmentation performance when there is noise on both ends and around S1 and S2…), when combining the two models (model Ensemble or summation of predicted values, etc.) can create a model with higher performance than individual model performance

다음으로, 도 6e의 (a) 및 (b)를 더욱 참조하면 4 개의 신호 엔벨로프 특징 기반의 신호 분할 결과 (도 6e의 (a)) 및 신호 스칼로그램 특징 기반의 신호 분할 결과 (도 6e의 (b)) 가 도시된다.Next, further referring to (a) and (b) of FIG. 6e, the result of signal division based on four signal envelope features (Fig. 6e (a)) and the result of signal division based on the signal scalogram feature (Fig. 6e) (b)) is shown.

보다 구체적으로, 제2 신호 분할 모델 단독의 신호 스칼로그램 특징 기반의 분할 결과 (Prediction) 가, 제1 신호 분할 모델 단독의 4 개의 신호 엔벨로프 특징을 이용했을 때보다, 미리 결정된 G.T (ground truth) 와 유사한 것으로 나타난다.More specifically, the split result (prediction) based on the signal scalogram features of the second signal splitting model alone has a predetermined ground truth (G.T) than when using the four signal envelope features of the first signal splitting model alone. appear similar to

이러한 결과는 시간-주파수 특징을 고려한 신호 스칼로그램 특징이 신호 분할의 정확도 향상에 기여한다는 것을 의미할 수 있다.This result may mean that the signal scalogram characteristics considering the time-frequency characteristics contribute to improving the accuracy of signal segmentation.

다음으로, 도 6f의 (a) 및 (b)를 더욱 참조하면 4 개의 신호 엔벨로프 특징 기반의 제1 신호 분할 모델 단독의 신호 분할 결과 (도 6f의 (a)) 및 본 발명의 다양한 실시예에 따른 제1 신호 분할 모델 및 제2 신호 분할 모델 융합 기반의 분할 결과 (도 6f의 (b)) 가 도시된다.Next, further referring to (a) and (b) of FIG. 6F, the signal splitting result of the first signal splitting model alone based on the four signal envelope features (FIG. 6f (a)) and various embodiments of the present invention A split result based on the fusion of the first signal splitting model and the second signal splitting model according to FIG. 6F (b) is shown.

보다 구체적으로, 제1 신호 분할 모델 및 제2 신호 분할 모델 융합 기반의 분할 결과가, 4 개의 신호 엔벨로프 특징을 이용한 제1 신호 분할 모델을 단독으로 적용했을 때보다, 미리 결정된 G.T와 유사한 것으로 나타난다.More specifically, the division result based on the fusion of the first signal division model and the second signal division model appears to be similar to the predetermined G.T. than when the first signal division model using the four signal envelope features is applied alone.

이러한 결과는, 융합 모델의 분할 성능이 우수함을 의미할 수 있다.This result may mean that the segmentation performance of the fusion model is excellent.

다음으로, 도 6g의 (a) 내지 (c)를 더욱 참조하면 4 개의 신호 엔벨로프 특징 기반의 제1 신호 분할 모델 단독의 신호 분할 결과 (도 6g의 (a)), 신호 스칼로그램 특징 기반의 제2 신호 분할 단독의 신호 분할 결과 (도 6g의 (b)) 및 및 본 발명의 다양한 실시예에 따른 제1 신호 분할 모델 및 제2 신호 분할 모델 융합 기반의 분할 결과 (도 6g의 (c)) 가 도시된다.Next, further referring to (a) to (c) of FIG. 6G , the signal splitting result of the first signal splitting model alone based on the four signal envelope features (FIG. 6g (a)), the signal scalogram feature-based The signal splitting result of the second signal splitting alone (FIG. 6G(b)) and the split result based on the fusion of the first signal splitting model and the second signal splitting model according to various embodiments of the present invention (FIG. 6G(c) ) is shown.

보다 구체적으로, 제1 신호 분할 모델 및 제2 신호 분할 모델 융합 기반의 분할 결과가, 4 개의 신호 엔벨로프 특징을 이용한 제1 신호 분할 모델을 단독으로 적용했을 때, 나아가 신호 스칼로그램 특징을 이용한 제2 신호 분할 모델을 단독으로 적용했을 때 보다 G.T와 유사한 것으로 나타난다.More specifically, the split result based on the fusion of the first signal splitting model and the second signal splitting model is when the first signal splitting model using the four signal envelope features is applied alone, and furthermore, the first signal splitting model using the signal scalogram features It appears to be more similar to G.T than when the two-signal splitting model is applied alone.

이러한 결과는, 제1 신호 분할 모델 및 제2 신호 분할 모델의 융합 모델의 분할 성능이 단독 모델보다 우수함을 의미할 수 있다.This result may mean that the splitting performance of the fusion model of the first signal splitting model and the second signal splitting model is superior to that of a single model.

다음으로, 도 7a를 참조하면, 단독의 신호 엘벨로프 특징 (1D Envelope), 단독의 신호 스칼로그램 특징 (1D CWT 또는 2D CWT), 신호 엔벨로프 특징 및 신호 스칼로그램 특징 조합 (1D Envelope + 1D CWT, 또는 1D Envelope + 2D CWT) 기반의 신호 분할 결과 (3 클래스; 1 심음, 2 심음 또는 기타 심음) 의 정확도, PPV, 민감도가 도시된다.Next, referring to FIG. 7A, a single signal envelope feature (1D Envelope), a single signal scalogram feature (1D CWT or 2D CWT), a combination of a signal envelope feature and a signal scalogram feature (1D Envelope + The accuracy, PPV, and sensitivity of signal segmentation results (3 classes; 1 heart sound, 2 heart sounds, or other heart sounds) based on 1D CWT or 1D Envelope + 2D CWT are shown.

보다 구체적으로, 본 발명의 다양한 실시예에 이용되는, 신호 엔벨로프 특징 및 신호 스칼로그램 특징 조합, 특히 1차원의 신호 엔벨로프 특징을 분할하도록 학습된 제1 신호 모델 및 2차원의 신호 스칼로그램 특징을 분할하도록 학습된 제2 신호 모델의 조합에서, 각각의 출력 값을 마지막 컨볼루션 층 이전에 융합했을 때 (1D Envelope + 2D CWT(concat at last)) 의 정확도가 0.9552, PPV가 0.9850으로 가장 높은 것으로 나타난다. More specifically, a combination of signal envelope features and signal scalogram features used in various embodiments of the present invention, in particular, a first signal model learned to segment a one-dimensional signal envelope feature and a two-dimensional signal scalogram feature In the combination of the second signal model learned to divide , when each output value is fused before the last convolution layer, (1D Envelope + 2D CWT (concat at last)) has the highest accuracy of 0.9552 and PPV of 0.9850. appears as

이러한 결과는, 신호 엔벨로프 특징 및 신호 스칼로그램 특징 (특히, 2D 신호 스칼로그램 특징) 조합에 기초한 3 클래스의 신호 분할의 정확도가 높다는 것을 의미할 수 있다.This result may mean that the accuracy of signal segmentation of the 3 classes based on the combination of the signal envelope feature and the signal scalogram feature (in particular, the 2D signal scalogram feature) is high.

도 7b를 참조하면, 신호 엔벨로프 특징 및 신호 스칼로그램 특징 조합 (1D Envelope + 1D CWT, 또는 1D Envelope + 2D CWT) 기반의 신호 분할 결과 (4 클래스; 1 심음, 2 심음, 수축기 또는 이완기, 또는 3 클래스; 1 심음, 2 심음, 또는 기타 심음) 의 정확도, PPV, 민감도가 도시된다.Referring to FIG. 7B , signal segmentation results (4 classes; 1 heart sound, 2 heart sounds, systolic or diastolic, or Accuracy, PPV, and sensitivity of 3 classes; 1 heart sound, 2 heart sounds, or other heart sounds) are shown.

보다 구체적으로, 본 발명의 다양한 실시예에 이용되는, 신호 엔벨로프 특징 및 신호 스칼로그램 특징 조합 중, 특히 1차원의 신호 엔벨로프 특징을 분할하도록 학습된 제1 신호 모델 및 2차원의 신호 스칼로그램 특징을 분할하도록 학습된 제2 신호 모델의 조합에서, 각각의 출력 값을 마지막 컨볼루션 층 이전에 융합했을 때 (1D Envelope + 2D CWT (Hybrid Fusion)) 의 정확도가 0.9518, PPV가 0.9858으로 가장 높은 것으로 나타난다. More specifically, among signal envelope feature and signal scalogram feature combinations used in various embodiments of the present invention, in particular, a first signal model learned to segment a 1-dimensional signal envelope feature and a 2-dimensional signal scalogram In the combination of the second signal model learned to segment the features, when each output value is fused before the last convolution layer (1D Envelope + 2D CWT (Hybrid Fusion)), the accuracy is 0.9518 and the PPV is the highest at 0.9858. appears as

이러한 결과는, 신호 엔벨로프 특징 및 신호 스칼로그램 특징 (특히, 2D 신호 스칼로그램 특징) 조합에 기초한 4 클래스의 신호 분할의 정확도가 높다는 것을 의미할 수 있다.This result may mean that the accuracy of signal segmentation of the 4 classes based on the combination of the signal envelope feature and the signal scalogram feature (in particular, the 2D signal scalogram feature) is high.

도 7c를 참조하면, 하이퍼 파라미터 (N=64, T=8, 또는 N=128, T=16, 또는 N=256, T=32, 또는 N=512, T=64) 에 따른 환자 데이터 (patient) 의 3 클래스 신호 분할 결과의 정확도, PPV 및 민감도가 도시된다.Referring to FIG. 7C, patient data (patient ), the accuracy, PPV and sensitivity of the three-class signal splitting results of .

본 평가에서는 1D 네트워크 구조를 갖는 두 개의 신호 분할 모델이 융합되어 이용되었다.In this evaluation, two signal splitting models with a 1D network structure were fused and used.

보다 구체적으로, 본 발명의 다양한 실시예에 따른 신호 분할 모델은 하이퍼 파라미터가 N=512, T=64에서, 환자 데이터에서 정확도가 0.9490, 민감도가 0.9945로 가장 높은 것으로 나타난다. More specifically, the signal segmentation model according to various embodiments of the present invention shows the highest hyperparameter at N = 512 and T = 64, with an accuracy of 0.9490 and a sensitivity of 0.9945 in patient data.

도 7d를 참조하면, 하이퍼 파라미터 (N=64, T=8, 또는 N=128, T=16, 또는 N=256, T=32, 또는 N=512, T=64) 에 따른 패치의 3 클래스 신호 분할 결과의 정확도, PPV 및 민감도가 도시된다.Referring to FIG. 7D, 3 classes of patches according to hyperparameters (N=64, T=8, or N=128, T=16, or N=256, T=32, or N=512, T=64) The accuracy, PPV and sensitivity of the signal splitting results are shown.

본 평가에서는 1D 네트워크 구조를 갖는 제1 신호 분할 모델 및 2D 네트워크 구조를 갖는 제2 신호 분할 모델이 융합되어 이용되었다.In this evaluation, a first signal splitting model having a 1D network structure and a second signal splitting model having a 2D network structure were fused and used.

보다 구체적으로, 본 발명의 다양한 실시예에 따른 신호 분할 모델은 하이퍼 파라미터가 N=512, T=64에서, 환자 데이터에서 정확도가 0.9559, PPV가 0.9850으로 가장 높은 것으로 나타난다. More specifically, the signal division model according to various embodiments of the present invention shows the highest hyperparameter at N = 512 and T = 64, accuracy of 0.9559 and PPV of 0.9850 in patient data.

이상의 결과에 따라, 신호 엔벨로프 특징 및 신호 스칼로그램 특징, 특히 신호 엔벨로프 및 2D 신호 스칼로그램 특징을 학습 데이터로 이용하여 신호를 분할하도록 학습된 신호 분할 모델이 본 발명의 다양한 실시예에 따른 방법에 적용될 수 있다. According to the above results, a signal segmentation model learned to divide a signal using the signal envelope feature and the signal scalogram feature, particularly the signal envelope and the 2D signal scalogram feature as training data, is a method according to various embodiments of the present invention. can be applied to

즉, 본 발명은 임상적으로 유의미한 심장 신호를 분할하여 제공함에 따라 심장 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다.That is, the present invention can contribute to early diagnosis and good treatment prognosis of heart disease by dividing and providing clinically significant cardiac signals.

도 7b를 참조하면, 신호 엔벨로프 특징 및 신호 스칼로그램 특징 조합 (1D Envelope + 1D CWT, 또는 1D Envelope + 2D CWT) 기반의 신호 분할 결과 (4 클래스; 1 심음, 2 심음, 수축기 또는 이완기) 의 정확도, PPV, 민감도가 도시된다.Referring to FIG. 7B, a signal segmentation result (4 classes; 1 heart sound, 2 heart sounds, systole or diastole) based on a combination of signal envelope features and signal scalogram features (1D Envelope + 1D CWT or 1D Envelope + 2D CWT) Accuracy, PPV, and sensitivity are shown.

보다 구체적으로, 본 발명의 다양한 실시예에 이용되는, 신호 엔벨로프 특징 및 신호 스칼로그램 특징 조합 중, 특히 1차원의 신호 엔벨로프 특징을 분할하도록 학습된 제1 신호 모델 및 2차원의 신호 스칼로그램 특징을 분할하도록 학습된 제2 신호 모델의 조합에서, 각각의 출력 값을 마지막 컨볼루션 층 이전에 융합했을 때 (1D Envelope + 2D CWT (concat at last)) 의 정확도가 0.9518, PPV가 0.9858으로 가장 높은 것으로 나타난다. More specifically, among signal envelope feature and signal scalogram feature combinations used in various embodiments of the present invention, in particular, a first signal model learned to segment a 1-dimensional signal envelope feature and a 2-dimensional signal scalogram In the combination of the second signal model learned to segment the features, when each output value is fused before the last convolution layer, the accuracy of (1D Envelope + 2D CWT (concat at last)) is 0.9518 and the PPV is 0.9858, the highest. appears high.

즉, 본 발명은 임상적으로 유의미한 심장 신호를 분할하여 제공함에 따라 심장 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다. That is, the present invention can contribute to early diagnosis and good treatment prognosis of heart disease by dividing and providing clinically significant cardiac signals.

이하에서는, 도 8, 9a 및 9b를 참조하여, 본 발명의 다양한 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스를 상세히 설명한다.Hereinafter, a device for providing information on heart disease according to various embodiments of the present invention will be described in detail with reference to FIGS. 8, 9a and 9b.

먼저, 도 8을 참조하면, 정보 제공 시스템 (1000) 은, 사용자의 심장 신호, 특히 심장 신호를 기초로 심장 질환과 관련된 정보를 제공하도록 구성된 시스템일 수 있다. 이때, 심장 질환에 대한 정보 제공 시스템 (1000) 은, 심장 신호에 기초하여, 신호를 분할하고 심장 질환 발병 여부를 결정하도록 구성된 심장 질환에 대한 정보 제공용 디바이스 (100), 의료진 디바이스 (200) 및 사용자의 심장 신호를 측정하도록 구성된 심장 신호 측정용 디바이스 (400) 로 구성될 수 있다. First, referring to FIG. 8 , an information providing system 1000 may be a system configured to provide heart disease-related information based on a heart signal of a user, in particular, a heart signal. At this time, the system for providing information on heart disease 1000 includes a device for providing information on heart disease 100 configured to divide a signal based on a heart signal and determine whether a heart disease has occurred, a medical device 200, and It may be configured as a device 400 for measuring a heart signal configured to measure a heart signal of a user.

먼저, 심장 질환에 대한 정보 제공용 디바이스 (100) 는 심장 신호 측정용 디바이스 (400) 로부터 제공된 사용자의 심장 신호를 기초로 심장 질환의 발병 여부를 평가하기 위해 다양한 연산을 수행하는 범용 컴퓨터, 랩탑, 및/또는 데이터 서버 등을 포함할 수 있다. First, the device for providing information on heart disease 100 includes a general-purpose computer, laptop, and and/or a data server and the like.

의료진 디바이스 (200) 는 심장 질환과 연관된 정보가 저장된 웹 페이지를 제공하는 웹 서버 (web server) 또는 모바일 웹 사이트를 제공하는 모바일 웹 서버 (mobile web server) 에 액세스하기 위한 디바이스일 수 있으나, 이에 한정되지 않는다. The medical staff device 200 may be a device for accessing a web server providing a web page storing heart disease-related information or a mobile web server providing a mobile web site, but is limited thereto. It doesn't work.

심장 신호 측정용 디바이스 (400) 는, 심장 질환에 대한 정보 제공용 디바이스 (100) 와 통신하는 통신 모듈이 구비된 전자 청진기일 수 있으나, 이에 제한되는 것은 아니다. The device 400 for measuring heart signals may be an electronic stethoscope equipped with a communication module that communicates with the device 100 for providing information on heart disease, but is not limited thereto.

보다 구체적으로, 심장 질환에 대한 정보 제공용 디바이스 (100) 는 심장 신호 측정용 디바이스 (400) 로부터 심장 신호를 수신하고, 이로부터 특징을 추출하여 심장 질환 또는 정상으로 분류하도록 구성될 수 있다.More specifically, the device 100 for providing information on heart disease may be configured to receive a heart signal from the device 400 for heart signal measurement, extract features therefrom, and classify the heart disease or normal heart disease.

심장 질환에 대한 정보 제공용 디바이스 (100) 는 개체에 대한 심장 질환의 발병 여부 또는 이를 위해 분할된 신호를 의료진 디바이스 (200) 로 제공할 수 있다. The device 100 for providing information on heart disease may provide the medical device 200 with whether or not a heart disease has occurred in an individual or a divided signal for this purpose.

이와 같이 심장 질환에 대한 정보 제공용 디바이스 (100) 로부터 제공되는 데이터는 의료진 디바이스 (200) 에 설치된 웹 브라우저를 통해 웹 페이지로 제공되거나, 어플리케이션, 또는 프로그램 형태로 제공될 수 있다. 다양한 실시예에서 이러한 데이터는 클라이언트-서버 환경에서 플랫폼에 포함되는 형태로 제공될 수 있다.In this way, data provided from the device 100 for providing information on heart disease may be provided as a web page through a web browser installed in the medical device 200, or may be provided in the form of an application or program. In various embodiments, this data may be provided in a form incorporated into the platform in a client-server environment.

다음으로, 의료진 디바이스 (200) 는 개체에 대한 심장 질환 발병에 대한 정보 제공을 요청하고 분석 결과 데이터를 나타내기 위한 사용자 인터페이스를 제공하는 전자 장치로서, 스마트폰, 태블릿 PC (Personal Computer), 노트북 및/또는 PC 등 중 적어도 하나를 포함할 수 있다.Next, the medical device 200 is an electronic device that provides a user interface for requesting information on the onset of heart disease for an object and displaying analysis result data, including a smartphone, a tablet PC (Personal Computer), a laptop computer, and the like. / or PC, etc. may include at least one.

의료진 디바이스 (200) 는 심장 질환에 대한 정보 제공용 디바이스 (100) 로부터 개체에 대한 심장 질환 발병에 관한 정보를 수신할 수 있다. 이때, 수신된 결과는 의료진 디바이스 (200) 의 표시부를 통해 표시될 수 있다. 여기서, 심장 질환 발명에 관한 정보는, 심장 질환의 발병 여부 (예를 들어, 1 또는 0, 정상 또는 비정상 등), 상, 중 또는 하의 심장 질환의 발병 위험도, 심장 질환 발병 확률 등을 포함할 수도 있다. The medical device 200 may receive information about the onset of heart disease for an individual from the device 100 for providing information on heart disease. At this time, the received result may be displayed through the display unit of the medical device 200 . Here, the information on heart disease invention may include the occurrence of heart disease (eg, 1 or 0, normal or abnormal, etc.), upper, middle, or lower risk of heart disease, probability of heart disease, etc. there is.

다음으로, 도 9a를 참조하여, 본 발명의 심장 질환에 대한 정보 제공용 디바이스 (100) 의 구성 요소에 대하여 구체적으로 설명한다. Next, with reference to FIG. 9A, components of the device 100 for providing information on heart disease according to the present invention will be described in detail.

도 9a는 본 발명의 일 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스를 설명하기 위한 개략도이다. 9A is a schematic diagram illustrating a device for providing information on heart disease according to an embodiment of the present invention.

도 9a를 참조하면, 심장 질환에 대한 정보 제공용 디바이스 (100) 는 저장부 (110), 통신부 (120) 및 프로세서 (130) 를 포함한다. Referring to FIG. 9A , a device 100 for providing information on heart disease includes a storage unit 110 , a communication unit 120 and a processor 130 .

먼저, 저장부 (110) 는 개체에 대한 심장 질환 발병 여부를 평가를 위한 다양한 데이터를 저장할 수 있다. 다양한 실시예에서 저장부 (110) 는 플래시 메모리 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.First, the storage unit 110 may store various data for evaluating whether a subject has a heart disease. In various embodiments, the storage unit 110 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg SD or XD memory, etc.), RAM, SRAM, ROM, EEPROM, PROM, magnetic memory , a magnetic disk, and an optical disk may include at least one type of storage medium.

통신부 (120) 는 심장 질환에 대한 정보 제공용 디바이스 (100) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (120) 는 유/무선 통신을 이용하여 의료진 디바이스 (200) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (120) 는 심장 신호 측정용 디바스 (400) 로부터 개체의 심장 신호를 수신하고 의료진 디바이스 (200) 로 분석 결과를 전달할 수 있다.The communication unit 120 connects the device 100 for providing information on heart disease to communicate with an external device. The communication unit 120 is connected to the medical staff device 200 using wired/wireless communication to transmit/receive various data. In detail, the communication unit 120 may receive a heart signal of an object from the heart signal measuring device 400 and transmit an analysis result to the medical device 200 .

프로세서 (130) 는 저장부 (110) 및 통신부 (120) 와 동작 가능하게 연결되며, 개체에 대한 심장 신호를 분석하기 위한 다양한 명령들을 수행할 수 있다. The processor 130 is operatively connected to the storage unit 110 and the communication unit 120, and can perform various commands for analyzing a heart signal for an object.

구체적으로, 프로세서 (130) 는 통신부 (120) 를 통해 심장 신호 측정용 디바이스 (400) 로부터 개체의 심장 신호를 수신하고, 신호를 분할하며, 개체에 대한 심장 질환의 발병 여부를 결정할 수 있다. Specifically, the processor 130 may receive a heart signal of an object from the device 400 for measuring heart signals through the communication unit 120, divide the signal, and determine whether or not a heart disease occurs in the object.

더욱이, 프로세서 (130) 는 심장 신호에 기초하여 신호를 복수의 구간으로 분할하도록 구성된 신호 분할 모델 및 심장 질환의 발병 여부를 분류하도록 구성된 질환 분류 모델에 기초할 수 있다. Further, the processor 130 may be based on a signal division model configured to divide a signal into a plurality of sections based on a cardiac signal and a disease classification model configured to classify whether or not a heart disease has occurred.

따라서, 의료진은 의료진 디바이스 (200) 를 통해, 심장 신호만으로 개체의 심장 질환에 대한 정보를 용이하게 획득할 수 있다. Accordingly, the medical staff can easily obtain information about the subject's heart disease using only the heart signal through the medical staff device 200 .

이와 같이 본 발명은 신호를 분할하고, 심장 질환 발병 여부를 높은 정확도로 분류하여 이에 대한 정보를 제공함에 따라, 심장 질환의 조기 진단 및 좋은 치료 예후에 기여할 수 있다.As described above, the present invention can contribute to early diagnosis of heart disease and good treatment prognosis by dividing signals, classifying heart disease occurrence with high accuracy, and providing information thereon.

한편, 도 9b를 함께 참조하면, 의료진 디바이스 (200) 는 통신부 (210), 표시부 (220), 저장부 (230) 및 프로세서 (240) 를 포함한다. Meanwhile, referring to FIG. 9B , the medical device 200 includes a communication unit 210 , a display unit 220 , a storage unit 230 and a processor 240 .

통신부 (210) 는 의료진 디바이스 (200) 가 외부 장치와 통신이 가능하도록 연결한다. 통신부 (210) 는 유/무선 통신을 이용하여 심장 질환에 대한 정보 제공용 디바이스 (100) 와 연결되어 다양한 데이터를 송수신할 수 있다. 구체적으로, 통신부 (210) 는 심장 질환에 대한 정보 제공용 디바이스 (100) 로부터 개체의 심장 질환의 진단과 연관된 정보를 수신할 수 있다. The communication unit 210 connects the medical device 200 to enable communication with an external device. The communication unit 210 may be connected to the device 100 for providing information on heart disease using wired/wireless communication to transmit/receive various data. Specifically, the communication unit 210 may receive information related to the diagnosis of a heart disease of an object from the device 100 for providing information on a heart disease.

표시부 (220) 는 개체의 심장 질환의 진단과 연관된 정보를 나타내기 위한 다양한 인터페이스 화면을 표시할 수 있다. The display unit 220 may display various interface screens for displaying information related to the diagnosis of a subject's heart disease.

이하에서는 도 10, 11a 및 11b를 참조하여 본 발명의 다양한 실시예에 따른 정보 제공 방법에 대하여 설명한다. 이때, 도 1의 도면 부호가 설명의 편의를 위해 사용된다.Hereinafter, information providing methods according to various embodiments of the present invention will be described with reference to FIGS. 10, 11a and 11b. At this time, reference numerals in FIG. 1 are used for convenience of description.

도 10은 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스에서 개체의 심장 신호에 기반하여 심장 질환에 대한 발병 여부를 결정하는 방법을 설명하기 위한 개략적인 순서도이다. 도 11a 및 11b는 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스에서 심장 질환에 대한 발병 여부를 결정하는 절차를 예시적으로 도시한 것이다.10 is a schematic flowchart illustrating a method of determining whether or not a heart disease has occurred based on a heart signal of a subject in a device for providing information on heart disease according to an embodiment of the present invention. 11A and 11B illustratively illustrates a procedure for determining whether a heart disease has occurred in a device for providing information on heart disease according to an embodiment of the present invention.

먼저, 도 10을 참조하면 본 발명의 일 실시예에 따른 심장 질환에 대한 정보 제공 방법에 따라 개체의 심장 신호가 수신된다 (S310). 그 다음, 신호 분할 모델에 의해 심장 신호가 분할되고 (S320), 질환 분류 모델에 의해 심장 질환 여부가 결정된다 (S330). First, referring to FIG. 10 , according to the method for providing information on heart disease according to an embodiment of the present invention, a heart signal of an individual is received (S310). Then, the heart signal is divided by the signal division model (S320), and the heart disease is determined by the disease classification model (S330).

보다 구체적으로, 개체의 심장 신호가 수신되는 단계 (S310) 에서, 전술한 심장 신호 측정용 디바이스 (400) 로부터 심장 신호가 획득될 수 있다. More specifically, in step S310 of receiving the subject's heart signal, the heart signal may be obtained from the device 400 for measuring heart signals.

그 다음 신호 분할 모델에 의해 심장 신호가 복수의 구간으로 분할된다 (S320).Then, the heart signal is divided into a plurality of sections by a signal division model (S320).

본 발명의 특징에 따르면, 심장 신호가 복수의 구간으로 분할되는 단계 (S320) 에서, 신호 분할 모델에 의해 심장 신호가 복수의 구간으로 분할될 수 있다.According to a feature of the present invention, in step S320 of dividing the heart signal into a plurality of sections, the heart signal may be divided into a plurality of sections by a signal division model.

보다 구체적으로, 심장 신호가 복수의 구간으로 분할되는 단계 (S320) 에서, 신호 분할 모델에 의해 심장 신호가 제1 심음 (S1) 및 제2 심음 (S2) 으로 분할될 수 있다. More specifically, in step S320 of dividing the heart signal into a plurality of sections, the heart signal may be divided into a first heart sound S1 and a second heart sound S2 by a signal division model.

예를 들어, 도 11a를 함께 참조하면, 본 발명의 다른 특징에 따르면, 심장 신호가 복수의 구간으로 분할되는 단계 (S320) 에서, 심장 신호 (4120) 가 신호 분할 모델 (420) 에 입력되고, 그 결과 심장 신호에서 제1 심음 (S1) 및 제2 심음 (S2) 의 구간이 분할될 수 있다. 즉, 심장 신호가 복수의 구간으로 분할되는 단계 (S320) 에서 심장 신호 (4120) 내에서 제1 심음 구간 및 제2 심음 구간이 결정될 수 있다. For example, referring to FIG. 11A together, according to another feature of the present invention, in step S320 of dividing the heart signal into a plurality of sections, the heart signal 4120 is input to the signal division model 420, As a result, sections of the first heart sound (S1) and the second heart sound (S2) can be divided in the heart signal. That is, in the step of dividing the heart signal into a plurality of sections (S320), a first heart sound section and a second heart sound section may be determined within the heart signal 4120.

다시 도 10을 참조하면, 본 발명의 다른 특징에 따라 심장 신호가 복수의 구간으로 분할되는 단계 (S320) 에서, 신호 분할 모델에 의해 심장 신호는 제1 심음, 제2 심음과 함께 수축기 (systole) 및 이완기 (Diastole) 의 구간으로 분할될 수 있다.Referring back to FIG. 10 , according to another feature of the present invention, in the step of dividing the heart signal into a plurality of sections (S320), the heart signal is divided into systole with the first heart sound and the second heart sound by the signal division model. and Diastole period.

그러나 이에 제한되는 것은 아니며, 심장 신호가 복수의 구간으로 분할되는 단계 (S320) 에서, 신호 분할 모델에 의해 심장 신호에 기초하여 제1 심음, 제2 심음과 함께 제3 심음 및 제4 심음이 분할될 수도 있다. However, it is not limited thereto, and in the step of dividing the heart signal into a plurality of sections (S320), the first heart sound, the second heart sound, the third heart sound, and the fourth heart sound are divided based on the heart signal by a signal division model. It could be.

나아가, 심장 신호가 심전도일 경우, 심장 신호가 복수의 구간으로 분할되는 단계 (S320) 에서, 제1 파형, 제2 파형, 제3 파형, 제4 파형 및 제5 파형의 구간이 분할될 수 있다.Furthermore, when the heart signal is an electrocardiogram, in the step of dividing the heart signal into a plurality of sections (S320), sections of the first waveform, the second waveform, the third waveform, the fourth waveform, and the fifth waveform may be divided. .

그 다음, 개체의 심장 질환 여부가 결정되는 단계 (S330) 에서, 심장 신호로부터 결정된 분할된 신호에 기초하여 개체의 심장 질환 여부가 결정된다.Then, in step S330 of determining whether or not the subject has a heart disease, whether or not the subject has a heart disease is determined based on the divided signal determined from the heart signal.

본 발명의 특징에 따르면, 개체의 심장 질환 여부가 결정되는 단계 (S330) 에서, 분할된 신호를 입력으로 하여 심장 질환 발명 여부를 분류하도록 학습된 질환 분류 모델에 의해 개체의 심장 질환 발병 여부가 결정될 수 있다.According to a feature of the present invention, in the step of determining whether or not the subject has a heart disease (S330), whether or not the subject has a heart disease is determined by a disease classification model learned to classify whether or not a heart disease has occurred by using the divided signal as an input can

예를 들어, 도 11a를 함께 참조하면, 개체의 심장 질환 여부가 결정되는 단계 (S330) 에서, 질환 분류 모델 (430) 에 분할된 신호 (422) 가 입력되고, 심장 질환 발병 여부에 따라 정상 (1) 또는 심장질환 (0) 이 출력될 수 있다. 그러나 출력된 값은 이에 제한되는 것이 아니며, 질환 분류 모델 (430) 은 개체의 심장 질환의 증상 정도를 '상', '중' 또는 '하'로 출력하거나, '고' 또는 '저'로 출력하거나, 확률적으로 출력할 수도 있다.For example, referring to FIG. 11A together, in the step of determining whether or not the subject has a heart disease (S330), the divided signal 422 is input to the disease classification model 430, and normal ( 1) or heart disease (0) can be output. However, the output value is not limited thereto, and the disease classification model 430 outputs the symptom severity of the subject's heart disease as 'high', 'medium', or 'low', or outputs as 'high' or 'low'. Or, it can be output probabilistically.

본 발명의 특징에 따르면, 개체의 심장 질환 여부가 결정되는 단계 (S330) 에서, 분할된 신호가 MFCC (Mel-Frequency Cepstral Coefficient) 에 기초하여 음성학적 특징이 추출되고, 음성학적 특징에 기초하여 개체의 심장 질환 발병 여부가 결정될 수 있다.According to a feature of the present invention, in the step of determining whether the subject has a heart disease (S330), a phonetic feature is extracted based on a Mel-Frequency Cepstral Coefficient (MFCC) of the divided signal, and the subject is diagnosed based on the phonetic feature. of heart disease can be determined.

예를 들어, 도 11b를 함께 참조하면, 인간이 소리를 듣는 방식을 반영한 특징 추출 기법인 멜 스펙트럼 기반의 MFCC에 기초하여 분할된 신호 (422) 로부터 기 설정된 수의 음성학적 특징 (424) 이 추출될 수 있다. 보다 구체적으로, 해당 단계에서 700 Hz 미만의 주파수 대역으로 심장 신호의 분석을 위해 13개의 Mel 계수 값이 사용될 수도 있다. 추출된 음성학적 특징 (424) 이 질환 분류 모델 (430) 에 입력되면, 심장 질환 발병 여부에 따라 정상 (1) 또는 심장질환 (0) 이 출력될 수 있다. For example, referring to FIG. 11B together, a predetermined number of phonetic features 424 are extracted from a divided signal 422 based on Mel spectrum-based MFCC, which is a feature extraction technique that reflects the way humans hear sounds. It can be. More specifically, in this step, 13 Mel coefficient values may be used for heart signal analysis in a frequency band of less than 700 Hz. When the extracted phonetic features 424 are input to the disease classification model 430, normal (1) or heart disease (0) may be output depending on whether or not a heart disease occurs.

다시 도 10을 참조하면, 본 발명의 다른 특징에 따라 개체의 심장 질환 여부가 결정되는 단계 (S330) 에서, 분할된 신호가 3 주기 단위로 그룹핑 (grouping) 되고, 3 주기 단위의 신호를 기초로 개체의 심장 질환 발병 여부 (432) 가 결정될 수 있다.Referring back to FIG. 10 , in step S330 of determining whether an individual has a heart disease according to another feature of the present invention, the divided signals are grouped in units of 3 cycles, and based on the signals in units of 3 cycles, Whether the subject has a heart disease (432) can be determined.

예를 들어, 개체의 심장 질환 여부가 결정되는 단계에서 3 주기 단위로 그룹핑된 MFCC가 질환 분류 모델에 입력되고, 미리 결정된 심장 질환의 발병 여부가 0 또는 1로 출력될 수 있다.For example, in the step of determining whether or not the subject has a heart disease, MFCCs grouped in 3-cycle units are input to a disease classification model, and whether or not a heart disease has been determined in advance may be output as 0 or 1.

본 발명의 또 다른 특징에 따르면, 개체의 심장 질환 여부가 결정되는 단계 (S330) 에서, 신호 분할 모델에 의한 제3 심음 또는 제4 심음의 검출 여부에 따라 개체의 심장 질환 발병 여부가 결정될 수 있다.According to another feature of the present invention, in the step of determining whether or not the subject has a heart disease (S330), whether the subject has a heart disease can be determined according to whether the third heart sound or the fourth heart sound is detected by the signal division model. .

신호 분할 모델 및 질환 분류 모델에 의해 결정된, 심장 질환의 발병과 연관된 정보들이 의료진 디바이스 등으로 송신될 수 있다.Information associated with the onset of a heart disease, determined by the signal division model and the disease classification model, may be transmitted to a medical device or the like.

이와 같은 본 발명의 다양한 실시예에 따른 심장 질환에 대한 정보 제공 방법에 의해 의료진은 개체의 심장 질환과 연관된 정보를 획득할 수 있어, 심장 질환 의심 개체에 대한 심장 질환의 조기 진단이 가능할 수 있다.According to the method for providing information on heart disease according to various embodiments of the present invention, a medical staff may obtain information related to a subject's heart disease, so that an early diagnosis of heart disease may be possible for a subject suspected of having a heart disease.

이하에서는 도 12, 도 13a 및 13b를 참조하여 본 발명의 다양한 실시예에 이용되는 신호 분할 모델 및 질환 분류 모델의 구조를 설명한다.Hereinafter, structures of a signal division model and a disease classification model used in various embodiments of the present invention will be described with reference to FIGS. 12, 13A and 13B.

도 12는 본 발명의 다양한 실시예에 적용되는 신호 분할 모델의 구조를 예시적으로 도시한 것이다. 도 13a 및 13b는 본 발명의 다양한 실시예에 적용되는 질환 분할 모델의 구조를 예시적으로 도시한 것이다.12 exemplarily illustrates the structure of a signal splitting model applied to various embodiments of the present invention. 13a and 13b exemplarily illustrate the structure of a disease segmentation model applied to various embodiments of the present invention.

먼저 도 12를 참조하면, 본 발명의 본 발명의 다양한 실시예에서 이용되는 신호 분할 모델 (420) 은, U-net 구조를 가질 수 있다. 도 5의 U 자 형태의 신호 분할 모델에서 왼쪽 영역은 컨볼루션 (convolutional) 층과 지역적 최대값을 뽑아 특징으로 사용하는 맥스 풀링 (max pooling) 층으로 구성된다. 최하단 영역에서 심장 신호 (4120)는 전역적 특징으로 표현될 수 있다. 나아가, 신호 분할 모델의 오른쪽 영역에서는, 최하단 영역에서 얻어졌던 특징들이 상단으로 올라가면서 업 샘플링 (upsampling) 된다. 결과적으로, 입력된 심장 신호 (4120) 는 제1 심음 (S1) 구간, 제2 심음 (S2) 구간, 수축기 (systole) 구간 및 이완기 (Diastole) 구간의 4 개의 채널로 출력되고, 각 구간이 분할되어 결정될 수 있다. 본 발명의 다른 실시예에 따르면, 입력된 심장 신호 (4120) 는 제1 심음 (S1) 구간, 제2 심음 (S2) 구간, 및 기타구간 (예를 들어, 이완기 구간 또는 수축기 구간) 의 3개의 채널로 출력되고, 각 구간이 분할되어 결정될 수 있으나, 이에 한정되는 것은 아니다.Referring first to FIG. 12 , a signal splitting model 420 used in various embodiments of the present invention may have a U-net structure. In the U-shaped signal splitting model of FIG. 5, the left region is composed of a convolutional layer and a max pooling layer that extracts and uses a local maximum value as a feature. In the lowermost region, cardiac signal 4120 can be represented as a global feature. Furthermore, in the right region of the signal division model, features obtained in the lowermost region are upsampled as they go up. As a result, the input heart signal 4120 is output as four channels of a first heart sound (S1) section, a second heart sound (S2) section, a systole section, and a diastole section, and each section is divided. can be determined. According to another embodiment of the present invention, the input heart signal 4120 includes three sections of a first heart sound (S1) section, a second heart sound (S2) section, and other sections (eg, a diastolic section or a systolic section). It is output as a channel, and each section may be divided and determined, but is not limited thereto.

한편, U 형태의 신호 분할 모델에서 왼쪽에서 오른쪽으로 연결된 선 (skip connection) 을 통해, 왼쪽 영역의 특징이 오른쪽 영역의 동일 레벨의 위치에 복사하여 붙여질 수 있다. 이를 통해, 신호 분할 동안, 입력된 심장 신호 (4120) 가 작아짐에 따라 손실된 특징들이 보정될 수 있고, 복사된 특징들은 최하단 영역으로부터 전달되는 특징과 함께 이용될 수 있다. Meanwhile, in the U-shaped signal division model, features of the left region may be copied and pasted to positions of the same level in the right region through a skip connection from left to right. Through this, during signal division, features lost as the input cardiac signal 4120 becomes smaller can be corrected, and copied features can be used together with features transferred from the lowermost region.

즉, 전술한 구조적 특징의 신호 분할 모델은 심장 신호로부터 S1 및 S2의 특징을 효율적으로 학습하도록 설계된 모델일 수 있다. That is, the above-described signal division model of structural features may be a model designed to efficiently learn features of S1 and S2 from heart signals.

본 발명의 다양한 실시예에 따른 정보 제공 방법에서 이용되는, 신호 분할 모델은 전술한 것에 제한되지 않고 보다 다양한 구조를 가질 수 있다.The signal division model used in the information providing method according to various embodiments of the present invention is not limited to the above and may have more diverse structures.

그 다음, 도 13a를 참조하면, 본 발명의 다양한 실시예에 이용되는 질환 분류 모델 (430) 은 합성곱 블록층 (4341), 글로벌 애버리지 풀링층, 및 완전 연결층 (436) 의 복수의 층으로 이루어질 수 있다. Next, referring to FIG. 13A, the disease classification model 430 used in various embodiments of the present invention is a plurality of layers of a convolutional block layer 4341, a global average pooling layer, and a fully connected layer 436. It can be done.

이때, 복수의 층은, 합성곱 블록층 (4341) 및 글로벌 애버리지 풀링층이 복수의 세트로 존재하여 분할된 신호, 특히 3 주기의 분할된 신호의 MFCC (13x450) 로부터 특징을 추출하는 특징 추출층 (434) 및 정상 또는 심장 질환의 심장 질환 여부를 출력하는 출력층의 완전 연결층 (436) 을 포함할 수 있다. At this time, the plurality of layers include a convolution block layer 4341 and a global average pooling layer in a plurality of sets to extract features from the divided signal, in particular, the MFCC (13x450) of the divided signal of 3 cycles. 434 and a fully connected layer 436 of an output layer outputting whether the heart is normal or has a heart disease.

한편, 합성곱 블록층 (4341) 에 입력되는 MFCC의 경우, 개체마다 심장박동 주기가 다를 수 있어, 제로 패딩이 적용되어 인간의 가역 심장박동 범위를 고려한 길이인 720으로 전처리될 수 있다. 즉, 처리가 완료된 입력 데이터는 최종 13×720의 데이터의 형태일 수도 있다.Meanwhile, in the case of the MFCC input to the convolution block layer 4341, since the heartbeat period may be different for each entity, zero padding may be applied to preprocess the length to 720 considering the reversible heartbeat range of a human. That is, the processed input data may be in the form of final 13×720 data.

이때, 특징 추출층 (434) 은 합성곱 블록층 (4341) 및 글로벌 애버리지 풀링층이 교번하는 4 개의 세트가 연결된 구조일 수 있으나 이에 제한되는 것은 아니다. In this case, the feature extraction layer 434 may have a structure in which four alternating sets of the convolution block layer 4341 and the global average pooling layer are connected, but is not limited thereto.

한편, 글로벌 애버리지 풀링층은 전체 크기에 대하여 평균을 구하는 것이 아니라 실제 유효 길이에 맞는 계산이 수행되어 네트워크의 성능을 개선시킬 수 있다. 특히, 질환 분류 모델 (430) 의 글로벌 애버리지 풀링층은 입력 데이터의 유효 길이에 대한 평균을 산출하여 입력 데이터의 유효 특징을 추출할 수 있다.On the other hand, the global average pooling layer can improve the performance of the network by performing calculations suitable for the actual effective length rather than obtaining an average over the entire size. In particular, the global average pooling layer of the disease classification model 430 can extract an effective feature of the input data by averaging the effective length of the input data.

즉, 질환 분류 모델 (430) 은 길이 적응형 네트워크 구조를 가질 수 있다. That is, the disease classification model 430 may have a length-adaptive network structure.

도 6b를 참조하면, 합성곱 블록층 (4341) 은 2 세트의 1차원 합성곱 연산층 (4341a) 및 활성 함수층 (4341b) 포함할 수 있다. 이때, 활성 함수는 렐루 (Rectified Linear Unit; ReLU) 일 수 있다. 이때, 합성곱 블록층 (4341) 의 필터 개수는 32개를 시작으로 두배씩 증가하여 512개를 최대로 할 수 있다.Referring to FIG. 6B , the convolution block layer 4341 may include two sets of one-dimensional convolution operation layers 4341a and an active function layer 4341b. In this case, the activation function may be Rectified Linear Unit (ReLU). At this time, the number of filters in the convolution block layer 4341 can be increased by two times starting from 32 to a maximum of 512.

한편, 모델의 학습 단계에서 질환 분류 모델 (430) 의 하이퍼 파라미터는 깊이 (층의 개수) 는 5, 필터 개수는 32, 배치 사이즈는 64일 수 있으나, 이에 제한되는 것은 아니다. Meanwhile, in the model learning step, hyperparameters of the disease classification model 430 may have depth (number of layers) of 5, number of filters of 32, and batch size of 64, but are not limited thereto.

평가: 심장 질환에 대한 정보 제공용 디바이스의 심장 신호 분할 성능 평가Evaluation: Cardiac signal segmentation performance evaluation of a device for providing information about heart disease

이하에서는, 도 14를 참조하여, 본 발명의 일 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스의 평가 결과를 설명한다.Hereinafter, an evaluation result of a device for providing information on heart disease according to an embodiment of the present invention will be described with reference to FIG. 14 .

도 14는 신호 분할 모델 기반의 본 발명의 실시예에 따른 심장 질환에 대한 정보 제공용 디바이스의 평가 결과를 도시한 것이다. 14 illustrates an evaluation result of a device for providing information on heart disease according to an embodiment of the present invention based on a signal division model.

본 평가에서는, 심장 신호, 특히 신호 엔벨로프 단독 (1D Envelope) 데이터를 이용한 심음 분류 결과의 정확도 (Accuracy), PPV (Positive Predictive Value), 민감도 (Sensitivity) 가 산출된다.In this evaluation, accuracy, PPV (Positive Predictive Value), and sensitivity of a heart sound classification result using cardiac signals, in particular, signal envelope-only (1D envelope) data, are calculated.

보다 구체적으로, 본 발명의 다양한 실시예에 이용되는, 신호 분할 모델은, 심음 분류의 정확도가 0.92, ppv는 0.9373 및 민감도는 0.9374로 나타난다. More specifically, the signal division model used in various embodiments of the present invention shows heart sound classification accuracy of 0.92, ppv of 0.9373, and sensitivity of 0.9374.

이러한 결과는, 심장 신호 (신호 엔벨로프) 에 기초한 신호 분할의 정확도가 높다는 것을 의미할 수 있다.This result can mean that the accuracy of signal division based on cardiac signals (signal envelopes) is high.

이상의 결과에 따라, 심장 신호, 특히 신호 엔벨로프를 학습 데이터로 이용하여 신호를 분할하도록 학습된 신호 분할 모델이 본 발명의 다양한 실시예에 따른 정보 제공 방법에 적용될 수 있다. According to the above results, a signal division model learned to divide a signal using a heart signal, particularly a signal envelope as learning data, may be applied to an information providing method according to various embodiments of the present invention.

나아가, 의료진은 CT, MRI 등의 추가 진단 절차 없이 심장 질환 의심 개체에 대한 정보를 획득할 수 있어, 심장 질환에 대한 신속한 진단이 가능할 수 있다.Furthermore, since the medical staff can obtain information on an object suspected of heart disease without additional diagnostic procedures such as CT and MRI, rapid diagnosis of heart disease may be possible.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although the embodiments of the present invention have been described in more detail with reference to the accompanying drawings, the present invention is not necessarily limited to these embodiments, and may be variously modified and implemented without departing from the technical spirit of the present invention. . Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

Claims

A cardiac signal division method implemented by a processor, comprising:

receiving a subject's heart signal;

determining signal envelope characteristics and signal scalogram characteristics from the cardiac signal, respectively;

Dividing the signal envelope feature into a plurality of sections using a first signal division model learned to divide the signal by taking the signal envelope feature as an input;

Dividing the signal scalogram feature into a plurality of sections using a second signal division model learned to divide the signal by taking the signal scalogram feature as an input; and

And dividing the heart signal into a plurality of sections based on a plurality of sections divided by each of the first signal splitting model and the second signal splitting model.

According to claim 1,

The signal envelope characteristics are:

At least one of a homomorphic envelope, a Hilbert envelope, a power spectral density (PSD) envelope, and a wavelet envelope;

The signal scalogram features

It is characterized by CWT (Continuous Wavelet Transform),

The cardiac signal is a phonocardiogram (PCG) or an electrocardiogram (ECG; electrocardiogram or EKG; Elektro kardiogramm).

According to claim 2,

The signal envelope characteristics are:

is the isomorphic envelope,

The step of determining each of the characteristics,

performing homomorphic filtering converts on the cardiac signal to obtain the homomorphic envelope; and

determining characteristics of the signal scalogram for the cardiac signal.

According to claim 2,

The signal envelope characteristics are:

The Hilbert envelope,

The step of determining each of the characteristics,

performing a Hilbert transform on the cardiac signal to obtain the Hilbert envelope; and

determining characteristics of the signal scalogram for the cardiac signal.

According to claim 2,

The signal envelope characteristics are:

The PSD envelope,

The step of determining each of the characteristics,

performing Fast Fourier Transform (FFT) on the cardiac signal to obtain the PSD envelope; and

determining characteristics of the signal scalogram for the cardiac signal.

According to claim 2,

The signal envelope characteristics are:

the wavelet envelope,

The step of determining each of the characteristics,

performing wavelet transform on the cardiac signal to obtain the wavelet envelope; and

determining characteristics of the signal scalogram for the cardiac signal.

According to claim 1,

The first signal division model,

It has a 1D convolutional neural network (CNN) structure,

The signal scalogram feature is a two-dimensional scalogram,

The second signal division model,

Cardiac signal segmentation method having a two-dimensional CNN structure.

According to claim 1,

Dividing the cardiac signal into a plurality of sections,

Dividing the heart signal into a plurality of sections using a concatenation module connected to the output layer of the first signal splitting model and the output layer of the second signal splitting model, respectively.

According to claim 8,

Dividing the cardiac signal into a plurality of sections,

reducing a dimensionality of an output value of the second signal splitting model by using a global average pooling layer between the output layer of the second signal splitting model and the splicing module;

Splicing the output value of the reduced-dimensional second signal splitting model and the output value of the first signal splitting model using the splicing module; and

Dividing the heart signal into a plurality of intervals based on the combined output values.

According to claim 1,

The first signal division model,

A model learned to divide a first heart sound (S1) and a second heart sound (S2) by taking the signal envelope feature as an input;

The second signal division model,

The heart signal segmentation method of claim 1 , wherein the heart signal segmentation method is a model learned to segment a first heart sound and a second heart sound by taking the signal scalogram feature as an input.

According to claim 10,

The first signal division model,

A model learned to divide a first heart sound, a second heart sound, a systole, and a diastole by taking the signal envelope feature as an input,

The second signal division model,

The heart signal segmentation method of claim 1 , wherein the model is learned to divide a first heart sound, a second heart sound, a systolic period, and a diastolic period by taking the signal scalogram feature as an input.

According to claim 1,

After dividing the heart signal into a plurality of sections,

The heart signal division method further comprising the step of determining whether a heart disease has occurred based on the heart signal divided into a plurality of sections.

A communication unit configured to receive a cardiac signal of the subject, and

A processor coupled to communicate with the communication unit;

the processor,

determining a signal envelope characteristic and a signal scalogram characteristic from the cardiac signal, respectively;

Dividing the signal scalogram feature into a plurality of sections using a second signal division model learned to divide the signal by taking the signal scalogram feature as an input;

and divides the cardiac signal into a plurality of intervals based on the plurality of intervals divided by each of the first signal splitting model and the second signal splitting model.

According to claim 13,

The signal envelope characteristics are:

A device for dividing a heart signal, which is at least one of a homomorphic envelope, a Hilbert envelope, a power spectral density (PSD) envelope, and a wavelet envelope.

According to claim 14,

The signal envelope characteristics are:

is the isomorphic envelope,

the processor,

performing homomorphic filtering converts on the cardiac signal to obtain the homomorphic envelope;

A device for segmentation of a cardiac signal, configured to determine a characteristic of the signal scalogram with respect to the cardiac signal.

According to claim 14,

The signal envelope characteristics are:

The Hilbert envelope,

the processor,

Performing a Hilbert transform on the heart signal to obtain the Hilbert envelope;

According to claim 14,

The signal envelope characteristics are:

The PSD envelope,

the processor,

Performing Fast Fourier Transform (FFT) on the cardiac signal to obtain the PSD envelope;

According to claim 14,

The signal envelope characteristics are:

the wavelet envelope,

the processor,

performing wavelet transform on the cardiac signal to obtain the wavelet envelope;

According to claim 14,

the processor,

Further configured to divide the heart signal into a plurality of sections using a concatenation module connected to each of the output layer of the first signal splitting model and the output layer of the second signal splitting model.

According to claim 19,

the processor,

reducing the dimensionality of the output value of the second signal splitting model using a global average pooling layer between the output layer of the second signal splitting model and the splicing module;

combining an output value of the reduced-dimensional second signal splitting model and an output value of the first signal splitting model using the splicing module;

and further configured to divide the cardiac signal into a plurality of intervals based on the combined output values.