[go: up one dir, main page]

TWI848197B - 呼吸功能檢測方法及裝置 - Google Patents

呼吸功能檢測方法及裝置 Download PDF

Info

Publication number
TWI848197B
TWI848197B TW109146891A TW109146891A TWI848197B TW I848197 B TWI848197 B TW I848197B TW 109146891 A TW109146891 A TW 109146891A TW 109146891 A TW109146891 A TW 109146891A TW I848197 B TWI848197 B TW I848197B
Authority
TW
Taiwan
Prior art keywords
breathing
classification
receiving device
sound receiving
classification models
Prior art date
Application number
TW109146891A
Other languages
English (en)
Other versions
TW202224628A (zh
Inventor
陳之碩
林蕙鈴
陳昶瑞
張榮興
卡 梅
李耕岳
Original Assignee
國立清華大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立清華大學 filed Critical 國立清華大學
Priority to TW109146891A priority Critical patent/TWI848197B/zh
Priority to US17/234,824 priority patent/US20220202389A1/en
Publication of TW202224628A publication Critical patent/TW202224628A/zh
Application granted granted Critical
Publication of TWI848197B publication Critical patent/TWI848197B/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Measuring devices for evaluating the respiratory organs
    • A61B5/087Measuring breath flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

呼吸功能檢測方法及裝置。所述方法包括:訓練多個分類模型,透過收音裝置來對呼吸聲音進行收音,以產生呼吸訊號,並且經由已訓練的各分類模型來對呼吸訊號進行分類,以獲得對應於各分類模型的分類結果。

Description

呼吸功能檢測方法及裝置
本發明是有關於一種生理狀態檢測方法及裝置,且特別是有關於一種呼吸功能檢測方法及裝置。
由於工業和氣候變化的迅速發展導致嚴重的空氣污染,呼吸功能障礙目前已成為緊急的公共衛生問題。
而為了識別呼吸功能障礙,開發了各種臨床測定法。然,現有作法皆需要訓練有素的專家和複雜的設備,因而限制了對公眾的普及性。
本發明提供一種呼吸功能檢測方法及裝置,可即時來檢測呼吸功能。
本發明的呼吸功能檢測方法,包括:訓練多個分類模型;透過收音裝置來對呼吸聲音進行收音,以產生呼吸訊號;以及經由已訓練的所述分類模型分別來對呼吸訊號進行分類,以獲得對 應於各分類模型的分類結果。
在本發明的一實施例中,所述訓練分類模型的步驟包括:基於反應於多個肺部生理狀況的參數,控制氣流產生器產生用以模擬呼吸的多種氣流;透過收音裝置對這些氣流進行收音而產生多個訓練訊號;以及利用所述訓練訊號來訓練所述分類模型。
在本發明的一實施例中,所述訓練分類模型的步驟包括:基於多個病人呼吸圖譜來產生所述訓練訊號;以及利用所述訓練訊號來訓練所述分類模型。
在本發明的一實施例中,所述分類模型包括支持向量機(Support Vector Machine,SVM)模型、卷積神經網路模型(Convolutional Neural Network,CNN)以及應用長短期記憶的複合卷積神經網路(compounded CNN with Long Short Term Memory,ConvLSTM)模型。
在本發明的一實施例中,所述收音裝置以非接觸方式進行收音。
在本發明的一實施例中,所述收音裝置為麥克風。
本發明的呼吸功能檢測裝置,包括:收音裝置以及運算裝置。運算裝置,耦接至收音裝置,並配置以:訓練多個分類模型;透過收音裝置來對呼吸聲音進行收音,以產生呼吸訊號;以及經由已訓練的所述分類模型分別來對呼吸訊號進行分類,以獲得對應於各分類模型的分類結果。
基於上述,使用機器學習算法來建立多個分類模型,通 過直接對使呼吸聲音進行收音來幫助識別呼吸功能是否異常。據此作為需要持續保持警惕的患者的監測設備。
100:呼吸功能檢測裝置
110:運算裝置
130:收音裝置
S210~S230:呼吸功能檢測方法的各步驟
310:訓練訊號
320:SVM模型
330:CNN模型
340:ConvLSTM模型
350:分類結果
圖1是依照本發明一實施例的呼吸功能檢測裝置的方塊圖。
圖2是依照本發明一實施例的呼吸功能檢測方法的流程圖。
圖3是依照本發明一實施例的訓練分類模型的示意圖。
圖4是依照本發明一實施例的分類模組準確率的比較圖。
圖1是依照本發明一實施例的呼吸功能檢測裝置的方塊圖。請參照圖1,呼吸功能檢測裝置100包括運算裝置110以及收音裝置130。運算裝置110可透過有線方式或無線方式耦接至收音裝置130。而收音裝置130可內建於運算裝置110,也可外接至運算裝置110。運算裝置110為具有運算功能的電子裝置。例如,運算裝置110為筆記型電腦、平板電腦、智慧型手機等。
收音裝置130例如為手持式的麥克風,其可以非接觸方式進行收音。在一實施例中,可將收音裝置130與運算裝置110整合為至穿戴式裝置或可攜式電子裝置上。例如,在智慧型手錶或智慧型手機上設置收音裝置130以便於使用者來收集呼吸聲音。
在一實施例中,可在訓練分類模型的過程中,利用氣流 產生器產生用以模擬呼吸的多種氣流。具體而言,透過運算裝置110控制氣流產生器基於反應於多個肺部生理狀況的參數來產生氣流。例如,根據肺的順應性(Lung Compliance)和抵抗力來模擬病理狀況,藉此重建多種呼吸模式,以基於各呼吸模式來產生對應的氣流(模擬呼吸的氣流)。呼吸氣流依賴於肺的彈性後坐力和氣道阻力之間的平衡。肺順應性表明經肺壓的肺活量變化,而氣道阻力規定呼吸壓力下的流速。順應性和抵抗力都是量化呼吸系統功能的重要指標。
在訓練模型階段,將收音裝置130移動至氣流產生器的輸出口附近,以對氣流產生器所產生的氣流進行收音來產生訓練訊號。之後,將訓練訊號傳送給運算裝置110來訓練多個分類模型。
另外,在另一實施例中,利用呼吸描記器(Pneumograph)來對多個病人進行測量,以此獲得多個病人呼吸圖譜。呼吸描記器用以記錄呼吸中胸部運動的速度和力量。而運算裝置110基於這些病人呼吸圖譜來產生多個訓練訊號,並利用這些訓練訊號來訓練分類模型。
又,亦可直接針對多個病人進行呼吸聲音的收音,據此來建立訓練用的聲音資料庫。
圖2是依照本發明一實施例的呼吸功能檢測方法的流程圖。請同時參照圖1及圖2,首先,在步驟S210中,訓練多個分類模型。在此,可藉由氣流產生器來產生用以模擬呼吸的多種氣 流。例如,運算裝置110基於反應於多個肺部生理狀況的參數,控制氣流產生器產生氣流。接著,透過收音裝置130對所述氣流進行收音而產生多個訓練訊號。另外,在其他實施例中,運算裝置110也可基於多個病人呼吸圖譜來產生多個訓練訊號。之後,運算裝置110便可利用所述訓練訊號來訓練分類模型。
在本實施例中,所述分類模型包括支持向量機(Support Vector Machine,SVM)模型、卷積神經網路(Convolutional Neural Network,CNN)模型以及應用長短期記憶的複合卷積神經網路(compounded CNN with Long Short Term Memory,ConvLSTM)模型。然,在此僅為舉例說明,並不以此為限。
在此,SVM模型是使用Python程式語言的自由軟體機器學習庫(例如Scikit-learn庫)來實現。而具有TensorFlow後端的Keras庫則用於神經網路結構。
在本實施例中,採用9成分的主成分分析(Principal Component Analysis,PCA)來提取特徵,以搭配SVM模型使用。
而CNN模型包括2個卷積層(Convolutional layer)。第一層卷積層包含5個濾波器。每一個濾波器的卷積核尺寸(kernel size)為5×1,步長(stride)為5,且具有整流線性(Rectified Linear Units layer,ReLU)激活函數以及L2正規化(L2 regularization)。接著,使用大小為2和0.5的釋放層(dropout layer)的最大池化(max pooling)。第二層卷積層包含20個濾波器,其使用參數與第一層相同。在全連接層(Fully Connected layer)中,使用30個 隱藏神經元和ReLU激活函數。在最終密集層(final dense layer)中,使用softmax激活函數,以生成逐級分類機率。
另外,在ConvLSTM模型中,在密集層(dense layer)之前引入了具有ReLU激活函數和L2正規化功能的附加64單元的LSTM層。並且,使用Adam等最佳化器(optimizer)來進行權重優化,以最小化兩個神經網路模型(neural network(NN)model)中的分類交叉熵(cross entropy)的損失。
圖3是依照本發明一實施例的訓練分類模型的示意圖。圖4是依照本發明一實施例的分類模組準確率的比較圖。請參照圖3及圖4,將多個訓練訊號310分別作為SVM模型320、CNN模型330以及ConvLSTM模型340的輸入來獲得分類結果350。
在本實施例中,氣流產生器針對特定生理條件進行參數設置,以建立多種呼吸模式,再透過收音裝置130來獲得訊練訊號310。例如,使用了兩個極端COPD水平(底下稱為輕微COPD、嚴重COPD)來從嚴重病例中識別出輕度病例。每種疾病重建了75種不同的呼吸模式。
在此,聲音波形直接用於訓練SVM模型320、CNN模型330以及ConvLSTM模型340,以便區分輕微COPD、嚴重COPD、ILD以及正常狀態。如圖4所示,SVM模型320、CNN模型330以及ConvLSTM模型340的準確率皆保持在90%以上。
在監督學習領域中,SVM模型320是具有高維特徵映射函數的強大分類器,可通過超平面(hyperplane)使得類別分離。 但是,這種淺層機器學習技術適用於小型資料集。隨著資料集的資料數量的增加以及更多類別可供選擇,重疊特徵會使支持向量不堪負荷,從而導致性能下降。對於一個具有大量類別重疊的足夠大的資料集,CNN模型330和ConvLSTM模型340則優於SVM模型320。
在分類模型訓練完之後,在步驟S220中,透過收音裝置130來對呼吸聲音進行收音,以產生呼吸訊號。在此,利用手持式的收音裝置以非接觸方式對目標對象的呼吸聲音進行收音。
之後,在步驟S230中,經由已訓練的分類模型(如圖3所示的SVM模型320、CNN模型330以及ConvLSTM模型340)分別來對呼吸訊號進行分類,以獲得對應於各分類模型的分類結果。之後,還可根據所獲得多個分類結果來進行交叉驗證。另外,在其他實施例中,在步驟S230中亦可只採用準確率最高的分類模型來進行分類。
綜上所述,本揭露使用機器學習算法來建立多個分類模型,通過直接對呼吸聲音進行收音來幫助識別呼吸功能是否異常。據此作為需要持續保持警惕的患者的監測設備,並且大幅簡化了輸入數據的取得方式。
與當前常用測定方法需要專業和複雜設備的繁重需求相反,本揭露使用低成本的收音裝置(例如麥克風)即能夠達成呼吸功能監測的效果。這種方法可以為初步診斷提供基礎,並且可以進一步有助於呼吸道健康的即時檢驗。
S210~S230:呼吸功能檢測方法的各步驟

Claims (6)

  1. 一種呼吸功能檢測方法,包括:訓練多個分類模型,其中訓練該些分類模型的步驟包括:基於反應於多個肺部生理狀況的參數,控制一氣流產生器產生用以模擬呼吸的多種氣流,透過該收音裝置對該些氣流進行收音而產生多個訓練訊號,或者,利用呼吸描記器(Pneumograph)來對多個病人進行測量,記錄該些病人呼吸中胸部運動的速度和力量,以獲取多個病人呼吸圖譜,基於該些病人呼吸圖譜來產生該些訓練訊號;以及利用該些訓練訊號來訓練該些分類模型;透過一收音裝置來對一呼吸聲音進行收音,以產生一呼吸訊號;以及經由已訓練的該些分類模型分別來對該呼吸訊號進行分類,其中該些分類模型包括支持向量機模型、卷積神經網路模型以及應用長短期記憶的複合卷積神經網路模型,以獲得對應於各該些分類模型的各分類結果;根據所獲得各該分類結果來進行交叉驗證各該些分類模型對該呼吸訊號進行分類的準確率;以及選擇該準確率最高的分類模型來對該呼吸訊號進行分類。
  2. 如請求項1所述的呼吸功能檢測方法,其中該收音裝置以非接觸方式進行收音。
  3. 如請求項1所述的呼吸功能檢測方法,其中該收音裝置為麥克風。
  4. 一種呼吸功能檢測裝置,包括:一收音裝置;以及一運算裝置,耦接至該收音裝置,並配置以:訓練多個分類模型,其中該運算裝置耦接至一氣流產生器,且經配置以控制該氣流產生器基於反應於多個肺部生理狀況的參數來產生多種氣流,該收音裝置對該些氣流進行收音而產生多個訓練訊號,或者,利用呼吸描記器(Pneumograph)來對多個病人進行測量,記錄該些病人呼吸中胸部運動的速度和力量,以獲取多個病人呼吸圖譜,基於該些病人呼吸圖譜來產生該些訓練訊號,該運算裝置自該收音裝置獲得該些訓練訊號,以利用該些訓練訊號來訓練該些分類模型;透過該收音裝置來對一呼吸聲音進行收音,以產生一呼吸訊號;以及經由已訓練的該些分類模型分別來對該呼吸訊號進行分類,其中該些分類模型包括支持向量機模型、卷積神經網路模型以及應用長短期記憶的複合卷積神經網路模型,以獲得對應於各該些分類模型的各分類結果;根據所獲得各該分類結果來進行交叉驗證各該些分類模型對該呼吸訊號進行分類的準確率;以及選擇該準確率最高的分類模型來對該呼吸訊號進行分類。
  5. 如請求項4所述的呼吸功能檢測裝置,其中該收音裝置以非接觸方式進行收音。
  6. 如請求項4所述的呼吸功能檢測裝置,其中該收音裝置為麥克風。
TW109146891A 2020-12-30 2020-12-30 呼吸功能檢測方法及裝置 TWI848197B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109146891A TWI848197B (zh) 2020-12-30 2020-12-30 呼吸功能檢測方法及裝置
US17/234,824 US20220202389A1 (en) 2020-12-30 2021-04-20 Method and apparatus for detecting respiratory function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109146891A TWI848197B (zh) 2020-12-30 2020-12-30 呼吸功能檢測方法及裝置

Publications (2)

Publication Number Publication Date
TW202224628A TW202224628A (zh) 2022-07-01
TWI848197B true TWI848197B (zh) 2024-07-11

Family

ID=82120282

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146891A TWI848197B (zh) 2020-12-30 2020-12-30 呼吸功能檢測方法及裝置

Country Status (2)

Country Link
US (1) US20220202389A1 (zh)
TW (1) TWI848197B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024091194A1 (en) * 2022-10-26 2024-05-02 Li̇nus Ses Teknoloji̇leri̇ Medi̇kal Sanayi̇ Ve Ti̇caret Li̇mi̇ted Şi̇rketi̇ Respiratory measurement and monitoring system
CN116920346B (zh) * 2023-08-01 2024-03-22 深圳市万景数字有限公司 一种基于虚拟现实的呼吸训练方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201643865A (zh) * 2015-06-03 2016-12-16 創心醫電股份有限公司 識別生理聲音的方法以及系統
US20190192047A1 (en) * 2012-06-18 2019-06-27 Breathresearch Method and apparatus for performing dynamic respiratory classification and analysis for detecting wheeze particles and sources
TW201935468A (zh) * 2016-11-11 2019-09-01 美商維托臣股份有限公司 聲音定位系統和方法
WO2020243701A1 (en) * 2019-05-30 2020-12-03 Insurance Services Office, Inc. Systems and methods for machine learning of voice attributes
CN112052896A (zh) * 2020-09-03 2020-12-08 推想医疗科技股份有限公司 图像处理方法及装置,分类模型的训练方法及装置
CN112150442A (zh) * 2020-09-25 2020-12-29 帝工(杭州)科技产业有限公司 基于深度卷积神经网络及多实例学习的新冠诊断系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8932227B2 (en) * 2000-07-28 2015-01-13 Lawrence A. Lynn System and method for CO2 and oximetry integration
CN102107037A (zh) * 2009-12-28 2011-06-29 周常安 气体递送系统
CN104688232B (zh) * 2015-03-23 2017-12-01 北京怡和嘉业医疗科技股份有限公司 一种睡眠呼吸暂停的检测方法及设备
WO2021067860A1 (en) * 2019-10-03 2021-04-08 DawnLight Technologies Inc. Systems and methods for contactless sleep monitoring

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190192047A1 (en) * 2012-06-18 2019-06-27 Breathresearch Method and apparatus for performing dynamic respiratory classification and analysis for detecting wheeze particles and sources
TW201643865A (zh) * 2015-06-03 2016-12-16 創心醫電股份有限公司 識別生理聲音的方法以及系統
TW201935468A (zh) * 2016-11-11 2019-09-01 美商維托臣股份有限公司 聲音定位系統和方法
WO2020243701A1 (en) * 2019-05-30 2020-12-03 Insurance Services Office, Inc. Systems and methods for machine learning of voice attributes
CN112052896A (zh) * 2020-09-03 2020-12-08 推想医疗科技股份有限公司 图像处理方法及装置,分类模型的训练方法及装置
CN112150442A (zh) * 2020-09-25 2020-12-29 帝工(杭州)科技产业有限公司 基于深度卷积神经网络及多实例学习的新冠诊断系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
期刊 余勝智 肺音感測系統之設計與實現 國立臺灣師範大學機電科技學系碩士論文 97年7月
期刊 林嘉賢 人體呼吸控制模擬器之人機介面整合 逢甲大學自動控制工程學系碩士班碩士論文 96年7月6日;期刊 余勝智 肺音感測系統之設計與實現 國立臺灣師範大學機電科技學系碩士論文 97年7月 *

Also Published As

Publication number Publication date
US20220202389A1 (en) 2022-06-30
TW202224628A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
Shi et al. Lung sound recognition algorithm based on vggish-bigru
Mukherjee et al. Automatic lung health screening using respiratory sounds
CN114467142B (zh) 通过声音分析的肺部健康感测
JP2019531792A (ja) 異常心音の検出のための分類器アンサンブル
TWI848197B (zh) 呼吸功能檢測方法及裝置
Vhaduri et al. Environment knowledge-driven generic models to detect coughs from audio recordings
CN118787831A (zh) 一种情绪感知及干预系统、方法、装置和机器人
KR20230135844A (ko) 생체 및 감성 반응형 마스킹 사운드 자동 제어 장치, 방법 및 시스템
Balasubramanian et al. Machine Learning-Based Classification of Pulmonary Diseases through Real-Time Lung Sounds.
Palaniappan et al. Classification of pulmonary pathology from breath sounds using the wavelet packet transform and an extreme learning machine
Kafentzis et al. Predicting tuberculosis from real-world cough audio recordings and metadata
Wanasinghe et al. CNN-based optimization for lung sound classification with mobile accessibility
US20220409089A1 (en) A cough detection system and method
Malik et al. Classification of Normal and Crackles Respiratory Sounds into Healthy and Lung Cancer Groups.
Porieva et al. Investigation of lung sounds features for detection of bronchitis and COPD using machine learning methods
Hakkı et al. Detection of wheeze sounds in respiratory disorders: a deep Learning approach
Bhosale et al. Contrastive Learning of Cough Descriptors for Automatic COVID-19 Preliminary Diagnosis.
Shokouhmand et al. Adventitious Pulmonary Sound Detection: Leveraging SHAP Explanations and Gradient Boosting Insights
Bhatta et al. Respiratory analysis—detection of various lung diseases using audio signals
CN114680867A (zh) 呼吸功能检测方法及装置
Hakki et al. Wheeze events detection using convolutional recurrent neural network
Dexuan et al. Classification of Respiratory Sounds into Crackles and Noncrackles Categories via Convolutional Neural Networks
Li et al. CSMT: Combining Snoring and Metadata-based Text for Sleep Apnea Severity Classification
Salor-Búrdalo et al. Respiratory Sound Classification Using an Attention LSTM Model with Mixup Data Augmentation
Zhang et al. High-Accuracy Lung Sound Classification for Healthy versus Unhealthy Diagnosis Using Artificial Neural Network High-Accuracy Lung Sound Classification for Pulmonary Disease Diagnosis Using Artificial Neural Network