TWI784811B - 腸道內視鏡移動速率監測方法及系統 - Google Patents
腸道內視鏡移動速率監測方法及系統 Download PDFInfo
- Publication number
- TWI784811B TWI784811B TW110143933A TW110143933A TWI784811B TW I784811 B TWI784811 B TW I784811B TW 110143933 A TW110143933 A TW 110143933A TW 110143933 A TW110143933 A TW 110143933A TW I784811 B TWI784811 B TW I784811B
- Authority
- TW
- Taiwan
- Prior art keywords
- intestinal
- rate
- endoscope
- image
- processor
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Endoscopes (AREA)
Abstract
一種腸道內視鏡移動速率監測方法中,處理器利用AI演算法分析在實體模擬腸道中且分別以多個速率移動的影像拍攝模組在每一移動速率移動的相同期間且以相同幀率拍攝所獲得的多組模擬腸道影像以建立初始速率判定模型;根據該初始速率判定模型分析多個實際腸道影片所產生的速率判定結果,從該等實際腸道影片擷取出判定速率為該等速率的多個影片段;利用該等影片段訓練該初始速率判定模組以獲得速率判定模組;及利用該速率判定模組依序分析內視鏡於受測腸道拍攝之連續受測腸道影像以輸出對應於每一受測腸道影像所判定出的該內視鏡的移動速率。
Description
本發明是有關於腸道內視鏡移動速率之監測,特別是指一種腸道內視鏡移動速率監測方法及系統。
目前例如用於腸道的內視鏡檢查通常是透過由人為操控且連接內視鏡的手持裝置並搭配用來顯示內視鏡所拍攝到的腸道內部影像的螢幕來進行作業,而內視鏡在腸道中的移動主要由如醫師的操作者憑自身使用經驗來操控。
然而,上述人為操控方式常常容易發生因內視鏡移動速率過快而未能有效地觀察出腸道內部情況。
因此,對於腸道內視鏡的操作者而言,如何能使其避免內視鏡移動速率過快之操作以確保有效的腸道內部觀察已成為相關技術領域所欲解決的議題之一。
因此,本發明的目的,即在提供一種腸道內視鏡移動速率監測方法及系統,其能克服現有技術至少一個缺點。
於是,本發明所提供的一種腸道內視鏡移動速率監測方法係用於監測處於一受測腸道內的一內視鏡的移動速率,並包含以下步驟:(A)藉由一影像拍攝模組,其在一實體的模擬腸道中分別以多個預定速率移動,並在以每一預定速率移動同一預定時間內以一預定幀率拍攝該模擬腸道的內部,以獲得分別對應於該等預定速率的多組模擬腸道影像;(B)藉由一處理器,利用一預定機器學習演算法分析該等組模擬腸道影像,以建立一基於影像辨識來判定該影像拍攝模組之移動速率的初始速率判定模型;(C)藉由該處理器,將多個實際腸道影片饋入該初始速率判定模型,以使該初始速率判定模型透過分析每一實際腸道影片所含的影像而產生對應的速率判定結果;(D)藉由該處理器,根據該初始速率判定模型產生分別對應於該等實際腸道影片的所有速率判定結果,從該等實際腸道影片擷取出具有相符於該等預定速率之多個判定速率的多個影片段;(E)藉由該處理器,利用該等影片段訓練該初始速率判定模型並更新該初始速率判定模型之內部參數,以獲得訓練完成的速率判定模型;(F)藉由該處理器,當接收到由該內視鏡拍攝該受測腸道所獲得的連續多個受測腸道影像後,根據該等受測腸道影像且利用該速率判定模型依序進行影像分析以判定出該內視鏡有關於該等受測腸道影像的一個或多個移動速率;及(G)藉由該處理器,至少根據判定出的該(等)移動速率產生該內視鏡的移動速率監測結果,並經
由一使用者輸出單元輸出該移動速率監測結果。
本發明的腸道內視鏡移動速率監測方法中,在步驟(C)中,每一實際腸道影片是以該預定幀率拍攝而產生,並且在步驟(D)中,該等影片段含有相同幀數的影像。
本發明的腸道內視鏡移動速率監測方法,在步驟(E)與步驟(F)之間還包含以下步驟:(H)藉由該處理器,在接收到該等受測腸道影像時,根據一預定參考影像,對於接收到的每一受測腸道影像執行模糊度判定,並且在步驟(F)中,該速率判定模型所分析的每一受測腸道影像是經過步驟(H)所執行的該模糊度判定後被判定為非模糊影像。
本發明的腸道內視鏡移動速率監測方法中,在步驟(G)中,該處理器還利用已知結構相似性評估技術分析經判定為非模糊影像的所有受測腸道影像,並以連續的預定幀數為單位,根據每一單位的受測腸道影像在移動變化上所產生的差異評估出對應於該單位的受測腸道影像的移動速率,且至少根據評估出的移動速率修正判定出的該(等)移動速率,並將修正後的該(等)移動速率作為移動速率監測結果。
於是,本發明所提供的一種腸道內視鏡移動度速率監測系統係用於監測處於一受測腸道內的一內視鏡的移動速率,並包含一連接介面、一儲存模組、一處理器、及一使用者輸出單元。該連
接介面係用於連接該內視鏡,以接收來自該內視鏡的影像資料。該儲存模組儲存有如上述的該速率判定模型。該處理器電連接該連接介面和該儲存模組。該使用者輸出單元電連接且受控於該處理器。
當該處理器經由該連接介面接收到由該內視鏡所拍攝到的連續多個受測腸道影像後,該處理器執行以下操作:(i)根據該等受測腸道影像且利用該儲存模組儲存的該速率判定模型進行影像分析,以判定出該內視鏡有關於該等受測腸道影像的一個或多個移動速率,且至少根據判定出的該(等)移動速率,產生該內視鏡的移動速率監測結果,並使該使用者輸出單元輸出該移動速率監測結果;及(ii)對於該移動速率監測結果所含的每一移動速率,在確定出該移動速率大於一第一預定速率的移動速率時,還使該使用者輸出單元在輸出該移動速率的同時產生一指示出該移動速率過快的警示輸出。。
本發明的腸道內視鏡移動度速率監測系統中,該儲存模組還儲存有一預定參考影像。該處理器在利用該速率判定模型進行影像分析之前,對於接收到的每一受測腸道影像,還根據該儲存模組儲存的該預定參考影像對該受測腸道影像進行模糊度判定,以使該速率判定模型所分析的每一受測腸道影像是經過該模糊度判定後被判定為非模糊影像。
本發明的腸道內視鏡移動度速率監測系統中,該處理器
還利用已知影像結構相似性評估技術分析經判定為非模糊影像的所有受測腸道影像,並以連續的預定幀數為單位,根據每一單位的受測腸道影像在移動變化上所產生的差異評估出對應於該單位的受測腸道影像的移動速率,且至少根據評估出的移動速綠修正判定出的該(等)移動速率,並將修正後的該(等)移動速率作為移動速率監測結果。
本發明的腸道內視鏡移動度速率監測系統中,對於該移動速率監測結果所含的每一移動速率,當該處理器確定出該移動速率不大於該第一預定速率但大於一小於且接近該第一預定速率的第二預定速率時,該處理器還使該使用者輸出單元在輸出該移動速率的同時產生一指示出該移動速率偏快的提示輸出。
本發明的腸道內視鏡移動度速率監測系統中,該使用者輸出單元包含一顯示模組,該顯示模組受控於該處理器以顯示該移動速率監測結果、該警示輸出和該提示輸出。
本發明的腸道內視鏡移動度速率監測系統中,該使用者輸出單元還包含一聲音模組,且該警示輸出包含一由該顯示模組顯示的視覺輸出、及一由該聲音模組產生的聽覺輸出。
本發明的腸道內視鏡移動度速率監測系統中,該儲存模組還儲存有一異常判定模型,該異常判定模型是預先根據大量正常腸道影像和含有多種不同腸道病症的大量異常腸道影像經由機器
學習演算訓練而成。對於要被該速率判定模型分析的每一受測腸道影像,該處理器利用該儲存模組儲存的該異常判定模型進行影像分析,以獲得對應於該受測腸道影像的一異常判定結果,並在該異常判定結果指示出該受測腸道影像被判定為異常時,使該顯示模組和該聲音模組其中至少一者產生一指示出有異常情況的異常輸出。
本發明的功效在於:藉由建立且經AI訓練的速率判定模型,能有效地監測內視鏡在腸道內的移動速率,特別是在內視鏡的移動速率過快時,能即時發出警示,以提醒如操作腸道內視鏡檢查的醫生或檢查人員減慢內視鏡的移動速率,藉此避免速度過快的情形並確保有效的腸道內部檢查。
100:腸道內視鏡移動速率監測系統
1:連接介面
2:處理器
3:儲存模組
4:使用者輸出單元
41:顯示模組
411:速率顯示區
412:影像顯示區
413:異常顯示區
42:聲音模組
200:內視鏡
S21~S26:步驟
S31~S35:步驟
本發明的其他的特徵及功效,將於參照圖式的實施方式中清楚地呈現,其中:圖1是一方塊圖,示例性地說明本發明實施例的一種腸道內視鏡移動度速率監測系統的配置;圖2是一流程圖,示例性地說明該實施例中一速率判定模型的建模程序;圖3是一流程圖,示例性地說明該實施例的一處理器如何對於在一受測腸道的內視鏡進行一移動速率監測程序;及
圖4是一示意圖,示例性地繪示出該實施例的一顯示模組的多個不同顯示區域的配置。
在本發明被詳細描述之前,應當注意在以下的說明內容中,類似的元件是以相同的編號來表示。
參閱圖1,示例性地繪示出本發明實施例的一種腸道內視鏡移動度速率監測系統100,其用於監測處於一受測腸道內的一內視鏡200的移動速率,並包含一連接介面1、一儲存模組3、一使用者輸出單元4、及一電連接該連接介面1、該儲存模組3合該使用者輸出單元4的處理器2。
該連接介面1例如可以有線或通訊連接方式來連接該內視鏡200,以接收來自該內視鏡200的影像資料。
該使用者輸出單元4受控於該處理器2。在本實施例中,該使用者輸出單元4可包含如顯示幕的一顯示模組41、及一聲音模組42。如圖4所示,該顯示模組41例如可規劃有一速率顯示區411、一影像顯示區412、及四個分別位在該影像顯示區412的角落的異常顯示區413。
在本實施例中,在使用之前,該儲存模組3預先儲存有一預定參考影像、一速率判定模型和一異常判定模型,其中該預定參
考影像利例如是與影像模糊度的判定相關聯,該速率判定模型例如可被執行來判定與輸入影像相關的移動速率,且該異常判定模型例如可被執行來判定與輸入影像相關的多種不同腸道病症(例如,癌症(Cancer)、憩室炎(Diverticulitis)、迴盲瓣(Ileocecal valve)等)。該異常判定模型是預先根據大量正常腸道影像和含有該等腸道病症(例如,癌症、憩室炎及迴盲瓣)的大量異常腸道影像經由已知機器學習演算,例如,EfficientNet演算法,訓練而成。該異常判定模型例如包含一用於接收輸入影像的輸入層、多個中間層、及一用於輸出分別判定為正常和異常之機率的輸出層;而該速率判定模型之建模為本案之主要特徵,將清楚說明下在文中。
以下,將參閱圖1及圖2來示例地說明一處理器(可以是該處理器2)如何搭配一實體的模擬腸道(圖未示)、一影像拍攝裝置(可以是該內視鏡200)和一驅動裝置(圖未示,例如一步進馬達裝置)來執行該速率判定模型的建模程序。該建模程序包含以下步驟S21~S26。
在步驟S21中,該驅動裝置驅動位於該模擬腸道的該影像拍攝模組,以使該影像拍攝模組分別以多個預定速率在該模擬腸道中移動。舉例來說,該等預定速率包含如1mm/sec、2mm/sec、...、20mm/sec等20個速率。
在步驟S22中,該影像拍攝模組,在以每一預定速率移動
同一預定時間(例如6秒)內並以一預定幀率(例如,30PFS),拍攝該模擬腸道的內部,以獲得分別對應於該等預定速率的多組模擬腸道影像(例如,20組模擬腸道影像,且每組模擬腸道影像具有180幀的影像)。
在步驟S23中,該處理器利用一預定機器學習演算法(例如,3D-RestNet-18演算法)分析該影像拍攝模組所獲得的該等組模擬腸道影像,以建立一基於影像辨識來判定該影像拍攝模組之移動速率的初始速率判定模型。
接著,在步驟S24中,該處理器將來自外部的多個相對清楚的實際腸道影片饋入該初始速率判定模型,以使該初始速率判定模型透過分析每一實際腸道影片所含的影像而產生對應的速率判定結果。
之後,在步驟S25中,該處理器根據該初始速率判定模型產生分別對應於該等實際腸道影片的所有速率判定結果,從該等實際腸道影片擷取出具有相符於該等預定速率之多個判定速率的多個影片段。具體而言,若依照前例,該處理器會將該速率判定模型所產生的大量速率判定結果中篩選出具有上述20個速率之速率判定結果作為依據,從該等實際腸道影片中擷取出具有相符於上述20個速率之20個判定速率的多個影片段。值得注意的是,在此例中,該實際腸道影片最好是在以該預定幀率(例如,30FPS)的情況
下拍攝所得,此外,該等影片段各自最好具有相同幀數的影像(例如,180幀的影像)。步驟25的目的在於能從大量的實際腸道影片篩選出適合用於訓練模型的影片段。
然後,在步驟S26中,該處理器利用該等影片段訓練該初始速率判定模型並更新該初始速率判定模型之內部參數,以獲得訓練完成的該速率判定模型,藉此提升該速率判定模型對於實際腸道影像的辨識度。至此,該建模程序完成。
以下,將參閱圖1與圖3來示例地說明該處理器2如何對於在該受測腸道的該內視鏡200進行一移動速率監測程序。該移動速率監測程序包含以下步驟S31~S35。
首先,在步驟S31中,該處理器2經由該連接介面1接收到由該內視鏡200所拍攝到的連續多個受測腸道影像。值得注意的是,該內視鏡200同樣是以該預定幀率(例如,30FPS)拍攝該等受測腸道影像。
緊接著,在步驟S32中,該處理器2根據該儲存模組所預存的該預定參考影像,藉由影像比對,依序對於接收到的每幀受測腸道影像執行模糊度判定,並將通過模糊度判定(即,判定為非模糊影像)的受測腸道影像保留以供後續處理,且將判定為模糊影像的受測腸道影像濾除。
然後,在步驟S33中,該處理器2根據該等(保留的)受測
腸道影像且利用該儲存模組3儲存的該速率判定模型進行影像分析,以判定出該內視鏡200有關於該等受測腸道影像的一個或多個移動速率。
另一方面,為了降低該速率判定模型在速率判定時可能發生的誤差(即,避免誤差範圍過大),在步驟S34中,該處理器2利用已知結構相似性評估技術,例如,多尺度結構相似性(Multi-Scale Structure SIMlarity,簡稱MS-SSIM)演算法來分析經判定為非模糊影像的所有受測腸道影像,並以連續的預定幀數(例如,30幀)為單位,根據每一單位的受測腸道影像在移動變化上所產生的差異評估出對應於該單位的受測腸道影像的移動速率。
接著,在步驟S33和步驟S34之後的步驟S35中,該處理器2至少根據評估出的移動速率修正該(等)移動速率,將修正後的該(等)移動速率作為該內視鏡200的移動速率監測結果,且使該使用者輸出單元4輸出該移動速率監測結果。在本實施例中,該處理器2透過評估出的移動速率、判定出的移動速率,以及各自對應的預定權重來進行移動速率的修正。舉例來說,若在實際的移動速率為10mm/sec的情況下,當由MS-SSIM演算法評估出的移動速率例如為9mm/sec及由該速率判定模型判定出的移動速率例如為5mm/sec,並且對應的預定權重分別例如為0.5及0.5時,則修正後的移動速率例如為7(=9*0.5+5*0.5)mm/sec。由此例可見,修正
後的移動速率可將該移動速率監測結果的誤差降至最低。
在本實施例中,該移動速率監測結果所含的移動速率可以含有多種形式之方式(例如,結合有速率表及速率值的方式)顯示於該使用者輸出單元4的該顯示模組41的該速率顯示區411(圖4),此外,在顯示該移動速率監測結果期間,該處理器2還使該顯示模組41的該影像顯示區412(圖4)顯示對應於該移動速率監測結果的受測腸道影像,以供使用者觀看。至此,該移動速率監測程序完成。
值得注意的是,該處理器2還對於該移動速率監測結果所含的每一移動速率進行監控。具體而言,當該處理器2在確定出該移動速率監測結果中出現有大於一第一預定速率(例如,20mm/sec)的移動速率時,在顯示該移動速率及其對應的受測腸道影像的同時,該處理器2還使該使用者輸出單元4產生一指示出該移動速率過快的警示輸出。在本實施例中,該警示輸出例如可包含一由該顯示模組41顯示的視覺輸出(例如,由該速率顯示區411中所含呈紅色之特定圖案來呈現)、及一由該聲音模組42所發出的聲音輸出(例如,高頻聲音),如此藉由聽覺和視覺上的輸出來達到對使用者提供該內視鏡200的行進速率過快的警示。相似地,當該處理器2確定出該移動速率監測結果中出現有不大於該第一預定速率但大於一第二預定速率(其小於且接近該第一預定速率,例如15mm/sec)的移動速率時,該處理器2還使該使用者輸出單元4在輸出
該移動速率的同時產生一指示出該移動速率偏快的提示輸出。在本實施例中,相似於該警示輸出,該提示輸出例如亦可包含一由該顯示模組41顯示的視覺輸出(例如,由該速率顯示區411中所含黃色之特定圖案來呈現)、及一由該聲音模組42所發出的聲音輸出(例如,中頻聲音),如此藉由聽覺和視覺上的輸出來達到對使用者提供該內視鏡200的行進速率偏快的提示。
除此之外,在進行該移動速率監測程序期間,特別是在步驟S32之後,對於要被該速率判定模型分析的每一受測腸道影像,該處理器2還利用該儲存模組3儲存的該異常判定模型進行影像分析,以獲得對應於該受測腸道影像的一異常判定結果。舉例來說,若該異常判定模型對於在該輸入層所接收的一受測腸道影像在該輸出層的輸出為判定為正常的機率例如是6.12%且判定為異常的機率例如是93.88%,在此情況下,該處理器2所獲得的異常判定結果將指示出該受測腸道影像被判定為異常,反之亦然。當該異常判定結果指示出該受測腸道影像被判定為異常時,該處理器2在該受測腸道影像被顯示的同時,還使該顯示模組41和該聲音模組42其中至少一者產生一指示出有異常情況的異常輸出。在本實施例中,該異常輸出例如包含一由該顯示模組41顯示的視覺輸出(例如,由該等異常顯示區413顯示紅色來呈現)、及一由該聲音模組42所發出的聲音輸出(例如,異於該警示輸出的另一高頻聲音),如此藉由
聽覺和視覺上的輸出來達到提醒使用者該受測腸道的異常情況。
綜上所述,藉由建立且經AI訓練的速率判定模型,能有效地監測該內視鏡200在腸道內的移動速率,特別是在該內視鏡200的移動速率過快時,能即時發出警示輸出,以提醒如操作腸道內視鏡檢查的醫生或檢查人員減慢該內視鏡200的移動速率,藉此避免速度過快的情形並確保有效的腸道內部檢查。此外,由於使用了MS-SSIM演算法來進一步修正該速率判定模型所判定的移動速率,藉此可使該速率監測結果具相對較小的誤差而提升速率監測的精確性。再者,由於利用了該異常判定模型對於受測腸道影像是否相符於特定腸道病症的AI判定,藉此能輔助並提醒相關人員進一步仔細觀察及確認。因此,本發明腸道內視鏡移動速率監測系統100確實能達成本發明的目的。
惟以上所述者,僅為本發明的實施例而已,當不能以此限定本發明實施的範圍,凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾,皆仍屬本發明專利涵蓋的範圍內。
S21~S26:步驟
Claims (11)
- 一種腸道內視鏡移動速率監測方法,用於監測處於一受測腸道內的一內視鏡的移動速率,並包含以下步驟:(A)藉由一影像拍攝模組,其在一實體的模擬腸道中分別以多個預定速率移動,並在以每一預定速率移動同一預定時間內以一預定幀率拍攝該模擬腸道的內部,以獲得分別對應於該等預定速率的多組模擬腸道影像;(B)藉由一處理器,利用一預定機器學習演算法分析該等組模擬腸道影像,以建立一基於影像辨識來判定該影像拍攝模組之移動速率的初始速率判定模型;(C)藉由該處理器,將多個實際腸道影片饋入該初始速率判定模型,以使該初始速率判定模型透過分析每一實際腸道影片所含的影像而產生對應的速率判定結果;(D)藉由該處理器,根據該初始速率判定模型產生分別對應於該等實際腸道影片的所有速率判定結果,從該等實際腸道影片擷取出具有相符於該等預定速率之多個判定速率的多個影片段;(E)藉由該處理器,利用該等影片段訓練該初始速率判定模型並更新該初始速率判定模型之內部參數,以獲得訓練完成的一速率判定模型;(F)藉由該處理器,當接收到由該內視鏡拍攝該受測腸道所獲得的連續多個受測腸道影像後,根據該等受測腸道影像且利用該速率判定模型依序進行影像分析以判定出該內視鏡有關於該等受測腸道影像的一個或多個移 動速率;及(G)藉由該處理器,至少根據判定出的該(等)移動速率產生該內視鏡的移動速率監測結果,並經由一使用者輸出單元輸出該移動速率監測結果。
- 如請求項1所述的腸道內視鏡移動速率監測方法,其中:在步驟(C)中,每一實際腸道影片是以該預定幀率拍攝而產生;及在步驟(D)中,該等影片段含有相同幀數的影像。
- 如請求項1所述的腸道內視鏡移動速率監測方法,在步驟(E)與步驟(F)之間還包含以下步驟:(H)藉由該處理器,在接收到該等受測腸道影像時,根據一預定參考影像,對於接收到的每一受測腸道影像執行模糊度判定;其中,在步驟(F)中,該速率判定模型所分析的每一受測腸道影像是經過步驟(H)所執行的該模糊度判定後被判定為非模糊影像。
- 如請求項或3所述的腸道內視鏡移動速率監測方法,在步驟(G)中,該處理器還利用已知結構相似性評估技術分析經判定為非模糊影像的所有受測腸道影像,並以連續的預定幀數為單位,根據每一單位的受測腸道影像在移動變化上所產生的差異評估出對應於該單位的受測腸道影像的移動速率,且至少根據評估出的移動速率修正判定出的該(等)移動速率,並將修正後的該(等)移動速率 作為該移動速率監測結果。
- 一種腸道內視鏡移動速率監測系統,用於監測處於一受測腸道內的一內視鏡的移動速率,並包含:一連接介面,用於連接該內視鏡,以接收來自該內視鏡的影像資料;一儲存模組,儲存有如請求項1所述的該速率判定模型;一處理器,電連接該連接介面和該儲存模組;及一使用者輸出單元,電連接且受控於該處理器;及其中,當該處理器經由該連接介面接收到由該內視鏡所拍攝到的連續多個受測腸道影像後,該處理器執行以下操作:根據該等受測腸道影像且利用該儲存模組儲存的該速率判定模型進行影像分析,以判定出該內視鏡有關於該等受測腸道影像的一個或多個移動速率,且至少根據判定出的該(等)移動速率,產生該內視鏡的移動速率監測結果,並使該使用者輸出單元輸出該移動速率監測結果;及對於該移動速率監測結果所含的每一移動速率,在確定出該移動速率大於一第一預定速率的移動速率時,還使該使用者輸出單元在輸出該移動速率的同時產生一指示出該移動速率過快的警示輸出。
- 如請求項5所述的腸道內視鏡移動速率監測系統,其中:該儲存模組還儲存有一預定參考影像;及 該處理器在利用該速率判定模型進行影像分析之前,對於接收到的每一受測腸道影像,還根據該儲存模組儲存的該預定參考影像對該受測腸道影像進行模糊度判定,以使該速率判定模型所分析的每一受測腸道影像是經過該模糊度判定後被判定為非模糊影像。
- 如請求項6所述的腸道內視鏡移動速率監測系統,其中,該處理器還利用已知影像結構相似性評估技術分析經判定為非模糊影像的所有受測腸道影像,並以連續的預定幀數為單位,根據每一單位的受測腸道影像在移動變化上所產生的差異評估出對應於該單位的受測腸道影像的移動速率,且至少根據評估出的移動速率修正判定出的該(等)移動速率,並將修正後的該(等)移動速率作為移動速率監測結果。
- 如請求項5所述的腸道內視鏡移動速率監測系統,其中,對於該移動速率監測結果所含的每一移動速率,當該處理器確定出該移動速率不大於該第一預定速率但大於一小於且接近該第一預定速率的第二預定速率時,該處理器還使該使用者輸出單元在輸出該移動速率的同時產生一指示出該移動速率偏快的提示輸出。
- 如請求項8所述的腸道內視鏡移動速率監測系統,其中,該使用者輸出單元包含一顯示模組,該顯示模組受控於該處理器以顯示該移動速率監測結果、該警示輸出和該提示輸出。
- 如請求項9所述的腸道內視鏡移動速率監測系統,其 中,該使用者輸出單元還包含一聲音模組,且該警示輸出包含一由該顯示模組顯示的視覺輸出、及一由該聲音模組產生的聽覺輸出。
- 如請求項10所述的腸道內視鏡移動速率監測系統,其中:該儲存模組還儲存有一異常判定模型,該異常判定模型是預先根據大量正常腸道影像和含有多種不同腸道病症的大量異常腸道影像經由機器學習演算訓練而成;對於要被該速率判定模型分析的每一受測腸道影像,該處理器利用該儲存模組儲存的該異常判定模型進行影像分析,以獲得對應於該受測腸道影像的一異常判定結果,並在該異常判定結果指示出該受測腸道影像被判定為異常時,使該顯示模組和該聲音模組其中至少一者產生一指示出有異常情況的異常輸出。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110143933A TWI784811B (zh) | 2021-11-25 | 2021-11-25 | 腸道內視鏡移動速率監測方法及系統 |
| US17/870,613 US12118465B2 (en) | 2021-11-25 | 2022-07-21 | Method and system for determining moving speed of endoscope camera in gastrointestinal tract |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW110143933A TWI784811B (zh) | 2021-11-25 | 2021-11-25 | 腸道內視鏡移動速率監測方法及系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI784811B true TWI784811B (zh) | 2022-11-21 |
| TW202320696A TW202320696A (zh) | 2023-06-01 |
Family
ID=85794666
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110143933A TWI784811B (zh) | 2021-11-25 | 2021-11-25 | 腸道內視鏡移動速率監測方法及系統 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US12118465B2 (zh) |
| TW (1) | TWI784811B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119399666B (zh) * | 2024-09-14 | 2025-06-10 | 西南交通大学 | 一种结肠镜视频关键帧提取方法、装置、设备及存储介质 |
| CN119969936B (zh) * | 2025-04-16 | 2025-11-11 | 云南省第一人民医院 | 鼻腔内窥镜驱动方法、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019059059A1 (ja) * | 2017-09-22 | 2019-03-28 | 富士フイルム株式会社 | 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
| CN112669951A (zh) * | 2021-02-01 | 2021-04-16 | 王春保 | 一种应用于智能内窥镜手术时的ai应用系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5035987B2 (ja) * | 2008-01-28 | 2012-09-26 | 富士フイルム株式会社 | カプセル内視鏡、およびカプセル内視鏡の動作制御方法 |
-
2021
- 2021-11-25 TW TW110143933A patent/TWI784811B/zh active
-
2022
- 2022-07-21 US US17/870,613 patent/US12118465B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019059059A1 (ja) * | 2017-09-22 | 2019-03-28 | 富士フイルム株式会社 | 医療画像処理システム、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
| CN112669951A (zh) * | 2021-02-01 | 2021-04-16 | 王春保 | 一种应用于智能内窥镜手术时的ai应用系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US12118465B2 (en) | 2024-10-15 |
| US20230162026A1 (en) | 2023-05-25 |
| TW202320696A (zh) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102185886B1 (ko) | 인공지능을 이용한 대장 내시경 영상 분석 방법 및 장치 | |
| US9149179B2 (en) | System and method for identifying eye conditions | |
| EP2829231B1 (en) | Image-generating apparatus | |
| Ali et al. | Video-based behavior understanding of children for objective diagnosis of autism | |
| KR101811888B1 (ko) | 연상 능력 검사 및/또는 훈련 | |
| US20130245462A1 (en) | Apparatus, methods, and articles of manufacture for determining and using heart rate variability | |
| TWI784811B (zh) | 腸道內視鏡移動速率監測方法及系統 | |
| US11663845B2 (en) | Method and apparatus for privacy protected assessment of movement disorder video recordings | |
| KR102277761B1 (ko) | 딥러닝을 이용한 내시경 이미지 처리 방법 | |
| CN109584229A (zh) | 一种内镜下逆行胰胆管造影术实时辅助诊断系统及方法 | |
| CN107427197A (zh) | 具有平面扫描视频记波和频闪喉镜功能的视频喉内窥镜系统 | |
| JPWO2021149112A5 (zh) | ||
| KR102041460B1 (ko) | 두부의 움직임이 필요없는 가상현실을 이용한 어지럼증 진단 장치 | |
| KR20110019992A (ko) | 홍채학을 이용한 진단시스템 및 방법 | |
| US11850090B2 (en) | Guided lung coverage and automated detection using ultrasound devices | |
| EP2774533A1 (en) | Apparatuses and method for determining and using heart rate variability | |
| US12061724B2 (en) | Method, system, and software program product for generating training data for endoscopic applications | |
| CN110602481B (zh) | 一种视频监控系统中视频质量检测方法及装置 | |
| CN118512173B (zh) | 一种基于深度学习的儿童听力检测方法及系统 | |
| CN118866243A (zh) | 一种基于视觉反馈的脊柱侧弯矫正锻炼监测系统及方法 | |
| KR20190076287A (ko) | 다중 영상 내시경 시스템, 그 영상 제공 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 | |
| CN114864022A (zh) | 医疗信息管理装置、医疗信息的数据构造以及记录介质 | |
| Sadok et al. | Performing the HINTS-exam using a mixed-reality head-mounted display in patients with acute vestibular syndrome: a feasibility study | |
| US20230240510A1 (en) | Examination support device, examination support method, and storage medium storing examination support program | |
| JP4790295B2 (ja) | 解析装置の作動方法 |