TWI754945B - 利用光動力學技術之人工智慧的細胞檢測方法及其系統 - Google Patents
利用光動力學技術之人工智慧的細胞檢測方法及其系統 Download PDFInfo
- Publication number
- TWI754945B TWI754945B TW109117822A TW109117822A TWI754945B TW I754945 B TWI754945 B TW I754945B TW 109117822 A TW109117822 A TW 109117822A TW 109117822 A TW109117822 A TW 109117822A TW I754945 B TWI754945 B TW I754945B
- Authority
- TW
- Taiwan
- Prior art keywords
- cells
- time point
- cell
- images
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
利用光動力學技術之人工智慧的細胞檢測方法包含取得複數個細胞;在第一時間點以及第二時間點之間,取樣該些細胞的N張影像;決定每一個細胞的分析區域;依據該些細胞的N張影像,對每一個細胞的分析區域進行影像處理程序,以產生複數個光動力學向量參數;依據該些光動力學向量參數,產生該些細胞在第一時間點以及第二時間點之間的形變向量資訊;依據形變向量資訊,取得該些細胞的至少一個關鍵形變向量特徵數值;將形變向量資訊及至少一個關鍵形變向量特徵數值輸入至類神經網路,以檢測細胞品質。
Description
本發明描述一種利用光動力學技術之人工智慧的細胞檢測方法及其系統,尤指一種具有偵測細胞品質以及辨識細胞功能之人工智慧的細胞檢測方法及其系統。
隨著科技日新月異,適逢生育年齡的婦女常會因為工作壓力、飲食習慣、文明病、排卵功能異常、賀爾蒙失調或是一些慢性病而導致不孕。在現今,不孕症是高自費的療程,在台灣、中國以及國際市場需求巨大,且其需求每年是高度成長。許多婦女會選擇體外人工受孕(In Vitro Fertilization,IVF)來治療不孕症的問題。體外人工受孕是將卵子與精子取出,在人為操作下進行體外受精,並培養成胚胎,再將胚胎植回母體內。然而,現有的不孕症療程之成功率僅三成。不孕症的療程之重點在於胚胎的選擇。然而,現有選擇胚胎的方法主要還是由胚胎醫師利用胚胎照片或是縮時影片的資料,以主觀方式判斷胚胎的優劣。以目前的技術而論,由於缺乏一種系統化以及自動化的方式判斷胚胎的良劣,故在不孕症療程中,由醫師主觀地選擇植入胚胎,其植入成功率仍低,故也是目前不孕症療程的瓶頸。
換句話說,在目前的不孕症療程下,醫生僅能以主觀的方式觀察胚
胎在分裂時的情況。例如,醫生會以主觀的方式,依據胚胎在發育中的細胞數目、細胞分裂的均勻程度以及分裂時的碎片程度,將胚胎由優到劣區分為多個等級。例如,均勻地分裂為雙數細胞的胚胎較優,而產生不完整的單數細胞分裂以及碎片越多的胚胎,生長潛力較差。然而,如前述提及,由於目前判斷胚胎的優劣主要還是依據醫生的經驗,以主觀的判斷方式來選擇較佳胚胎。因此,目前技術治療不孕症的成功率很難提升,且容易受到不同醫生的主觀見解而影響成功率(例如誤判)。
本發明一實施例提出一種利用光動力學技術之人工智慧的細胞檢測方法。利用光動力學技術之人工智慧的細胞檢測方法包含取得複數個細胞,在第一時間點以及第二時間點之間,取樣該些細胞的N張影像,決定每一個細胞的分析區域,依據該些細胞的N張影像,對每一個細胞的分析區域進行影像處理程序,以產生複數個光動力學向量參數,依據該些光動力學向量參數,產生該些細胞在第一時間點以及第二時間點之間的形變向量資訊,依據形變向量資訊,取得該些細胞的至少一個關鍵形變向量特徵數值,將形變向量資訊及至少一個關鍵形變向量特徵數值輸入至類神經網路,以訓練類神經網路,以及利用類神經網路,以人工智慧的程序建立細胞品質檢測模型,以檢測細胞品質及/或辨識細胞。第一時間點在第二時間點之前,且N為大於2的正整數。
本發明另一實施例提出一種利用光動力學技術之人工智慧的細胞檢測系統。利用光動力學技術之人工智慧的細胞檢測系統包含載具、透鏡模組、影像擷取裝置、處理器及記憶體。載具具有容置槽,用以放置複數個細胞。透鏡模組面對載具,用以放大該些細胞的細節。影像擷取裝置面對透鏡模組,用以透過透鏡模組取得該些細胞的影像。處理器耦接於透鏡模組及影像擷取裝
置,用以調整透鏡模組的放大倍率以及處理該些細胞的影像。載具之容置槽放置該些細胞後,處理器控制影像擷取裝置,透過透鏡模組在第一時間點以及第二時間點之間,取樣該些細胞的N張影像,處理器決定每一個細胞的分析區域,依據該些細胞的N張影像,對每一個細胞的分析區域進行影像處理程序,以產生複數個光動力學向量參數,依據該些光動力學向量參數,產生該些細胞在第一時間點以及第二時間點之間的形變向量資訊,依據形變向量資訊,取得該些細胞的至少一個關鍵形變向量特徵數值。處理器包含類神經網路。形變向量資訊及至少一個關鍵形變向量特徵數值用以訓練類神經網路。處理器利用類神經網路,以人工智慧的程序建立細胞品質檢測模型,以檢測細胞品質及/或辨識細胞。第一時間點在第二時間點之前,且N為大於2的正整數。
100:利用光動力學技術之人工智慧的細胞檢測系統
10:載具
11:透鏡模組
12:影像擷取裝置
13:處理器
14:記憶體
S201至S208:步驟
S301至S302:步驟
D1:形變向量資訊
D2:至少一個關鍵形變向量特徵數值
D3:邊緣特徵數據
D4:分裂個數
D5:分裂時間點
D6:細胞品質輸出資料
第1圖係為本發明之利用光動力學技術之人工智慧的細胞檢測系統之實施例的方塊圖。
第2圖係為第1圖之利用光動力學技術之人工智慧的細胞檢測系統執行細胞檢測方法的流程圖。
第3圖係為第1圖之利用光動力學技術之人工智慧的細胞檢測系統中,加入額外步驟以增強細胞檢測的精確度的示意圖。
第4圖係為第1圖之利用光動力學技術之人工智慧的細胞檢測系統中,具有類神經網路的處理器之輸入資料以及輸出資料的示意圖。
第1圖係為本發明之利用光動力學技術之人工智慧的細胞檢測系統
100之實施例的方塊圖。為了簡化描述,利用光動力學技術之人工智慧的細胞檢測系統100後文稱為「細胞檢測系統100」。細胞檢測系統100包含載具10、透鏡模組11、影像擷取裝置12、處理器13以及記憶體14。載具10具有容置槽,用以放置複數個細胞。舉例而言,載具10可為培養皿,其內部的容置槽可包含一些培養液。複數個細胞可在培養液中發育。複數個細胞可為複數個生殖細胞、複數個胚胎或是任何欲觀察且可分裂的複數個細胞。透鏡模組11面對載具10,用以放大該些細胞的細節。透鏡模組11可為任何具有光學或是數位變焦能力的透鏡模組,例如顯微鏡模組。影像擷取裝置12面對透鏡模組11,用以透過透鏡模組11取得該些細胞的影像。在細胞檢測系統100中,影像擷取裝置12可為具有感光元件的相機或是高光譜儀。換句話說,影像擷取裝置12透過透鏡模組11取得該些細胞的影像,可為灰階影像、高光譜影像或是景深合成影像。若影像擷取裝置12為高光譜儀,該些細胞的影像可為:(A)高光譜儀影像中之任意一個波長對應的細胞影像,(B)高光譜影像各波長之細胞影像所合成的灰階細胞影像。任何合理的影像格式都屬於本發明所揭露的範疇。處理器13耦接於透鏡模組11及影像擷取裝置12,用以調整透鏡模組11的放大倍率以及處理該些細胞的影像。
處理器13可為中央處理器、微處理器、或是任何的可程式化處理單元。處理器13具有類神經網路,例如深度神經網路(Deep Neural Networks,DNN),可以執行機器學習以及深度學習的功能。因此,處理器13的類神經網路可以被訓練,可視為人工智慧的處理核心。記憶體14耦接於處理器13,用以儲存訓練資料以及影像處理時的分析資料。
在細胞檢測系統100中,載具10之容置槽在放置該些細胞後,處理器13控制影像擷取裝置12,透過透鏡模組11在第一時間點以及第二時間點之間,取樣該些細胞的N張影像。接著,處理器13決定每一個細胞的分析區域,依據該些細胞的N張影像,對每一個細胞的分析區域進行影像處理程序,以產生複數個
光動力學向量參數。處理器13依據該些光動力學向量參數,產生該些細胞在第一時間點以及第二時間點之間的形變向量資訊,並依據形變向量資訊,取得該些細胞的至少一個關鍵形變向量特徵數值。如前述提及,處理器13包含可訓練的類神經網路。因此,形變向量資訊及至少一個關鍵形變向量特徵數值可用以訓練類神經網路。在類神經網路訓練完成後,處理器13可以利用類神經網路,以人工智慧的程序建立細胞品質檢測模型,以檢測細胞品質及/或辨識細胞。在細胞檢測系統100中,第一時間點在第二時間點之前,且N為大於2的正整數。換句話說,細胞檢測系統100可以用兩個不同時間點之間的時間序列的細胞影像資訊來訓練類神經網路。在類神經網路訓練完成後,細胞檢測系統100即具備人工智慧的細胞檢測功能,具有自動化地檢測細胞品質及/或辨識細胞的能力。細胞檢測系統100如何訓練類神經網路以執行人工智慧的細胞檢測功能的細節,將描述於後文。
第2圖係為利用光動力學技術之人工智慧的細胞檢測系統100執行細胞檢測方法的流程圖。細胞檢測方法可包含步驟S201至步驟S208。任何合理的步驟變或是技術更動都屬於本發明所揭露的範疇。步驟S201至步驟S208的內容描述於下:步驟S201:取得複數個細胞;步驟S202:在第一時間點以及第二時間點之間,取樣該些細胞的N張影像;步驟S203:決定每一個細胞的分析區域;步驟S204:依據該些細胞的N張影像,對每一個細胞的分析區域進行影像處理程序,以產生複數個光動力學向量參數;步驟S205:依據該些光動力學向量參數,產生該些細胞在第一時間點以及第二時間點之間的形變向量資訊;
步驟S206:依據形變向量資訊,取得該些細胞的至少一個關鍵形變向量特徵數值;步驟S207:將形變向量資訊及至少一個關鍵形變向量特徵數值輸入至類神經網路,以訓練類神經網路;步驟S208:利用類神經網路,以人工智慧的程序建立細胞品質檢測模型,以檢測細胞品質及/或辨識細胞。
為了描述簡化,後文的「細胞」僅以「胚胎」為實施例進行說明,然而本發明並不限於此,細胞的定義可為生殖細胞、神經細胞、組織細胞、動植物細胞或是任何需要研究及觀察的細胞。在步驟S201中,研究人員或是醫療人員可先取得多個胚胎。在步驟S202中,處理器13可以控制影像擷取裝置12,在第一時間點以及第二時間點之間,取樣該些胚胎的N張影像。影像擷取裝置12可用任何方式取得兩個不同時間點之間的N張影像。舉例而言,影像擷取裝置12可在一段時間內(第一時間點以及第二時間點之間),以錄影的方式(如30fps或是60fps)取得多張幀(Frames)構成的影像集合。或是,影像擷取裝置12可在一段時間內(第一時間點以及第二時間點之間),週期性地對多個胚胎拍照,以取得該些胚胎的N張影像。並且,第一時間點以及第二時間點可為該些胚胎於培養液中發育且分裂之觀察週期中的任兩時間點。舉例而言,第一時間點以及第二時間點可以分別選為第一天以及第五天,以觀察該些胚胎發育以及分裂的狀況。換句話說,影像擷取裝置12可以在第0個小時到第120小時之內對該些胚胎連續地拍照,以取得N張影像。在步驟S203中,處理器13可以決定每一個胚胎的分析區域。醫療人員或是研究人員也可以用手動的方式決定每一個胚胎的分析區域。於此,每一個胚胎的分析區域可選為兩胚胎之間差異性最大的區域、或是優等胚胎與劣等胚胎之間差異性最大的區域。舉例而言,分析區域可為該些胚胎中每一個胚胎的囊胚(Blastocyst)區域或自定義區域。並且,分析區域的範圍小於單一
胚胎的尺寸。
接著,在步驟S204中,處理器13可依據該些胚胎的N張影像,對每一個胚胎的分析區域進行影像處理程序,以產生複數個光動力學向量參數。舉例而言,處理器13可依據該些胚胎的N張影像,對每一個胚胎的分析區域進行數位影像相關(Digital Image Correlation,DIC)技術的分析。數位影像相關(DIC)技術為一種於前後時間點的時間區間內,分析物體特徵變化以計算物體形變量之技術。換句話說,在DIC技術下,該些光動力學向量參數可為在N張影像中,依據第M-1張影像(前)及第M影像(後)之該些胚胎的形變量變化而得,且MN。並且,在細胞檢測系統100中,該些光動力學向量參數可包含位移向量資訊、應變向量資訊與變形速度向量資訊,說明如下。在步驟S204中,處理器13可依據該些胚胎的N張影像,對每一個胚胎的分析區域進行DIC技術的分析。利用DIC技術將N張影像分析之後,處理器13可以得到前後影像(第M-1張影像及第M影像)內,每一個胚胎的垂直位移資訊、水平位移資訊、應變向量分布資訊以及變形速度向量資訊。垂直位移資訊可定義為胚胎在兩張影像之間,其分析區域之垂直位移的距離以及座標。水平位移資訊可定義為胚胎在兩張影像之間,其分析區域之水平位移的距離以及座標。應變向量分布資訊可定義為胚胎在兩張影像之間,將分析區域擴張或是收縮的程度量化。變形速度向量資訊可以依據位移距離和應變量除上時間差推導出來。例如,第M-1張影像及第M影像的時間差為t,水平位移距離為p,則變形速度向量之水平分量的數值為p/t。第M-1張影像及第M影像的時間差為t,垂直位移距離為q,則變形速度向量之垂直分量的數值為q/t。第M-1張影像及第M影像的時間差為t,應變量為r,則變形速度向量之應變分量的數值為r/t。接著,於步驟S205中,處理器13可以依據該些光動力學向量參數,產生該些胚胎在第一時間點以及第二時間點之間的形變向量資訊。形變向量資訊可由上述的該些光動力學向量參數以線性或是非線性之公式產生。
接著,在步驟S206中,處理器13可以依據形變向量資訊,取得該些胚胎的至少一個關鍵形變向量特徵數值。舉例而言,處理器13可以依據該些胚胎的N張影像,對每一個胚胎的分析區域進行DIC技術的分析,以在該些胚胎的形變向量資訊中,取得至少一個局部極大值(Local Maximum)的應變量。類似地,處理器13可以依據該些胚胎的N張影像,對每一個胚胎的分析區域進行DIC的分析,以在該些胚胎的形變向量資訊中,取得至少一個局部極小值(Local Minimum)的應變量。並且,至少一個關鍵形變向量特徵數值可包含至少一個局部極大值的應變量及/或至少一個局部極小值的應變量。為了便於理解,表T1中描述了不同時間點下的應變量,如下所示。
依據表T1,在時間點0-01時,最大應變量為0.227。0.227明顯高於時間點0-00的最大應變量0.0795以及時間點0-02的最大應變量0.113。因此,時間點
0-01的最大應變量0.227可以被定義為局部極大值(Local Maximum)的應變量。因此,對應時間點0-01的應變分布指向「應變大」的註記。類似地,在時間點0-03時,最大應變量為0.336。0.336明顯高於時間點0-02的最大應變量0.113、時間點0-04的最大應變量0.104、時間點0-05的最大應變量0.147、時間點0-06的最大應變量0.061以及時間點0-07的最大應變量0.138。因此,時間點0-03的最大應變量0.336可以被定義為局部極大值的應變量。因此,對應時間點0-03的應變分布指向「應變大」的註記。類似地,至少一個局部極小值(Local Minimum)的應變量也可以由統計而得。處理器13可將表T1、至少一個局部極大值的應變量、至少一個局部極小值的應變量之資料存入記憶體14中。
如前述提及,處理器13具有類神經網路,例如深度神經網路(DNN),可以執行機器學習以及深度學習的功能。因此,處理器13的類神經網路可以被訓練。為了訓練處理器13的類神經網路,於步驟S207中,細胞檢測系統100可將形變向量資訊及至少一個關鍵形變向量特徵數值輸入至處理器13內的類神經網路,以訓練類神經網路。在類神經網路被訓練完成後,依據步驟S208,處理器13可以利用類神經網路,以人工智慧的程序建立細胞品質檢測模型,以檢測胚胎品質及/或辨識胚胎。換句話說,細胞檢測系統100利用人工智慧檢測胚胎品質及/或辨識胚胎可包含兩個階段。第一階段為訓練階段,細胞檢測系統100可將時間序列的整個資料量,或是縮減時間之資料量的特徵數值輸入至類神經網路中,也可進一步將至少一個關鍵形變向量特徵數值輸入至類神經網路中,以建立細胞品質檢測模型。第二階段為人工智慧之偵測階段。在類神經網路訓練完成後,處理器13可以利用已經訓練完成的類神經網路之細胞品質檢測模型,判斷胚胎品質以及辨識胚胎。因此,本發明的細胞檢測系統100可以避免醫療人員或是研究人員以主觀的方式來判斷胚胎的優劣,因此針對不孕症的療程,其受孕成功率能夠大幅度地提升。
第3圖係為利用光動力學技術之人工智慧的細胞檢測系統100中,加入額外步驟以增強細胞檢測的精確度的示意圖。為了進一步加強判斷胚胎品質以及辨識胚胎的精確度,細胞檢測系統100還可以引入型態學的偵測技術來強化類神經網路的細胞檢測能力,如下所示。
步驟S201:取得複數個細胞;步驟S301:利用型態學的邊緣偵測技術偵測該些細胞於第一時間點以及第二時間點之間的邊緣特徵數據,並將邊緣特徵數據輸入至類神經網路;步驟S302:利用型態學的橢圓偵測方法,依據邊緣特徵數據,偵測該些細胞於第一時間點以及第二時間點之間,每一個細胞的分裂時間點以及分裂個數,並將每一個細胞的分裂時間點以及分裂個數輸入至類神經網路,以訓練類神經網路。
類似地,為了描述簡化,後文的「細胞」僅以「胚胎」為實施例進行說明,然而本發明並不限於此,細胞的定義可為生殖細胞、神經細胞、組織細胞、動植物細胞或是任何需要研究及觀察的細胞。為了進一步加強判斷胚胎品質以及辨識胚胎的精確度,細胞檢測系統100在前述步驟S201取得複數個細胞(胚胎)後,依據步驟S301,處理器13可以利用型態學的邊緣偵測技術偵測該些胚胎於第一時間點以及第二時間點之間的邊緣特徵數據,並將邊緣特徵數據輸入至類神經網路。邊緣特徵數據可為胚胎整體或是某一個特定部分(例如囊胚)的輪廓,其數據格式可用多個座標的方式表示。例如在二維平面上,單一胚胎的輪廓可為封閉型的線段,可用(X1,Y1)至(XL,YL)表示,L為正整數且L越大解析度越高。接著,在步驟S302中,處理器13可以利用型態學的橢圓偵測方法,依據邊緣特徵數據,偵測該些胚胎於第一時間點以及第二時間點之間,每一個胚胎的分裂時間點以及分裂個數,並將每一個胚胎的分裂時間點以及分裂個數輸入至
類神經網路,以訓練類神經網路。於此說明,處理器13可以預先設定好至少一個橢圓的曲線擬合函數。當前述步驟S301偵測出至少一個封閉線段對應的座標(X1,Y1)至(XL,YL)後,處理器13可以用至少一個橢圓的曲線擬合函數去匹配其座標(X1,Y1)至(XL,YL)是否符合橢圓形的封閉曲線。因此,處理器13可以得出在某個時間點下的影像中,擬合成功之橢圓形的封閉曲線之個數。處理器13可將擬合成功之橢圓形的封閉曲線之個數視為胚胎的分裂個數。因此,依據不同時間點下之N張影像的資訊,處理器13可以偵測出每一個胚胎的分裂時間點以及分裂個數。換句話說,對比於第2圖所述之步驟S201至步驟S208的細胞偵測方法,細胞檢測系統100可以引入額外的步驟S301至步驟S302,以獲取更多的資訊(如邊緣特徵數據、每一個胚胎的分裂時間點以及分裂個數)來訓練類神經網路。因此,類神經網路的訓練會更加優化,從而增加了人工智慧偵測細胞品質的精確度。
第4圖係為利用光動力學技術之人工智慧的細胞檢測系統100中,具有類神經網路的處理器13之輸入資料以及輸出資料的示意圖。如前述提及,影像擷取裝置12可以在兩個不同時間點之間,對多個胚胎拍照,以產生N張影像。細胞檢測系統100可以利用DIC技術,對N張影像進行分析,以產生該些光動力學向量參數。並且,該些光動力學向量參數可用於產生形變向量資訊D1以及至少一個關鍵形變向量特徵數值D2。產生形變向量資訊D1以及至少一個關鍵形變向量特徵數值D2可用於訓練處理器13內的類神經網路。當類神經網路訓練完成後,處理器13即可利用人工智慧的程序判斷胚胎品質及/或辨識胚胎。處理器13可輸出細胞品質輸出資料D6。應當理解的是,N張影像中之每一張影像可為二維影像或三維影像。若N張影像中之每一張影像為二維影像時,該些光動力學向量參數、形變向量資訊及至少一個關鍵形變向量特徵數值為K維資料的格式。舉例而言,在時間點T、高光譜儀之特定波長λ下,座標(x,y)的畫素S1的光訊號可以表示為S1(λ,T,x,y)。畫素S1的光訊號S1(λ,T,x,y)為四個維度的訊號格式。同
理,若N張影像中之每一張影像為三維影像時,該些光動力學向量參數、該形變向量資訊及該至少一個關鍵形變向量特徵數值係為(K+1)維資料的格式。舉例而言,在時間點T、高光譜儀之特定波長λ下,座標(x,y,z)的畫素S2的光訊號可以表示為S2(λ,T,x,y,z)。畫素S2的光訊號S2(λ,T,x,y,z)為五個維度的訊號格式。
K為大於2的正整數。因此可預期地,當細胞檢測系統100的資料格式為較高的維度時,運算複雜度將變高。當細胞檢測系統100的資料格式為較低的維度時,運算複雜度將變低。
並且,如前述提及,處理器13的類神經網路,可以利用邊緣特徵數據D3及每一個胚胎的分裂時間點D5以及分裂個數D4進行訓練後,類神經網路可以利用人工智慧的程序優化細胞品質檢測模型。因此,如第4圖所示,處理器內的類神經網路可以接收形變向量資訊D1、至少一個關鍵形變向量特徵數值D2、邊緣特徵數據D3、分裂個數D4、分裂時間點D5。並且,當處理器內的類神經網路訓練完成後,處理器即可利用人工智慧的程序對不孕症婦女的取卵/胚胎進行遴選,以輸出細胞品質輸出資料D6。細胞品質輸出資料D6可為任何形式的資料格式,如輸出胚胎優劣的分級資料、輸出至少一個胚胎的優劣排序百分率、或是輸出至少一個胚胎的細胞品質。細胞品質可為細胞之詳細化學成分數值含量多寡、遺傳基因優劣,也可以為細胞於特定時間內之發育狀態的優劣,或是細胞是否發生病變而定。若為生殖細胞也可為懷孕與否、新生兒健康以及性別而定。
綜上所述,本發明描述一種利用光動力學技術之人工智慧的細胞檢測方法及其系統。細胞檢測系統的應用族群可為不孕症的婦女。醫療人員可先依據大量細胞數據,建立人工智慧之細胞品質檢測模型後,即可對不孕症的婦女進行療程。並且,人工智慧的類神經網路可以接收光動力學及型態學相關的各種參數,例如形變向量資訊、至少一個關鍵形變向量特徵數值、邊緣特徵數
據、分裂個數、分裂時間點。因此,類神經網路的使用可以避免醫療人員或是研究人員以主觀的方式來判斷胚胎的優劣。不孕症的婦女可以先進行多個胚胎培養,細胞檢測系統利用人工智慧之細胞品質間檢測模型決定最佳胚胎後,再以人工的方式植入母體子宮,以增加受孕的成功率。
以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
100:利用光動力學技術之人工智慧的細胞檢測系統
10:載具
11:透鏡模組
12:影像擷取裝置
13:處理器
14:記憶體
Claims (9)
- 一種利用光動力學技術之人工智慧的細胞檢測方法,包含:取得複數個細胞;在第一時間點以及第二時間點之間,取樣該些細胞的N張影像;決定每一個細胞的一分析區域;依據該些細胞的N張影像,對每一個細胞的該分析區域進行一影像處理程序,以產生複數個光動力學向量參數;依據該些光動力學向量參數,產生該些細胞在該第一時間點以及該第二時間點之間的形變向量資訊,其中該些光動力學向量參數包含位移向量資訊、應變向量資訊與變形速度向量資訊;依據該些細胞的N張影像,在該些細胞的該形變向量資訊中,取得至少一個局部極大值(Local Maximum)的應變量以及至少一個局部極小值(Local Minimum)的應變量;取得該些細胞對應的包含該至少一個局部極大值的應變量及該至少一個局部極小值的應變量的至少一個關鍵形變向量特徵數值;將該形變向量資訊及該至少一個關鍵形變向量特徵數值輸入至一類神經網路,以訓練該類神經網路;及利用該類神經網路,以一人工智慧的程序建立一細胞品質檢測模型,以檢測細胞品質及/或辨識細胞;其中該第一時間點在第二時間點之前,且N為大於2的正整數。
- 如請求項1所述之方法,其中該些細胞係為複數個生殖細胞,且該第一時間點以及該第二時間點係為該些生殖細胞於培養液中發育且分裂之一觀察週期中的任兩時間點。
- 如請求項1所述之方法,其中該些細胞係為複數個胚胎,且該分析區域係為該些胚胎中每一個胚胎的一囊胚(Blastocyst)區域或一自定義區域,且該分析區域的一範圍小於單一細胞的尺寸。
- 如請求項1所述之方法,其中該N張影像中之每一張影像係為一二維影像或一三維影像,若該N張影像中之該每一張影像係為該二維影像時,該些光動力學向量參數、該形變向量資訊及該至少一個關鍵形變向量特徵數值係為K維資料的格式,且若該N張影像中之該每一張影像係為該三維影像時,該些光動力學向量參數、該形變向量資訊及該至少一個關鍵形變向量特徵數值係為(K+1)維資料的格式,K為大於2的正整數。
- 如請求項1所述之方法,其中該N張影像中之每一張影像係為一灰階影像、一高光譜影像或一景深合成影像。
- 如請求項1所述之方法,另包含:利用一型態學的一邊緣偵測技術偵測該些細胞於該第一時間點以及該第二時間點之間的邊緣特徵數據,並將該邊緣特徵數據輸入至該類神經網路,以訓 練該類神經網路;及利用該型態學的一橢圓偵測方法,依據該邊緣特徵數據,偵測該些細胞於該第一時間點以及該第二時間點之間,每一個細胞的一分裂時間點以及一分裂個數,並將該每一個細胞的該分裂時間點以及該分裂個數輸入至該類神經網路,以訓練該類神經網路。
- 如請求項7所述之方法,其中該類神經網路利用該邊緣特徵數據及該每一個細胞的該分裂時間點以及該分裂個數進行訓練後,該類神經網路利用該人工智慧的程序優化該細胞品質檢測模型。
- 一種利用光動力學技術之人工智慧的細胞檢測系統,包含:一載具,具有一容置槽,用以放置複數個細胞;一透鏡模組,面對該載具,用以放大該些細胞的細節;一影像擷取裝置,面對該透鏡模組,用以透過該透鏡模組取得該些細胞的影像;一處理器,耦接於該透鏡模組及該影像擷取裝置,用以調整該透鏡模組的一放大倍率以及處理該些細胞的影像;及一記憶體,耦接於該處理器,用以儲存訓練資料以及影像處理的分析資料;其中該載具之該容置槽放置該些細胞後,處理器控制該影像擷取裝置,透過該透鏡模組在第一時間點以及第二時間點之間,取樣該些細胞的N張影像,該處理器決定每一個細胞的一分析區域,依據該些細胞的N張影像,對每一個細胞的該分析區域進行一影像處理程序,以產生複數個光動力學向量參數,該些光動力學向量參數包含位移向量資訊、應變向量資訊與變形速度向量資訊,依據該些光動力學向量參數,產生該些細胞在該第一時間點以及該第二時間點之間的形變向量資訊,依據該些細胞的N張影像,該處理器 在該些細胞的該形變向量資訊中,取得至少一個局部極大值(Local Maximum)的應變量以及至少一個局部極小值(Local Minimum)的應變量,該處理器取得該些細胞對應的包含該至少一個局部極大值的應變量及該至少一個局部極小值的應變量的至少一個關鍵形變向量特徵數值,且該處理器包含一類神經網路,該形變向量資訊及該至少一個關鍵形變向量特徵數值用以訓練該類神經網路,該處理器利用該類神經網路,以一人工智慧的程序建立一細胞品質檢測模型,以檢測細胞品質及/或辨識細胞,該第一時間點在第二時間點之前,且N為大於2的正整數。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962941612P | 2019-11-27 | 2019-11-27 | |
| US62/941,612 | 2019-11-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202120906A TW202120906A (zh) | 2021-06-01 |
| TWI754945B true TWI754945B (zh) | 2022-02-11 |
Family
ID=75996128
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109117822A TWI754945B (zh) | 2019-11-27 | 2020-05-28 | 利用光動力學技術之人工智慧的細胞檢測方法及其系統 |
| TW109117840A TWI781408B (zh) | 2019-11-27 | 2020-05-28 | 利用高光譜資料分析技術之人工智慧的細胞檢測方法及其系統 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109117840A TWI781408B (zh) | 2019-11-27 | 2020-05-28 | 利用高光譜資料分析技術之人工智慧的細胞檢測方法及其系統 |
Country Status (2)
| Country | Link |
|---|---|
| CN (2) | CN112862742A (zh) |
| TW (2) | TWI754945B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100260406A1 (en) * | 2004-05-13 | 2010-10-14 | Paul Sammak | Methods and systems for imaging cells |
| US20110013821A1 (en) * | 2008-03-24 | 2011-01-20 | Nikon Corporation | Image analysis method for cell observation, image-processing program, and image-processing device |
| WO2013037119A1 (zh) * | 2011-09-16 | 2013-03-21 | 长沙高新技术产业开发区爱威科技实业有限公司 | 红细胞形态学分析装置及其方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004088574A1 (en) * | 2003-04-02 | 2004-10-14 | Amersham Biosciences Uk Limited | Method of, and computer software for, classification of cells into subpopulations |
| CN1563947A (zh) * | 2004-03-18 | 2005-01-12 | 中国科学院上海技术物理研究所 | 显微高光谱成像系统 |
| CN101331500B (zh) * | 2005-10-14 | 2015-04-29 | 尤尼森斯繁殖技术公司 | 细胞群的变化的测定 |
| US8744775B2 (en) * | 2007-12-28 | 2014-06-03 | Weyerhaeuser Nr Company | Methods for classification of somatic embryos comprising hyperspectral line imaging |
| JP2009229274A (ja) * | 2008-03-24 | 2009-10-08 | Nikon Corp | 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置 |
| US9435732B2 (en) * | 2009-06-25 | 2016-09-06 | Yissum Research Development Of The Hebrew University Of Jerusalem Ltd. | Hyperspectral identification of egg fertility and gender |
| AU2012280743A1 (en) * | 2011-07-02 | 2014-01-16 | Unisense Fertilitech A/S | Adaptive embryo selection criteria optimized through iterative customization and collaboration |
| EP2890781B1 (en) * | 2012-08-30 | 2020-09-23 | Unisense Fertilitech A/S | Automatic surveillance of in vitro incubating embryos |
| EP3207499A4 (en) * | 2014-10-17 | 2018-09-19 | Cireca Theranostics, LLC | Methods and systems for classifying biological samples, including optimization of analyses and use of correlation |
| US9971966B2 (en) * | 2016-02-26 | 2018-05-15 | Google Llc | Processing cell images using neural networks |
| CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
| KR102669330B1 (ko) * | 2016-12-01 | 2024-05-28 | 버클리 라잇츠, 인크. | 미세유체 디바이스에서의 마이크로-객체의 자동화된 검출 및 재포지셔닝 |
| CN106815566B (zh) * | 2016-12-29 | 2021-04-16 | 天津中科智能识别产业技术研究院有限公司 | 一种基于多任务卷积神经网络的人脸检索方法 |
| CN107064019B (zh) * | 2017-05-18 | 2019-11-26 | 西安交通大学 | 用于无染色病理切片高光谱图像采集及分割的装置及方法 |
| WO2018229802A1 (en) * | 2017-06-16 | 2018-12-20 | Ge Healthcare Bio-Sciences Ab | Method for predicting outcome of and modelling of a process in a bioreactor |
| CN108550133B (zh) * | 2018-03-02 | 2021-05-18 | 浙江工业大学 | 一种基于Faster R-CNN的癌细胞检测方法 |
| TWI664582B (zh) * | 2018-11-28 | 2019-07-01 | 靜宜大學 | 細胞檢測方法、裝置與系統 |
| CN109883966B (zh) * | 2019-02-26 | 2021-09-10 | 江苏大学 | 一种基于多光谱图像技术检测中华绒螯蟹熟化程度的方法 |
| CN110136775A (zh) * | 2019-05-08 | 2019-08-16 | 赵壮志 | 一种细胞分裂及抗干扰检测系统及方法 |
| CN110390676A (zh) * | 2019-07-26 | 2019-10-29 | 腾讯科技(深圳)有限公司 | 显微镜下医学染色图像的细胞检测方法、智能显微镜系统 |
-
2020
- 2020-05-28 TW TW109117822A patent/TWI754945B/zh active
- 2020-05-28 TW TW109117840A patent/TWI781408B/zh active
- 2020-06-03 CN CN202010493873.6A patent/CN112862742A/zh active Pending
- 2020-06-04 CN CN202010498111.5A patent/CN112862743A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100260406A1 (en) * | 2004-05-13 | 2010-10-14 | Paul Sammak | Methods and systems for imaging cells |
| US20110013821A1 (en) * | 2008-03-24 | 2011-01-20 | Nikon Corporation | Image analysis method for cell observation, image-processing program, and image-processing device |
| WO2013037119A1 (zh) * | 2011-09-16 | 2013-03-21 | 长沙高新技术产业开发区爱威科技实业有限公司 | 红细胞形态学分析装置及其方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112862743A (zh) | 2021-05-28 |
| TWI781408B (zh) | 2022-10-21 |
| CN112862742A (zh) | 2021-05-28 |
| TW202120906A (zh) | 2021-06-01 |
| TW202121241A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7072067B2 (ja) | 胚の生存率を推定するためのシステムおよび方法 | |
| US20220383986A1 (en) | Complex System for Contextual Spectrum Mask Generation Based on Quantitative Imaging | |
| US20240249540A1 (en) | Image feature detection | |
| CN111524137A (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| CN110763678A (zh) | 一种病理切片判读方法及系统 | |
| US12067712B2 (en) | Complex system for contextual mask generation based on quantitative imaging | |
| WO2014021175A1 (ja) | 壊死細胞領域検出装置及びその方法、コンピュータにより処理可能な壊死細胞領域検出プログラムを記憶する記憶媒体 | |
| US10748288B2 (en) | Methods and systems for determining quality of an oocyte | |
| JP2009014355A (ja) | 画像処理装置および画像処理プログラム | |
| TWI754945B (zh) | 利用光動力學技術之人工智慧的細胞檢測方法及其系統 | |
| US20240169523A1 (en) | Cell counting method, machine learning model construction method and recording medium | |
| CN120142258A (zh) | 一种无创化精子细胞死活检测方法 | |
| Chen et al. | Automating blastocyst formation and quality prediction in time-lapse imaging with adaptive key frame selection | |
| Betegón-Putze et al. | MyROOT: A novel method and software for the semi-automatic measurement of plant root length | |
| Sharma et al. | Exploring Embryo Development at the Morula Stage-an AI-based Approach to Determine Whether to Use or Discard an Embryo | |
| CN105740211A (zh) | 一种基于蜂巢视频—温度采集系统的信息融合分析方法 | |
| AU2019101174A4 (en) | Systems and methods for estimating embryo viability | |
| US12354267B1 (en) | Oocyte quality analysis system | |
| Koppelman | Utilizing Machine Learning for Grading Bovine Cumulus-Oocyte Complexes | |
| CN119339371A (zh) | 囊胚图像实例分割方法、装置、计算机设备及存储介质 | |
| CN119207583A (zh) | 组织样本的质量评价方法及装置、分析设备、存储介质 | |
| CN111142253B (zh) | 显微图像中的对焦窗口选择方法及装置 | |
| RU2800079C2 (ru) | Системы и способы оценки жизнеспособности эмбрионов | |
| CN118587270A (zh) | 斑马鱼幼鱼眼参数测量方法、装置、电子设备、存储介质及应用 | |
| Aloor et al. | Segmentation of trophectoderm in microscopic images of human embryos using watershed method |