TWI804123B

TWI804123B - 影像辨識方法及系統

Info

Publication number: TWI804123B
Application number: TW110147929A
Authority: TW
Inventors: 羅聰賢
Original assignee: 友達光電股份有限公司
Priority date: 2021-12-21
Filing date: 2021-12-21
Publication date: 2023-06-01
Also published as: TW202326512A; CN114882592A; CN114882592B

Abstract

一種影像辨識方法及系統。識別由影像擷取器所擷取的影像序列中的手腕移動軌跡。基於手腕移動軌跡，計算手腕的移動次數以及每一次手腕移動的移動距離。判斷移動次數是否符合預設次數以及每一次移動的移動距離是否在預設範圍內。倘若移動次數不符合預設次數、或至少一次的移動距離不在預設範圍內，發出重新執行通知。倘若移動次數符合該預設次數，且每一次移動的移動距離皆在預設範圍內，判定清潔動作完成。

Description

影像辨識方法及系統

本發明是有關於一種影像辨識機制，且特別是有關於一種用於監控人員的影像辨識方法及系統。

半導體裝置的製造通常是藉由在半導體基板上多次沉積絕緣層或介電質層的材料、導電層的材料以及半導體層的材料等，並使用微影製程圖案化所形成的各種材料層，藉以在此半導體基板之上形成電路零件及組件。於上述微影製程中一般使用光罩進行材料層之圖案化。所謂光罩指的是將微米等級的精細圖案形成於玻璃板上而製成的產品。一般而言，光罩使用前需確保無微粒異物附著於表面，以免影響製程良率，故需人員進行光罩的清潔。在清潔光罩的同時，還需另一人員從旁監督其作業狀況，例如靜電防護確認、去靜電槍使用以及清潔動作有無落實。

本發明提供一種影像辨識方法及系統，可確認人員執行清潔動作是否確實並提醒其動作。

本發明的影像辨識方法，透過處理器來執行多個步驟，包括：識別由影像擷取器所擷取的影像序列中的手腕移動軌跡，其中影像序列是在使用者執行清潔動作時所拍攝；基於手腕移動軌跡，計算手腕的移動次數以及每一次手腕移動的移動距離，其中移動次數是透過計算手腕點位與肩膀點位交錯的次數而獲得；判斷移動次數是否符合預設次數以及每一次移動的移動距離是否在預設範圍內；倘若移動次數不符合預設次數、或至少一次的移動距離不在預設範圍內，發出重新執行通知；以及倘若移動次數符合該預設次數，且每一次移動的移動距離皆在預設範圍內，判定清潔動作完成。

在本發明的一實施例中，上述影像辨識方法更包括透過處理器來執行下述步驟：在識別手腕移動軌跡之前，驅動物件偵測模型來對由影像擷取器所獲得的初始影像進行物件偵測，以判斷防靜電裝置是否與靜電盒重疊；以及在判定防靜電裝置與靜電盒重疊之後，驅動姿勢評估模型，以識別影像序列中的手腕移動軌跡。

在本發明的一實施例中，驅動姿勢評估模型，以識別影像序列中的手腕移動軌跡的步驟包括：透過姿勢評估模型來偵測影像序列中的多個影像分別對應的多個骨架；以及基於這些骨架中的手腕點位以及肩膀點位來獲得手腕移動軌跡。

在本發明的一實施例中，上述影像辨識方法更包括透過處理器來執行下述步驟：對手腕移動軌跡執行平滑化處理，以基於經由平滑化處理的手腕移動軌跡來計算手腕的移動次數以及每一次手腕移動的移動距離。

在本發明的一實施例中，判斷移動次數是否符合預設次數以及每一次移動的移動距離是否在預設範圍內的步驟包括：透過處理器判斷在時間區間內的移動次數是否符合預設次數；倘若在時間區間內的移動次數不符合預設次數，透過處理器發出重新執行通知；倘若在時間區間內的移動次數符合預設次數，透過處理器判斷在時間區間內所獲得的多個移動距離是否皆在預設範圍內；倘若時間區間內所獲得的至少一個移動距離不在預設範圍內，透過處理器發出重新執行通知；以及倘若時間區間內所獲得的所有移動距離皆在預設範圍內，透過處理器判定清潔動作完成。

本發明的影像辨識系統，包括：影像擷取器以及處理器。處理器耦接至影像擷取器。所述處理器經配置以：識別由影像擷取器所擷取的影像序列中的手腕移動軌跡，其中影像序列是在使用者執行清潔動作時所拍攝；基於手腕移動軌跡，計算手腕的移動次數以及每一次手腕移動的移動距離，其中移動次數是透過計算手腕點位與肩膀點位交錯的次數而獲得；判斷移動次數是否符合預設次數以及每一次移動的移動距離是否在預設範圍內；倘若移動次數不符合預設次數、或至少一次的移動距離不在預設範圍內，發出重新執行通知；以及倘若移動次數符合該預設次數，且每一次移動的移動距離皆在預設範圍內，判定清潔動作完成。

基於上述，本揭露利用影像擷取器來拍攝人員執行清潔動作的影像序列並對影像序列進行影像辨識演算，藉此可確認人員執行清潔動作是否確實並提醒其動作。據此，可降低因人員疏失導致清潔動作未妥善執行的問題，提高清潔效果，並且不需另一人員從旁監督。

圖1是依照本發明一實施例的影像辨識系統的方塊圖。請參照圖1，影像辨識系統包括處理器110、儲存元件120以及影像擷取器130。處理器110耦接至儲存元件120以及影像擷取器130。在一實施例中，處理器110與儲存元件120設置於同一台電子裝置中，而影像擷取器130可透過有線傳輸或無線傳輸方式耦接至處理器110。在另一實施例中，處理器110、儲存元件120以及影像擷取器130為設置在同一台電子裝置中。

處理器110例如為中央處理單元（Central Processing Unit，CPU）、物理處理單元（Physics Processing Unit，PPU）、可程式化之微處理器（Microprocessor）、嵌入式控制晶片、數位訊號處理器（Digital Signal Processor，DSP）、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）或其他類似裝置。

儲存元件120例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合。儲存元件120包括至少一程式碼片段，上述程式碼片段在被安裝後，會由處理器110來執行。

影像擷取器130例如是採用電荷耦合元件（Charge coupled device，CCD）鏡頭、互補式金氧半電晶體（Complementary metal oxide semiconductor transistors，CMOS）鏡頭的攝影機、照相機等。影像擷取器130設置在光罩清潔機台的前方，以在使用者執行清潔動作時進行拍攝。

圖2是依照本發明一實施例的影像辨識方法的流程圖。在本實施例中，各步驟是透過處理器110來執行。請參照圖2，在步驟S205中，識別由影像擷取器130所擷取的影像序列中的手腕移動軌跡。所述影像序列包括多張影像，其是在使用者執行清潔動作時所拍攝。處理器110可設定為：每隔一取樣頻率在影像序列中取出一張影像，以在一時間區間內取出多張影像來進行影像識別。另外，處理器110亦可設定為取出影像序列所包括的每一張影像來進行影像識別。

在一實施例中，儲存元件120包括由Python程式語言所編寫的姿勢評估模型。姿勢評估模型採用PoseNet演算法，以進行即時人體姿態測（pose estimation），藉此找出由多個點位組成的骨架。在PoseNet演算法，骨架包括17的點位，且每一個點位都具有對應的識別碼（identification，ID）。所述17個點位包括鼻子（ID：0）、左眼（ID：1）、右眼（ID：2）、左耳（ID：3）、右耳（ID：4）、左肩（ID：5）、右肩（ID：6）、左肘（ID：7）、右肘（ID：8）、左腕（ID：9）、右腕（ID：10）、左髖（ID：11）、右髖（ID：12）、左膝（ID：13）、右膝（ID：14）、左腳踝（ID：15）、右腳踝（ID：16）。另外，在其他實施例中，姿勢評估模型也可以採用MoveNet演算算法或BlazePose演算法等。

在獲得影像序列的各幀影像中的骨架之後，基於這些骨架中的手腕點位以及肩膀點位來獲得手腕移動軌跡。例如，取出每一個骨架中ID為6及10兩個點位的座標來獲得手腕移動軌跡。或者，取出每一個骨架中ID為5及9兩個點位的座標來獲得手腕移動軌跡。或者，取出每一個骨架中ID為5、6、9、10四個點位的座標來獲得手腕移動軌跡。

在獲得手腕移動軌跡之後，在步驟S210中，基於手腕移動軌跡，計算手腕的移動次數以及每一次手腕移動的移動距離。在此，移動次數是透過計算手腕點位與肩膀點位交錯的次數而獲得。例如，將手腕點位從肩膀點位的第一側移動至第二側之後再返回第一側設定為是一次的移動。

圖3A～圖3D是依照本發明一實施例的人體骨架的示意圖。請參照圖3A～圖3D，影像序列包括影像310～340，其是利用影像擷取器130對著欲對光罩M執行清潔動作的使用者來進行拍攝。在本實施例中，姿勢評估模型採用PoseNet演算法，以找出由17點位組成的骨架，如影像310～340所示的由17個圓點組成的骨架。在本實施例中僅繪示出17個點位以及光罩M來進行說明。

以右手進行操作而言，取右手的手腕點位N1及肩膀點位N2的座標來獲得手腕移動軌跡。如影像310～340所示，手腕點位N1由肩膀點位N2的一側移動至另一側視為是一次的移動。處理器110計算影像310中的手腕點位N1移動至影像320中的手腕點位N1的移動距離，接著計算影像320與影像330中手腕點位N1的移動距離，之後計算影像330與影像340中手腕點位N1的移動距離。最後，加總所述3個移動距離來獲得這一次手腕移動的最終的移動距離。

在獲得移動次數以及每一次的移動距離之後，在步驟S215中，判斷移動次數是否符合預設次數以及每一次移動的移動距離是否在預設範圍內。倘若其中一者未滿足，即移動次數不符合預設次數、或至少一次的移動距離不在預設範圍內，在步驟S220中，發出重新執行通知。倘若所述條件皆滿足，即，移動次數符合預設次數，且每一次移動的移動距離皆在預設範圍內，在步驟S225中，判定清潔動作完成。

進一步地說，可預先設定需在一時間區間完成預定次數的移動。例如，設定時間區間為3分鐘，預設次數為5次，預設範圍為40～60公分。先透過處理器110判斷在時間區間內的移動次數是否符合預設次數。例如，處理器110自影像擷取器130取出3分鐘內的影像序列進行處理。倘若在時間區間內的移動次數不符合預設次數，透過處理器110發出重新執行通知。處理器110可以採用語音訊號或文字訊號來實現所述重新執行通知。

倘若在時間區間內的移動次數符合預設次數，透過處理器110判斷在時間區間內所獲得的多個移動距離是否皆在預設範圍內。倘若時間區間內所獲得的至少一個移動距離不在預設範圍內，透過處理器110發出重新執行通知。倘若時間區間內所獲得的所有移動距離皆在預設範圍內，透過處理器110判定清潔動作完成。

另外，儲存元件120還可進一步包括物件偵測模型。物件偵測模型例如是以Python程式語言所編寫，採用YOLO（You Only Look Once）演算法。在執行姿勢評估模型之前，先透過影像擷取器130來拍攝一初始影像，以透過物件偵測模型來識別初始影像中的防靜電裝置以及靜電盒兩者對應的位置，並據此來判斷防靜電裝置是否與靜電盒重疊。在判定防靜電裝置與靜電盒重疊之後，處理器110才會驅動姿勢評估模型，以識別影像序列中的手腕移動軌跡。此步驟用以在對光罩執行清潔動作之前，確保有妥善實施靜電防護措施。防靜電裝置例如為去靜電槍或防靜電環。

此外，由於環境光源為黃光，可能會造成姿勢評估模型的結果有所偏移，例如偵測到的點位偏移。故，在獲得手腕移動軌跡之後，處理器110可先對手腕移動軌跡執行平滑化處理，再以經由平滑化處理的手腕移動軌跡來計算手腕的移動次數以及每一次手腕移動的移動距離。

圖4是依照本發明一實施例的移動軌跡的曲線圖。圖4所示的曲線圖中，橫軸代表時間，縱軸代表手腕點位的X座標的位置（X座標），以實線繪製的曲線為未平滑化的手腕點位移動曲線410，以虛線繪製的曲線為經平滑化的手腕點位移動曲線420。手腕點位移動曲線410上的每一個點是由影像序列所包括的多張影像所獲得的手腕點位的位置。

底下舉一實施例來說說明平滑化處理。在此，創建一個低通（lowpass）巴特沃斯濾波器（Butterworth filter）來取得轉移函數係數[b,a]。在此，[b,a]=butter(n,Wc)，n為濾波器的階數，Wc為截止頻率（cutoff frequency）。接著，為階躍響應（step response）穩態（steady-state）的lfilter濾波器來構造初始狀態zi。例如，利用lfilter_zi濾波器來構造初始狀態zi=lfilter_zi(b, a)。之後，使用lfilter濾波器獲得z=lfilter(b, a, xn, zi=zi×xn[0])。而後，再次使用lfilter濾波器來獲得z2= lfilter(b, a, z, zi=zi×z[0])。另外，也可使用filtfilt濾波器來獲得y=filtfilt(b, a, xn)。利用上述濾波器來對手腕移動軌跡執行平滑化處理，以避免因環境亮度不夠明亮所造成的點位飄移現象。

綜上所述，本揭露利用影像擷取器來拍攝人員執行清潔動作的影像序列並對影像序列進行影像辨識演算，藉此可確認人員執行清潔動作是否確實並提醒其動作。據此，可降低因人員疏失導致清潔動作未妥善執行的問題，提高清潔效果，並且不需另一人員從旁監督。

110:處理器 120:儲存元件 130:影像擷取器 310～340:影像 410:未平滑化的手腕點位移動曲線 420:經平滑化的手腕點位移動曲線 M:光罩 N1:手腕點位 N2:肩膀點位 S205～S225:影像辨識方法的步驟

圖1是依照本發明一實施例的影像辨識系統的方塊圖。圖2是依照本發明一實施例的影像辨識方法的流程圖。圖3A～圖3D是依照本發明一實施例的人體骨架的示意圖。圖4是依照本發明一實施例的移動軌跡的曲線圖。

S205~S225:影像辨識方法的步驟

Claims

一種影像辨識方法，透過一處理器來執行多個步驟，包括：識別由一影像擷取器在一使用者執行一清潔動作時所拍攝的一影像序列，以識別該影像序列的多個影像每一幀中與該使用者對應的包括多個點位的一骨架；基於由該些影像每一幀所獲得的該些點位中的一肩膀點位與一手腕點位來識別一手腕移動軌跡；參照該手腕移動軌跡，以該手腕點位自該肩膀點位的一第一側移動至一第二側之後再返回該第一側來做為一手腕移動一次的方式，計算該手腕的一移動次數以及每一次移動的一移動距離；判斷該移動次數是否符合一預設次數以及每一次移動的該移動距離是否在一預設範圍內；倘若該移動次數不符合該預設次數、或至少一次的移動距離不在該預設範圍內，發出一重新執行通知；以及倘若該移動次數符合該預設次數，且每一次移動的該移動距離皆在該預設範圍內，判定該清潔動作完成。
如請求項1所述的影像辨識方法，更包括透過該處理器來執行下述步驟：在識別該手腕移動軌跡之前，驅動一物件偵測模型來對由該影像擷取器所獲得的一初始影像進行物件偵測，以判斷一防靜電裝置是否與一靜電盒重疊；以及在判定該防靜電裝置與該靜電盒重疊之後，驅動一姿勢評估模型，以識別該影像序列中與該使用者對應的包括該些點位的該骨架。
如請求項2所述的影像辨識方法，其中驅動該姿勢評估模型，以識別該影像序列中的該些影像每一幀中與該使用者對應的包括該些點位的該骨架的步驟包括：透過該姿勢評估模型來分別偵測該影像序列所包括的該些影像每一幀中對應於該使用者的該骨架；以及基於該些點位中的該手腕點位以及該肩膀點位來獲得該手腕移動軌跡。
如請求項1所述的影像辨識方法，更包括透過該處理器來執行下述步驟：對該手腕移動軌跡執行一平滑化處理，以基於經由該平滑化處理的該手腕移動軌跡來計算該手腕的該移動次數以及每一次移動的該移動距離。
如請求項1所述的影像辨識方法，其中判斷該移動次數是否符合該預設次數以及每一次移動的該移動距離是否在該預設範圍內的步驟包括：透過該處理器判斷在一時間區間內的該移動次數是否符合該預設次數；倘若在該時間區間內的該移動次數不符合該預設次數，透過該處理器發出該重新執行通知；倘若在該時間區間內的該移動次數符合該預設次數，透過該處理器判斷在該時間區間內所獲得的所有移動距離是否皆在該預設範圍內；倘若該時間區間內所獲得的所有移動距離中至少一個不在該預設範圍內，透過該處理器發出該重新執行通知；以及倘若該時間區間內所獲得的所有移動距離皆在該預設範圍內，透過該處理器判定該清潔動作完成。
一種影像辨識系統，包括：一影像擷取器；一處理器，耦接至該影像擷取器，該處理器經配置以：識別由該影像擷取器在一使用者執行一清潔動作時所拍攝的一影像序列，以識別該影像序列的多個影像每一幀中與該使用者對應的包括多個點位的一骨架；基於由該些影像每一幀所獲得的該些點位中的一肩膀點位與一手腕點位來識別一手腕移動軌跡；參照該手腕移動軌跡，以該手腕點位自該肩膀點位的一第一側移動至一第二側之後再返回該第一側來做為一手腕移動一次的方式，計算該手腕的一移動次數以及每一次移動的一移動距離；判斷該移動次數是否符合一預設次數以及每一次移動的該移動距離是否在一預設範圍內；倘若該移動次數不符合該預設次數、或至少一次的移動距離不在該預設範圍內，發出一重新執行通知；以及倘若該移動次數符合該預設次數，且每一次移動的該移動距離皆在該預設範圍內，判定該清潔動作完成。
如請求項6所述的影像辨識系統，其中該處理器經配置以：在識別該手腕移動軌跡之前，驅動一物件偵測模型來對由該影像擷取器所獲得的一初始影像進行物件偵測，以判斷一防靜電裝置是否與一靜電盒重疊；以及在判定該防靜電裝置與該靜電盒重疊之後，驅動一姿勢評估模型，以識別該影像序列中與該使用者對應的包括該些點位的該骨架。
如請求項7所述的影像辨識系統，其中該處理器經配置以：透過該姿勢評估模型來分別偵測該影像序列所包括的該些影像每一幀中對應於該使用者的該骨架；以及基於該些點位中的該手腕點位以及該肩膀點位來獲得該手腕移動軌跡。
如請求項6所述的影像辨識系統，其中該處理器經配置以：對該手腕移動軌跡執行一平滑化處理，以基於經由該平滑化處理的該手腕移動軌跡來計算該手腕的該移動次數以及每一次移動的該移動距離。
如請求項6所述的影像辨識系統，其中該處理器經配置以：判斷在一時間區間內的該移動次數是否符合該預設次數；倘若在該時間區間內的該移動次數不符合該預設次數，發出該重新執行通知；倘若在該時間區間內的該移動次數符合該預設次數，判斷在該時間區間內所獲得的所有移動距離是否皆在該預設範圍內；倘若該時間區間內所獲得的所有移動距離中至少一個不在該預設範圍內，發出該重新執行通知；以及倘若該時間區間內所獲得的所有移動距離皆在該預設範圍內，判定該清潔動作完成。