[go: up one dir, main page]

TWI843465B - 用於缺陷偵測模型的訓練集產生的運算系統、方法和非暫時性電腦可讀媒體 - Google Patents

用於缺陷偵測模型的訓練集產生的運算系統、方法和非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI843465B
TWI843465B TW112107822A TW112107822A TWI843465B TW I843465 B TWI843465 B TW I843465B TW 112107822 A TW112107822 A TW 112107822A TW 112107822 A TW112107822 A TW 112107822A TW I843465 B TWI843465 B TW I843465B
Authority
TW
Taiwan
Prior art keywords
images
image
computing system
generating
prediction model
Prior art date
Application number
TW112107822A
Other languages
English (en)
Other versions
TW202324175A (zh
Inventor
東尼斯拉夫 依瓦諾
丹尼斯 巴貝斯寇
巴迪姆 皮斯基
馬修 Ｃ 樸特曼
安德魯 桑斯壯
Original Assignee
美商奈米創尼克影像公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商奈米創尼克影像公司 filed Critical 美商奈米創尼克影像公司
Publication of TW202324175A publication Critical patent/TW202324175A/zh
Application granted granted Critical
Publication of TWI843465B publication Critical patent/TWI843465B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/091—Active learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7796—Active pattern-learning, e.g. online learning of image or video features based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本發明揭示一種運算系統，其產生用於訓練預測模型以偵測存在於一目標樣本之一目標表面中之缺陷之一訓練資料集且基於該訓練資料集訓練該預測模型以偵測存在於該目標樣本之該目標表面中之缺陷。該運算系統藉由識別用於訓練該預測模型之一組影像而產生該訓練資料集，該組影像包括影像之一第一子集。一深度學習網路基於包括影像之該第一子集之該組影像產生影像之一第二子集以供後續標記。該深度學習網路基於包括影像之該第一子集及影像之該經標記第二子集之該組影像產生影像之一第三子集以供標記。該運算系統繼續程序直至產生臨限數目個經標記影像。

Description

用於缺陷偵測模型的訓練集產生的運算系統、方法和非暫時性電腦可讀媒體
本發明大體上係關於一種缺陷偵測系統。
深度學習模型在物件偵測任務中已變得風行。此等模型需要有效地訓練大量經標記資料。在許多情況中，收集大量資料並不困難，但人工地標記資料可係一非常乏味且耗時的程序。資料集之自動標記正在增加其適用性，但仍缺乏取代人類操作者所需之進動且在不具有先前歷史實例之情況下通常表現不佳。
在一些實施例中，本文中揭示一種運算系統。該運算系統包含一處理器及一記憶體。該記憶體具有儲存於其上之程式化指令，該等程式化指令在藉由該處理器執行時執行操作。該等操作包含產生用於訓練預測模型以偵測存在於一目標樣本之一目標表面中之缺陷之一訓練資料集且基於該訓練資料集訓練該預測模型以偵測存在於該目標樣本之該目標表面中之缺陷。該運算系統藉由以下者產生該訓練資料集：識別用於訓練該預測模型之一組影像，該組影像包括影像之一第一子集，其中影像之該第一子集之各影像標記有識別一各自樣本上之缺陷之標記；藉由一深度學習網路基於包括影像之該第一子集之該組影像產生影像之一第二子集以供後 續標記；提示一操作者標記在影像之該第二子集中之各影像；藉由該深度學習網路基於包括影像之該第一子集及影像之該經標記第二子集之該組影像產生影像之一第三子集以供標記；提示該操作者標記在影像之該第三子集中之各影像；及彙總影像之該第一子集、影像之該第二子集及影像之該第三子集，其中標記影像之該第一子集、影像之該第二子集及影像之該第三子集中之各影像。
在一些實施例中，本文中揭示一種方法。一運算系統識別用於訓練一預測模型以偵測一樣本之一表面中之缺陷之一組影像。該組影像包含影像之一第一子集。影像之該第一子集之各影像標記有識別一各自樣本上之缺陷之標記。該運算系統之一深度學習網路基於包括影像之該第一子集之該組影像產生影像之一第二子集以供後續標記。該運算系統提示一操作者標記在影像之該第二子集中之各影像。該深度學習網路基於包括影像之該第一子集及影像之該經標記第二子集之該組影像產生影像之一第三子集以供標記。該運算系統提示該操作者標記在影像之該第三子集中之各影像。該運算系統彙總影像之該第一子集、影像之該第二子集及影像之該第三子集。標記影像之該第一子集、影像之該第二子集及影像之該第三子集中之各影像以形成用於訓練該預測模型之一訓練資料集。
在一些實施例中，本文中揭示一種運算系統。該運算系統包含一處理器及一記憶體。該記憶體具有儲存於其上之程式化指令，該等程式化指令在藉由該處理器執行時執行操作。該等操作包含識別用於訓練一預測模型以偵測一樣本之一表面中之缺陷之一組影像。該組影像包含影像之一第一子集。影像之該第一子集之各影像標記有識別一各自樣本上之缺陷之標記。該等操作進一步包含藉由該運算系統之一深度學習網路基於 包括影像之該第一子集之該組影像產生影像之一第二子集以供後續標記。該等操作進一步包含提示一操作者標記在影像之該第二子集中之各影像。該等操作進一步包含藉由該深度學習網路基於包括影像之該第一子集及影像之該經標記第二子集之該組影像產生影像之一第三子集以供標記。該等操作進一步包含提示該操作者標記在影像之該第三子集中之各影像。該等操作進一步包含彙總影像之該第一子集、影像之該第二子集及影像之該第三子集。標記影像之該第一子集、影像之該第二子集及影像之該第三子集中之各影像以形成用於訓練該預測模型之一訓練資料集。
100:運算環境
101:樣本
102:設備
104:光源
106:光源
108:傾斜光
110:傾斜光
112:反射光
114:相機裝置
150:運算系統
152:預處理引擎
154:預測模型
156:深度學習模型
200:架構
300:方法
302:步驟
304:步驟
306:步驟
308:步驟
310:步驟
312:步驟
314:步驟
400:方法
402:步驟
404:步驟
406:步驟
408:步驟
410:步驟
500:圖形輸出
502:概率圖
600:系統匯流排運算系統架構
605:匯流排/系統匯流排
610:處理器
612:快取區
615:系統記憶體/記憶體
620:唯讀記憶體(ROM)
625:隨機存取記憶體(RAM)
630:儲存裝置
632:服務1
634:服務2
635:輸出裝置
636:服務3
640:通信介面
645:輸入裝置
650:電腦系統
655:處理器
660:晶片組
665:輸出
670:儲存裝置
675:隨機存取記憶體(RAM)
680:橋接器
685:使用者介面組件
690:通信介面
可藉由參考實施例(其等之一些在隨附圖式中繪示)進行上文簡要概述之本發明之一更特定描述，使得可詳細理解本發明之上述特徵。然而，應注意，隨附圖式僅繪示本發明之典型實施例且因此不應視為限制其範疇，此係因為本發明可承認其他同等有效的實施例。
圖1係繪示根據實例性實施例之一成像系統之一方塊圖。
圖2繪示根據實例性實施例之深度學習模型之一架構。
圖3係繪示根據實例性實施例之產生一訓練資料集以訓練預測模型之一方法之一流程圖。
圖4係繪示根據實例性實施例之識別一樣本中之缺陷之一方法之一流程圖。
圖5繪示根據實例性實施例之藉由預測模型產生之一例示性圖形輸出。
圖6A繪示根據實例性實施例之一系統匯流排運算系統架構。
圖6B繪示根據實例性實施例之具有一晶片組架構之一電腦系統。
為了促進理解，在可能之情況下已使用相同元件符號以指定圖共有之相同元件。經審慎考慮，一項實施例中揭示之元件可在無具體敘述之情況下有利地用於其他實施例。
相關申請案之交叉參考
本申請案主張2020年3月9日申請之美國臨時申請案第62/987,002號之優先權，該案之全文藉此以引用的方式併入本文中。
訓練一機器學習模型用於物件偵測及分類(其良好地一般化)可獲益於一多樣訓練資料集。此訓練資料集通常涉及人類註解，其中一人依序瀏覽一影像清單，標記各影像中之足夠大量之實例直至達到一經施加臨限值。尤其當可重複許多類似實例時，此習知程序耗時且非必要。針對大資料集，歸因於成本及時間之固有約束，標記每一實例可能不可行。為了最佳處理，基礎任務係基於對深度學習演算法之訓練之貢獻排定用於人類標記之影像之優先級。
天真地，大多數操作者可按可保存影像之順序或軟管目錄中之編號以文數字對影像分類並標記。此可隨收集及檔案系統而變化且可與所獲取資料幾乎不相關。在基礎類別之一簡短全域檢查及判定之後，操作者可繼續在經分配時間內透過目錄依序標記每一影像。許多資料可係過度重複，缺乏所需靈敏度，含有背景不規則性及可使經標記資料不適合於最佳訓練之其他反覆。最終經訓練模型與標記之間之回饋可通常係不正式的。通常，標記器與資料處理之間之離距如此大使得標記器未接收關於經 標記資料之有用性之回饋或關於如何正式地最佳化標記程序之知識。通常報告嚴重錯誤，但該等錯誤易於自資料分類且不會對整體訓練模型造成負面影響。雖然可指示一操作者忽略或略過某些實例，但合規性可變為一未解決問題且難以追蹤或有效地強制執行，尤其在非常大的群組及許多標記器之情況下。
操作者亦可形成一習慣性圖案及標記且變得在偵測某些類別(即，具有大量實例之類別)方面非常熟練。此可產生效率之錯覺，但代替性地，傳播遠離稀有類別及難以識別及分類之該等物件之偏誤。當經受對於許多影像之一常見類別之重複曝露時，操作者可更可能將稀有實例忽略為背景而非將其等標記為缺陷。針對某些架構(諸如深度學習架構)，此呈現一極大問題，此係因為未經分類至一經標記類別中之區域被視為背景且引起模型不偵測該等類型之缺陷。透過若干標記器或一投票程序克服此問題可經實施，但其昂貴且不保證在結果上產生一巨大改良。
本文中提供之一或多個技術呈現可用於藉由連續更新人工地標記資料集中之影像之一順序以便最大化標記之唯一性及多樣性而改良習知程序之一多階段方法。在一些實施例中，多階段方法可採用經組態以預測先前未見資料之一影像中之區域之一深度學習分段模型。在一些實施例中，多階段方法可集中於其中物件可隨機分佈之資料集，可在類別內之形態上變化，且可每類別少量或大量呈現。針對此等資料集，本方法可達成高準確度模型標記。
此外，本文中提供之一或多個技術提供優於習知自動標記技術之一改良。例如，使用習知方法，一習知系統將運行在先前資料上訓練之一模型以在所要資料集上產生標記及定界框。標記器將僅修改定界 框。在半導體域及類似專屬材料域中，習知自動標記方法由於缺乏對歷史資料之曝露及對材料特定類別(其係檢測及分類任務之對象)之存取而失效。為了解決此，本文中提供之一或多個技術提示一使用者或操作者標記影像之一小子集且定義整體分類任務之分類焦點。目標並非強制執行一整個產業或多使用者類別限制，而係將人工標記集中於關鍵影響者。由本系統實施之模型可提供操作者欲標記之一階層式有序清單。在一些實施例中，可以一主動學習方式訓練模型。例如，可在一小初始資料集上訓練模型且接著可使用模型以輔助標記資料之下一批次，且接著可重新訓練包含新資料之模型。
又此外，不同於習知方法，本文中描述之一或多個技術可利用包含更多稀有類別實例之一經策展訓練資料集。此經策展訓練資料集可有助於模型在訓練資料集中達成更佳類別平衡。
圖1繪示根據例示性實施例之用於檢測支撐於一載物台上之一樣本之一例示性運算環境100。如展示，根據實例性實施例，運算環境100可包含與一運算系統150通信之一設備102。設備102可經組態以使用一或多個光源104、106照明一樣本101。一或多個光源104、106可組態以依一角度引導傾斜光108、110朝向樣本101。傾斜照明可自樣本101之一表面反射作為反射光112。設備102可包含具有經組態以擷取反射光之一影像感測器之一相機裝置114。在一些實施例中，光源104、106可移動至圍繞物件圓周地定位之不同位置，其中在各位置處獲取影像。
在一些實施例中，設備102可將藉由相機裝置114擷取之影像提供至運算系統150以供處理。運算系統150可經由一或多個通信頻道與設備102通信。在一些實施例中，該一或多個通信頻道可代表經由網際 網路(諸如蜂巢式或Wi-Fi網路)之個別連接。在一些實施例中，該一或多個通信頻道可使用直接連接(諸如射頻識別(RFID)、近場通信(NFC)、BluetoothTM、低能量BluetoothTM(BLE)、Wi-FiTM、ZigBeeTM、環境反向散射通信(ABC)協定、USB、WAN或LAN)連接終端機、服務及行動裝置。運算系統150可經組態以分析藉由相機裝置114擷取之影像且產生樣本101之一形貌。
如展示，運算系統150可包含一預處理引擎152及一預測模型154。預處理引擎152及預測模型154之各者可包含一或多個軟體模組。該一或多個軟體模組可係儲存於一媒體(例如，運算系統150之記憶體)上之表示實施一或多個演算法步驟之一系列機器指令(例如，程式碼)之代碼或指令之集合。此等機器指令可係處理器解譯以實施指令之實際電腦代碼或替代地，可係經解譯以獲得實際電腦代碼之指令之一較高層級之編碼。該一或多個軟體模組亦可包含一或多個硬體組件。一實例性演算法之一或多個態樣可係由硬體組件(例如，電路)自身所執行而非指令所生之結果。
預處理引擎152可經組態以產生用以訓練預測模型154之一或多個訓練資料集。如上文提供，對於使用者而言，人工地標記且產生用於訓練預測模型154之訓練集通常係一乏味的任務。預處理引擎152可包含深度學習模型156。深度學習模型156可經訓練以對影像分類以供標記。在一些實施例中，可在影像之一初始小子集上訓練深度學習模型156。可使用矩形定界框標記影像之初始小子集中之全部所關注物件。在一些實施例中，可將全部經標記物件之定界框內部之像素分組成一第一類目(例如，「前景」)；可將影像像素之剩餘部分分組成一第二類目(例如，「背景」)。使用此分類，可產生兩個輸入分段遮罩：用於背景之一 第一輸入分段遮罩及用於前景之一第二輸入分段遮罩。在一些實施例中，可放大前景物件周圍之定界框以消除或降低對定界框之邊界上之像素分類之模糊性。
在一些實施例中，深度學習模型156可經訓練以產生兩個概率圖：一第一概率圖，其提供各像素屬於前景之概率；及一第二概率圖，其提供各像素屬於背景之概率。在一些實施例中，各概率圖之大小可與輸入影像之大小相同。使用第一概率圖及第二概率圖，預處理引擎152可運算未見一像素之一量測，例如，S unseen 。可屬於尚未標記之一新類別之實例或一先前經標記類別之新穎外觀實例之像素將具有一高未見分數。例如：
Figure 112107822-A0305-02-0010-1
使用每像素未見分數，預處理引擎可運算一整體影像度量且用於耙除影像。在一些實施例中，一高影像度量可對應於影像含有尚未見之一像素且因此值得標記優先級之一高可信度。在一些實施例中，可能不清楚哪一影像應具有較高優先級：具有較少高計分像素之一影像或具有許多低計分像素之一影像。為了考量此，在一些實施例中，預處理引擎118可運算兩個度量：一臨限度量M thresh 及一字母度量M alpha 。在一些實施例中，臨限度量可等於具有高於某一臨限值之一未見分數之像素之一數目。低於臨限度量，低計分像素可對度量無影響。例如：
Figure 112107822-A0305-02-0010-2
在一些實施例中，字母度量可等於在功率α下之全部未見分數之總和。在字母度量下，可考量全部像素但較低計分像素對分數具有較小影響。
Figure 112107822-A0305-02-0011-3
在使用此等度量之一者對影像進行排名之後，可產生待標記之下一批次之影像。此程序可以一主動學習方式反覆：標記新影像且可使用新可用經標記影像重新訓練深度學習模型156，且可調用深度學習模型156以產生待標記之下一批次之影像。
在標記足夠量之資料之後，可訓練預測模型154以偵測樣本中之缺陷。在一些實施例中，預測模型154亦可用於自動標記資料集之剩餘部分。
圖2繪示根據實例性實施例之深度學習模型156之一架構200。如展示，架構200可係基於U-net架構。架構200係一經修改U-net架構，其移除產生分段遮罩之最終softmax層以便直接獲得每類別之像素概率。架構200亦包含一組不同廻旋層填補以匹配藉由廻旋層使用之特徵圖之輸入大小及數目。
圖3係繪示根據實例性實施例之產生一訓練資料集以訓練預測模型154之一方法300之一流程圖。方法300可以步驟302開始。
在步驟302，運算系統150可接收用於訓練預測模型154之一組影像。在一些實施例中，運算系統150可自與運算系統150通信之一用戶端裝置接收一組影像。在一些實施例中，運算系統150可自與運算系統150相關聯之一資料庫接收一組影像。在一些實施例中，運算系統150可自一第三方網站或系統接收一組影像。在一些實施例中，該組影像可包含經標記影像之一子集。經標記影像之子集可藉由一人或操作者標記。經標記影像之子集可包含存在於影像中之全部缺陷之標記。在一些實施例中，未選取隨機選擇以防止操作者之任何選擇偏誤且強制字母數字偏誤， 如一操作者在習知範例下將執行般。
在步驟304，運算系統150可產生影像之一第二子集以供後續標記。例如，運算系統150可將該組影像提供至深度學習模型156以供處理。該組影像可包含經標記影像之子集以及未標記影像之剩餘部分。深度學習模型156可針對各影像產生兩個概率圖：一第一概率圖，其提供各像素屬於前景之概率；及一第二概率圖，其提供各像素屬於背景之概率。使用第一概率圖及第二概率圖，預處理引擎152可運算S unseen 度量。基於S unseen 度量，預處理引擎152可針對各影像產生M alpha 度量。一旦預處理引擎152產生各M alpha 度量，預處理引擎152便可對影像進行排序且選擇一組最高計分影像以形成影像之第二子集。
在步驟306，運算系統150可提示一使用者標記影像之第二子集。例如，運算系統150可提示一使用者標記影像之第二子集中含有之全部缺陷。由於相較於來自原始影像組之經標記影像之子集，深度學習模型156能夠識別包含未見像素之影像之一第二子集，故深度學習模型156已識別可用於預測模型154之後續訓練之額外影像。
在步驟308，運算系統150可產生影像之一第三子集以供後續標記。例如，運算系統150可將該組影像提供至深度學習模型156以供持續訓練。該組影像可包含經標記影像之子集、影像之第二子集(現在亦經標記)及剩餘未標記影像。深度學習模型156可針對各影像產生兩個概率圖：一第一概率圖，其提供各像素屬於前景之概率；及一第二概率圖，其提供各像素屬於背景之概率。使用第一概率圖及第二概率圖，預處理引擎152可運算S unseen 度量。基於S unseen 度量，預處理引擎152可針對各影像產生M alpha 度量。一旦預處理引擎152產生各M alpha 度量，預處理引擎152便 可對影像進行排序且選擇一組最高計分影像以形成影像之第三子集。
在步驟310，運算系統150可提示一使用者標記影像之第三子集。例如，運算系統150可提示一使用者標記影像之第三子集中含有之全部缺陷。由於相較於來自原始影像組之經標記影像之子集以及影像之第二子集，深度學習模型156能夠識別包含未見像素之影像之一第三子集，故深度學習模型156已識別可用於預測模型154之後續訓練之額外影像。
在步驟312，運算系統150可判定是否存在如藉由M thresh 指定之用於訓練預測模型154之臨限數目個經標記影像。例如，基於步驟304至310，運算系統150可判定是否存在足夠用於訓練預測模型154之經標記影像。若在步驟312，運算系統150判定不存在臨限數目個經標記影像，則方法300可回復至步驟308以繼續產生影像標記。換言之，若不存在臨限數量之經標記影像，則運算系統150可繼續將經標記影像之一子集、經標記影像之第二子集、經標記影像之第三子集、經標記影像之第n子集及剩餘未標記影像提供至深度學習模型156以繼續對新未標記影像進行排序以供標記之程序。
然而，若在步驟312，運算系統150判定存在臨限量之經標記影像，則方法300可進行至步驟314。在步驟314，運算系統150可輸出一組經標記影像用於訓練預測模型154。
圖4係繪示根據實例性實施例之識別一樣本中之缺陷之一方法400之一流程圖。方法400可以步驟402開始。
在步驟402，運算系統150可識別用於訓練預測模型154以識別存在於一樣本中之缺陷之一訓練集。訓練集可代表藉由深度學習模型156產生之該組經標記影像。例如，訓練集可包含各種樣本之複數個影 像，各影像包含一或多個假影標記。
在步驟404，運算系統150可訓練預測模型154。例如，運算系統150可訓練預測模型154以基於訓練集識別一樣本之一影像中之缺陷。在一些實施例中，預測模型154可代表一更快速基於區域之廻旋神經網路(R-CNN)。可在經依序標記影像上訓練預測模型154直至標記經演算法選擇影像所花費之時間(即，相同數目個經標記定界框)。
在步驟406，運算系統150可自設備102接收一經檢查樣本之一影像。在一些實施例中，經檢查樣本可係一半導體基板，該半導體基板可或可不含有一或多個缺陷。雖然論述引用半導體基板作為一個特定實例，但熟習此項技術者認知，本文中揭示之技術不限於半導體基板。例如，本文中揭示之技術可延伸至生物組織中之偵測特徵及/或缺陷/異常。
在步驟408，運算系統150可識別存在於樣本之影像中之一或多個缺陷。例如，運算系統150可將影像作為輸入提供至經完全訓練預測模型154。預測模型154可分析影像以識別存在於樣本之影像中之一或多個缺陷。在一些實施例中，預測模型154可藉由在各缺陷周圍產生定界框而識別存在於影像中之一或多個缺陷。在一些實施例中，預測模型154可藉由產生與裝置相關聯之一概率圖而識別存在於影像中之一或多個缺陷。
在步驟410，運算系統150可產生存在於樣本之影像中之該一或多個缺陷之一圖形表示。在一些實施例中，預測模型154可產生將一或多個定界框覆疊在影像中之該一或多個經識別缺陷之各者上方之一圖形表示。在一些實施例中，預測模型154可產生將一熱圖覆疊在該影像上方之一圖形表示。熱圖可包含基於存在缺陷之位置而驗證強度。例如，影像 之存在缺陷之區域將具有比影像之不存在缺陷之區域更高之一強度。
圖5繪示根據實例性實施例之藉由預測模型154產生之一例示性圖形輸出500。如展示，圖形輸出500可對應於藉由預測模型154產生之一概率圖502。概率圖502可覆疊在樣本之影像上。概率圖502之較高強度區域可指示缺陷存在於該位置處之一高概率。
圖6A繪示根據實例性實施例之一系統匯流排運算系統架構600。系統600之一或多個組件可使用一匯流排605彼此電通信。系統600可包含一處理器(例如，一或多個CPU、GPU或其他類型之處理器)610及將各種系統組件(包含系統記憶體615，諸如唯讀記憶體(ROM)620及隨機存取記憶體(RAM)625)耦合至處理器610之一系統匯流排605。系統600可包含與處理器610直接連接、緊密接近處理器610或作為處理器610之部分整合之高速記憶體之一快取區。系統600可將資料自記憶體615及/或儲存裝置630複製至快取區612以藉由處理器610進行快速存取。以此方式，快取區612可提供避免處理器610在等待資料時延遲之一效能增強。此等及其他模組可控制或經組態以控制處理器610以執行各種動作。亦可使用其他系統記憶體615。記憶體615可包含具有不同效能特性之多個不同類型之記憶體。處理器610可代表一單一處理器或多個處理器。處理器610可包含一通用處理器或一硬體模組或軟體模組(諸如儲存於儲存裝置630中之經組態以控制處理器610之服務1 632、服務2 634及服務3 636)以及其中軟體指令併入實際處理器設計中之一專用處理器之一或多者。處理器610可基本上係含有多個核心或處理器、一匯流排、記憶體控制器、快取區等之一完全自給自足運算系統。一多核心處理器可係對稱或不對稱的。
為實現與運算裝置600之使用者互動，一輸入裝置645可係 任何數目個輸入機構，諸如用於語音之一麥克風、用於手勢或圖形輸入之一觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等。一輸出裝置635亦可為熟習此項技術者已知之數個輸出機構之一或多者。在一些例項中，多模式系統可使一使用者能夠提供多個類型之輸入以與運算裝置600通信。通信介面640一般可控管及管理使用者輸入及系統輸出。對於在任何特定硬體配置上操作沒有限制，且因此，此處之基本特徵在其等被開發時可容易由經改良硬體或韌體配置取代。
儲存裝置630可係一非揮發性記憶體且可為一硬碟或可儲存可藉由一電腦存取之資料之其他類型之電腦可讀媒體，諸如盒式磁帶、快閃記憶卡、固態記憶體裝置、數位多功能光碟、匣、隨機存取記憶體(RAM)625、唯讀記憶體(ROM)620及其等之混合。
儲存裝置630可包含用於控制處理器610之服務632、634及636。考慮其他硬體或軟體模組。儲存裝置630可連接至系統匯流排605。在一個態樣中，執行一特定功能之一硬體模組可包含儲存於與必要硬體組件(諸如處理器610、匯流排605、顯示器635等)連接之一電腦可讀媒體中以實行功能之軟體組件。
圖6B繪示根據實例性實施例之具有一晶片組架構之一電腦系統650。電腦系統650可係可用於實施所揭示技術之電腦硬體、軟體及韌體之一實例。系統650可包含代表能夠執行經組態以執行經識別運算之軟體、韌體及硬體之任何數目個實體及/或邏輯相異資源之一或多個處理器655。一或多個處理器655可與一晶片組660通信，該晶片組660可控制至一或多個處理器655之輸入及來自一或多個處理器655之輸出。在此實例中，晶片組660將資訊輸出至輸出665(諸如一顯示器)，且可讀取資訊 且將資訊寫入至儲存裝置670，儲存裝置670可包含(例如)磁性媒體及固態媒體。晶片組660亦可自RAM 675讀取資料且將資料寫入至RAM 675。可提供用於與各種使用者介面組件685介接之一橋接器680以與晶片組660介接。此等使用者介面組件685可包含一鍵盤、一麥克風、觸控偵測及處理電路、一指標裝置(諸如一滑鼠)等。一般言之，至系統650之輸入可來自各種源(機器產生及/或人為產生)之任何者。
晶片組660亦可與可具有不同實體介面之一或多個通信介面690介接。此等通信介面可包含用於有線及無線區域網路、用於寬頻無線網路以及個人區域網路之介面。用於產生、顯示且使用本文中揭示之GUI之方法之一些應用可包含經由實體介面接收有序資料集或藉由機器自身憑藉分析儲存於儲存器670或675中之資料之一或多個處理器655產生。此外，機器可透過使用者介面組件685自一使用者接收輸入且藉由使用一或多個處理器655解譯此等輸入而執行適當功能(諸如瀏覽功能)。
可瞭解，實例性系統600及650可具有一個以上處理器610或係經網路連結在一起以提供更大處理能力之運算裝置之一群組或叢集之部分。
雖然上文係關於本文中描述之實施例，但可設想其他及進一步實施例而不脫離其基本範疇。例如，本發明之態樣可實施於硬體或軟體或硬體及軟體之一組合中。本文中描述之一項實施例可實施為用於與一電腦系統一起使用之一程式產品。程式產品之(若干)程式定義實施例(包含本文中描述之方法)之功能且可包含在各種電腦可讀儲存媒體上。闡釋性電腦可讀儲存媒體包含(但不限於)：(i)資訊永久地儲存於其上之不可寫入儲存媒體(例如，一電腦內之唯讀記憶體(ROM)裝置，諸如可由一CD- ROM光碟機讀取之CD-ROM光碟、快閃記憶體、ROM晶片，或任何類型之固態非揮發性記憶體)；及(ii)其上儲存可更改資訊之可寫入儲存媒體(例如，一軟碟機內之軟碟或硬碟機或任何類型之固態隨機存取記憶體)。此等電腦可讀儲存媒體在攜載引導所揭示實施例之功能之電腦可讀指令時係本發明之實施例。
熟習此項技術者將瞭解，前述實例係例示性且非限制性的。期望其全部排列、增強、等效物及改良在熟習此項技術者閱讀說明書且研究圖式之後顯而易見且包含於本發明之真實精神及範疇內。因此，期望以下隨附發明申請專利範圍包含如落在此等教示之真實精神及範疇內之全部此等修改、排列及等效物。
100:運算環境
101:樣本
102:設備
104:光源
106:光源
108:傾斜光
110:傾斜光
112:反射光
114:相機裝置
150:運算系統
152:預處理引擎
154:預測模型
156:深度學習模型

Claims (20)

  1. 一種運算系統，其包括：一處理器；及一記憶體，其具有儲存於其上之程式化指令，該等程式化指令在藉由該處理器執行時引起該運算系統執行包括以下者之操作：識別用於訓練一預測模型以偵測存在於一樣本之一表面中之缺陷之一第一組影像，其中該第一組影像之各影像標記有識別一各自樣本上之缺陷之標記；針對該第一組影像中之各影像，產生對應於該影像中之各像素屬於一第一類目之一第一概率之一第一概率圖；針對該第一組影像中之各影像，產生對應於該影像中之各像素屬於一第二類目之一第二概率之一第二概率圖；針對該第一組影像中之各影像，基於該第一概率圖及該第二概率圖產生一未見度量，其中該未見度量對應於該影像包含未由該預測模型在訓練期間看見之像素之一可能性；及基於該未見度量，藉由一深度學習網路，產生用於訓練該預測模型的一第二組影像。
  2. 如請求項1之運算系統，其進一步包括：提示一操作者標記在用於訓練該預測模型的該第二組影像中之各影像。
  3. 如請求項1之運算系統，其中一給定影像之該未見度量係基於該影像中之各影像之未見度量之一彙總。
  4. 如請求項1之運算系統，其進一步包括：基於一對應未見度量產生該第一組影像中之各影像之一字母度量。
  5. 如請求項4之運算系統，其進一步包括：基於為各影像生成的該字母度量對該第一組影像進行排序。
  6. 如請求項1之運算系統，其進一步包括：基於該第一組影像及該第二組影像，判定是否存在一臨限數目個用於訓練該預測模型之經標記影像；判定不存在該臨限數目個經標記影像；及基於該判定，產生用於訓練該預測模型的一第三組影像。
  7. 如請求項6之運算系統，其中產生用於訓練該預測模型的該第三組影像包括：針對該第二組影像中之各影像，產生對應於該影像中之各像素屬於該第一類目之一第三概率之一第三概率圖；針對該第二組影像中之各影像，產生對應於該影像中之各像素屬於該第二類目之一第四概率之一第四概率圖；及針對該第二組影像中之各影像，基於該第三概率圖及該第四概率圖產生一另一未見度量，其中該另一未見度量對應於該影像包含未 由該預測模型在訓練期間看見之像素之一另一可能性。
  8. 一種用於產生訓練機器學習模型偵測缺陷之訓練資料集的方法，其包括：藉由一運算系統，識別用於訓練一預測模型以偵測存在於一樣本之一表面中之缺陷之一第一組影像，其中該第一組影像之各影像標記有識別一各自樣本上之缺陷之標記；針對該第一組影像中之各影像，藉由該運算系統，產生對應於該影像中之各像素屬於一第一類目之一第一概率之一第一概率圖；針對該第一組影像中之各影像，藉由該運算系統，產生對應於該影像中之各像素屬於一第二類目之一第二概率之一第二概率圖；針對該第一組影像中之各影像，藉由該運算系統，基於該第一概率圖及該第二概率圖產生一未見度量，其中該未見度量對應於該影像包含未由該預測模型在訓練期間看見之像素之一可能性；及基於該未見度量，藉由該運算系統的一深度學習網路，產生用於訓練該預測模型的一第二組影像。
  9. 如請求項8之方法，其進一步包括：藉由該運算系統，提示一操作者標記在用於訓練該預測模型的該第二組影像中之各影像。
  10. 如請求項8之方法，其中一給定影像之該未見度量係基於該影像中之各影像之未見度量之一彙總。
  11. 如請求項8之方法，其進一步包括：藉由該運算系統，基於一對應未見度量產生該第一組影像中之各影像之一字母度量。
  12. 如請求項11之方法，其進一步包括：藉由該運算系統，基於為各影像生成的該字母度量對該第一組影像進行排序。
  13. 如請求項8之方法，其進一步包括：藉由該運算系統，基於該第一組影像及該第二組影像，判定是否存在一臨限數目個用於訓練該預測模型之經標記影像；藉由該運算系統，判定不存在該臨限數目個經標記影像；及藉由該運算系統，基於該判定，產生用於訓練該預測模型的一第三組影像。
  14. 如請求項13之方法，其中藉由該運算系統產生用於訓練該預測模型的該第三組影像包括：針對該第二組影像中之各影像，產生對應於該影像中之各像素屬於該第一類目之一第三概率之一第三概率圖；針對該第二組影像中之各影像，產生對應於該影像中之各像素屬於該第二類目之一第四概率之一第四概率圖；及針對該第二組影像中之各影像，基於該第三概率圖及該第四概率 圖產生一另一未見度量，其中該另一未見度量對應於該影像包含未由該預測模型在訓練期間看見之像素之一另一可能性。
  15. 一種非暫時性電腦可讀媒體，其包括一個或多個指令序列，該指令序列當藉由一處理器執行時引起一運算系統執行包括以下者之操作：藉由該運算系統，識別用於訓練一預測模型以偵測存在於一樣本之一表面中之缺陷之一第一組影像，其中該第一組影像之各影像標記有識別一各自樣本上之缺陷之標記；針對該第一組影像中之各影像，藉由該運算系統，產生對應於該影像中之各像素屬於一第一類目之一第一概率之一第一概率圖；針對該第一組影像中之各影像，藉由該運算系統，產生對應於該影像中之各像素屬於一第二類目之一第二概率之一第二概率圖；針對該第一組影像中之各影像，藉由該運算系統，基於該第一概率圖及該第二概率圖產生一未見度量，其中該未見度量對應於該影像包含未由該預測模型在訓練期間看見之像素之一可能性；及基於該未見度量，藉由該運算系統的一深度學習網路，產生用於訓練該預測模型的一第二組影像。
  16. 如請求項15之非暫時性電腦可讀媒體，其進一步包括：藉由該運算系統，提示一操作者標記在用於訓練該預測模型的該第二組影像中之各影像。
  17. 如請求項15之非暫時性電腦可讀媒體，其進一步包括： 藉由該運算系統，基於一對應未見度量產生該第一組影像中之各影像之一字母度量。
  18. 如請求項17之非暫時性電腦可讀媒體，其進一步包括：藉由該運算系統，基於為各影像生成的該字母度量對該第一組影像進行排序。
  19. 如請求項15之非暫時性電腦可讀媒體，其進一步包括：藉由該運算系統，基於該第一組影像及該第二組影像，判定是否存在一臨限數目個用於訓練該預測模型之經標記影像；藉由該運算系統，判定不存在該臨限數目個經標記影像；及藉由該運算系統，基於該判定，產生用於訓練該預測模型的一第三組影像。
  20. 如請求項19之非暫時性電腦可讀媒體，其中藉由該運算系統產生用於訓練該預測模型的該第三組影像包括：針對該第二組影像中之各影像，產生對應於該影像中之各像素屬於該第一類目之一第三概率之一第三概率圖；針對該第二組影像中之各影像，產生對應於該影像中之各像素屬於該第二類目之一第四概率之一第四概率圖；及針對該第二組影像中之各影像，基於該第三概率圖及該第四概率圖產生一另一未見度量，其中該另一未見度量對應於該影像包含未由該預測模型在訓練期間看見之像素之一另一可能性。
TW112107822A 2020-03-09 2021-03-09 用於缺陷偵測模型的訓練集產生的運算系統、方法和非暫時性電腦可讀媒體 TWI843465B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062987002P 2020-03-09 2020-03-09
US62/987,002 2020-03-09

Publications (2)

Publication Number Publication Date
TW202324175A TW202324175A (zh) 2023-06-16
TWI843465B true TWI843465B (zh) 2024-05-21

Family

ID=77555785

Family Applications (2)

Application Number Title Priority Date Filing Date
TW112107822A TWI843465B (zh) 2020-03-09 2021-03-09 用於缺陷偵測模型的訓練集產生的運算系統、方法和非暫時性電腦可讀媒體
TW110108317A TWI798655B (zh) 2020-03-09 2021-03-09 缺陷偵測系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110108317A TWI798655B (zh) 2020-03-09 2021-03-09 缺陷偵測系統

Country Status (7)

Country Link
US (2) US11416711B2 (zh)
EP (1) EP4118580A4 (zh)
JP (1) JP7553975B2 (zh)
KR (1) KR20220149727A (zh)
CN (1) CN115136209A (zh)
TW (2) TWI843465B (zh)
WO (1) WO2021183473A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
KR20220045499A (ko) * 2020-10-05 2022-04-12 삼성전자주식회사 웨이퍼 상의 결함을 추론하는 시스템 및 방법
US11823366B2 (en) * 2020-12-28 2023-11-21 Wipro Limited System and method for anomaly detection using images
CN114897850B (zh) * 2022-05-20 2024-08-06 湖北工业大学 检测带钢表面缺陷的有监督Dropout方法及设备
CN114863420B (zh) * 2022-05-26 2025-04-15 深圳市商汤科技有限公司 缺陷检测方法及装置
CN115082392A (zh) * 2022-06-14 2022-09-20 西安邮电大学 一种半导体引线框架镀银缺陷检测方法及系统
CN115511876B (zh) * 2022-11-01 2025-07-11 北京交通大学 基于相对位置感知的高铁接触网防鸟刺识别方法及系统
CN116579985B (zh) * 2023-04-10 2025-08-22 常州大学 一种基于RefineDet模型的晶圆缺陷检测方法
WO2024233540A1 (en) * 2023-05-09 2024-11-14 AvaWatz Company Systems and methods for adaptive data labelling to enhance machine learning precision
CN117893481B (zh) * 2023-12-22 2024-10-11 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于自监督对比学习的混合型晶圆缺陷识别分割方法
CN118671091A (zh) * 2024-08-23 2024-09-20 杭州映图智能科技有限公司 一种基于ai算法的接线端子全外观视觉检测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088264A1 (en) * 2007-04-05 2010-04-08 Aureon Laboratories Inc. Systems and methods for treating diagnosing and predicting the occurrence of a medical condition
US20170177722A1 (en) * 2015-12-22 2017-06-22 International Business Machines Corporation Segmenting social media users by means of life event detection and entity matching
CN107368614A (zh) * 2017-09-12 2017-11-21 重庆猪八戒网络有限公司 基于深度学习的图像检索方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774515B2 (en) * 2011-04-20 2014-07-08 Xerox Corporation Learning structured prediction models for interactive image labeling
US8825570B2 (en) 2012-07-31 2014-09-02 Hewlett-Packard Development Company, L.P. Active learning with per-case symmetrical importance scores
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
JP6509717B2 (ja) 2015-12-09 2019-05-08 日本電信電話株式会社 事例選択装置、分類装置、方法、及びプログラム
US10235623B2 (en) * 2016-02-12 2019-03-19 Adobe Inc. Accurate tag relevance prediction for image search
US11580398B2 (en) 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US10424064B2 (en) * 2016-10-18 2019-09-24 Adobe Inc. Instance-level semantic segmentation system
SG10201913208QA (en) * 2016-10-28 2020-02-27 Illumina Inc Bioinformatics systems, apparatuses, and methods for performing secondary and/or tertiary processing
CN110475505B (zh) 2017-01-27 2022-04-05 阿特瑞斯公司 利用全卷积网络的自动分割
US10417524B2 (en) * 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
CA3056498A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
WO2018170401A1 (en) * 2017-03-16 2018-09-20 Siemens Aktiengesellschaft Visual localization in images using weakly supervised neural network
US20180373980A1 (en) * 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
CN111095294A (zh) * 2017-07-05 2020-05-01 深视有限公司 深度视觉处理器
US11200665B2 (en) * 2017-08-02 2021-12-14 Shanghai Sixth People's Hospital Fundus image processing method, computer apparatus, and storage medium
CN107644235A (zh) * 2017-10-24 2018-01-30 广西师范大学 基于半监督学习的图像自动标注方法
US10713769B2 (en) 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
US11062180B2 (en) * 2018-07-18 2021-07-13 Shenzhen Malong Technologies Co., Ltd. Complexity-based progressive training for machine vision models
JP7626704B2 (ja) * 2019-01-13 2025-02-04 ライトラボ・イメージング・インコーポレーテッド 動脈画像領域及びそれらの特徴を分類するシステム及びその作動方法
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof
CN110110123B (zh) * 2019-04-04 2023-07-25 平安科技（深圳）有限公司 检测模型的训练集更新方法和装置
EP3966782A2 (en) * 2019-05-06 2022-03-16 Tesaro, Inc. Methods for characterizing and treating a cancer type using cancer images
US10984529B2 (en) * 2019-09-05 2021-04-20 Pearl Inc. Systems and methods for automated medical image annotation
CN110705531B (zh) * 2019-09-29 2022-03-18 北京猎户星空科技有限公司 缺失字符检测、缺失字符检测模型的建立方法及装置
EP3798899A1 (en) * 2019-09-30 2021-03-31 Basf Se Quantifying plant infestation by estimating the number of insects on leaves, by convolutional neural networks that provide density maps
US20210142168A1 (en) * 2019-11-07 2021-05-13 Nokia Technologies Oy Methods and apparatuses for training neural networks
CN110837870B (zh) * 2019-11-12 2023-05-12 东南大学 基于主动学习的声呐图像目标识别方法
CN111260666B (zh) * 2020-01-19 2022-05-24 上海商汤临港智能科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100088264A1 (en) * 2007-04-05 2010-04-08 Aureon Laboratories Inc. Systems and methods for treating diagnosing and predicting the occurrence of a medical condition
US20170177722A1 (en) * 2015-12-22 2017-06-22 International Business Machines Corporation Segmenting social media users by means of life event detection and entity matching
CN107368614A (zh) * 2017-09-12 2017-11-21 重庆猪八戒网络有限公司 基于深度学习的图像检索方法及装置

Also Published As

Publication number Publication date
TWI798655B (zh) 2023-04-11
CN115136209A (zh) 2022-09-30
TW202143083A (zh) 2021-11-16
JP2023516775A (ja) 2023-04-20
JP7553975B2 (ja) 2024-09-19
EP4118580A1 (en) 2023-01-18
US20210279520A1 (en) 2021-09-09
US12205360B2 (en) 2025-01-21
US20220391641A1 (en) 2022-12-08
TW202324175A (zh) 2023-06-16
EP4118580A4 (en) 2024-02-28
US11416711B2 (en) 2022-08-16
KR20220149727A (ko) 2022-11-08
WO2021183473A1 (en) 2021-09-16

Similar Documents

Publication Publication Date Title
TWI843465B (zh) 用於缺陷偵測模型的訓練集產生的運算系統、方法和非暫時性電腦可讀媒體
CN116596875A (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
CN111507362B (zh) 神经网络的训练方法、基于神经网络的分类方法及其装置
CN107330027B (zh) 一种弱监督的深度台标检测方法
CN113869352A (zh) 模型训练方法、服装检索方法及相关装置
CN114663687A (zh) 模型训练方法、目标识别方法、装置、设备及存储介质
Shahriyar et al. An approach for multi label image classification using single label convolutional neural network
CN120102589A (zh) 触摸屏的表面缺陷检测方法及相关设备
JP2014137284A (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
CN116543261B (zh) 用于图像识别的模型训练方法、图像识别方法设备及介质
CN114241481A (zh) 基于文本骨架的文本检测方法、装置和计算机设备
US20240232242A1 (en) Data quality control and integration for digital pathology
CN121058040A (zh) 处理晶片的缺陷分类
CN119048727A (zh) 一种用于高分辨率图像的小目标检测方法及相关装置
Ayala et al. Guidelines to compare semantic segmentation maps at different resolutions
Ataç et al. The study on multi-defect detection for leather using object detection techniques
Hsu et al. Artificial intelligence model interpreting tools: SHAP, LIME, and anchor implementation in CNN model for hand gestures recognition
Castillo et al. Object Detection in Digital Documents based on Machine Learning Algorithms.
Curtic-Hodzic et al. Automatic leather defect detection and classification using single-channel and multi-channel neural networks
US20240394866A1 (en) Multi-device automated optical inspection
US20250272822A1 (en) Line defect detection
Hamri et al. Classification of Strawberry Ripeness Stages Using Deep Learning
Kazangirler et al. UIBee: An improved deep instance segmentation and classification of UI elements in wireframes
CN116563848B (zh) 异常细胞识别方法、装置、设备及存储介质
Song et al. TK-text: multi-shaped scene text detection via instance segmentation