[go: up one dir, main page]

TW201921296A - 人工智慧之平行神經處理器 - Google Patents

人工智慧之平行神經處理器 Download PDF

Info

Publication number
TW201921296A
TW201921296A TW107131626A TW107131626A TW201921296A TW 201921296 A TW201921296 A TW 201921296A TW 107131626 A TW107131626 A TW 107131626A TW 107131626 A TW107131626 A TW 107131626A TW 201921296 A TW201921296 A TW 201921296A
Authority
TW
Taiwan
Prior art keywords
sub
module
classifier
comparison module
value
Prior art date
Application number
TW107131626A
Other languages
English (en)
Other versions
TWI789423B (zh
Inventor
羅伊特 賽斯
Original Assignee
羅伊特 賽斯
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 羅伊特 賽斯 filed Critical 羅伊特 賽斯
Publication of TW201921296A publication Critical patent/TW201921296A/zh
Application granted granted Critical
Publication of TWI789423B publication Critical patent/TWI789423B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
  • Processing Of Solid Wastes (AREA)
  • Image Processing (AREA)
  • Feedback Control In General (AREA)

Abstract

本文中提供用於實施針對平行AI處理專門設計之人工神經網路之高效且直觀方法之系統及/或裝置。在各種實施方案中，該等所揭示系統、裝置及方法補充或替換用於平行神經處理之習用系統、裝置及方法，該等所揭示系統、裝置及方法(a)大大減少處理較複雜問題集所必需之神經處理時間；(b)實施自學所必需之神經可塑性；及(c)除外顯記憶體之外，亦引入灌輸一直覺元素所必需之內隱記憶體之概念及應用。在具有此等性質之情況下，所揭示發明之實施方案使得可能模擬人類意識或知覺。

Description

人工智慧之平行神經處理器
所揭示實施方案一般而言係關於人工智慧，且更具體而言係關於一種用於實施人工智慧之一平行神經處理器之方法、系統及裝置。
人工智慧(AI)應用已經在傳統上經設計以用於軟體驅動之系統且經設計為軟體驅動之系統。在此等系統中，處理元件(充當一AI 「大腦」中之「神經元」)經編程以佔有硬體記憶體中之固定狀態。該等神經元由耦合變數之代表性值互連以形成一人工神經網路。使用處理權數、偏壓及輸入資料以產生二進制輸出值(亦即，一0或一1)之啟動功能來反覆地評估此等神經元之狀態。一神經元之結果狀態經儲存為記憶體中之神經元之一輸出狀態，且隨後用作人工神經網路中之一經連接神經元之一輸入。在一高位準下，以一反覆方式評估數個神經元之輸入狀態及輸出狀態。某些系統使用多執行緒及多核心處理器來同時評估神經元之數個區塊，但系統作為一整體而保持本質上「串行的」。較大神經網路能夠解決比較小網路複雜且多樣之問題。但較大神經網路需要具有較大核心計數及/或較大數目個執行緒之微處理器。AI應用因此受此等習用處理器之速度限制。
為了彌補傳統硬體之限制，AI系統巧妙地設計有各種捷徑及邊界條件，且針對特定問題集而調諧。由於該等邊界條件係預定義的，因此此等系統限於高度特定之應用。舉例而言，經訓練以辨識人臉之一AI系統在辨識一長頸鹿之臉方面可能並非有效的。
習用系統引發大額外負擔，不能以一具成本效益方式達成對複雜問題集之迅速回應，且完全不能夠達成人工意識。
因此，需要具有用於實施針對平行AI處理專門設計之人工神經網路之更高效且直觀方法之系統及/或裝置。在某些實施方案中，該等所揭示系統、裝置及方法補充或替換用於平行神經處理之習用系統、裝置及方法，該等所揭示系統、裝置及方法(a)大大減少處理較複雜問題集所必需之神經處理時間；(b)實施自學所必需之神經可塑性；且(c)除外顯記憶體之外，亦引入灌輸一直覺元素所必需之內隱記憶體之概念及應用。在具有此等性質之情況下，所揭示發明之某些實施方案使得可能模仿人類意識或知覺。
(A1)在一項態樣中，某些實施方案包含一種經組態以處理一輸入信號之第一子分類器。該第一子分類器包括一經加權輸入模組，該經加權輸入模組經組態以將一加權施加至該輸入信號以產生一經加權輸入信號。該第一子分類器亦包括一比較模組，該比較模組耦合至該經加權輸入模組。該比較模組經組態以：在一比較模組輸入線路處接收該經加權輸入信號；且在一比較模組輸出線路處產生一第一輸出信號。該比較模組進一步經組態以：判定該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值。回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，該比較模組經組態以：在該比較模組輸出線路處將該第一輸出信號設定為具有一第一值。回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，該比較模組經組態以：在該比較模組輸出線路處將該第一輸出信號設定為具有不同於該第一值之一第二值。
(A2)在A1之第一子分類器之某些實施方案中，該比較模組包含經組態以接收該經加權輸入信號且設定該第一輸出信號之至少一個運算放大器。
(A3)在A1之第一子分類器之某些實施方案中，施加至該輸入信號以產生該經加權輸入信號之該加權基於來自一第二子分類器之一第二輸出信號。
(A4)在A1之第一子分類器之某些實施方案中，將該第一輸出信號自該第一子分類器傳輸至一第二子分類器。
(A5)在A4之第一子分類器之某些實施方案中，該經加權輸入模組經組態以接收一控制群組信號且基於該控制群組信號而將該加權施加至該輸入信號以產生該經加權輸入信號。
(A6)在A5之第一子分類器之某些實施方案中，該經加權輸入模組包含一可變電阻器，該可變電阻器經組態以接收該控制群組信號且基於該控制群組信號而調整該經加權輸入信號。
(A7)在A1之第一子分類器之某些實施方案中，該第一子分類器進一步包括一記憶體模組，該記憶體模組經組態以自該比較模組接收該第一輸出信號且儲存該第一輸出信號並且將該第一輸出信號提供至一第二子分類器。
(A8)在另一態樣中，某些實施方案包含經組態以在一或多個時脈循環期間處理一或多個輸入信號之一分類器系統。該分類器系統包括複數個子分類器。該複數個子分類器中之每一者包含一經加權輸入模組，該經加權輸入模組經組態以在一各別時脈循環內將一加權施加至一各別輸入信號以產生一經加權輸入信號。該複數個子分類器中之每一者亦包含一比較模組，該比較模組耦合至該經加權輸入模組。該比較模組經組態以在一比較模組輸入線路處接收該經加權輸入信號，且在一比較模組輸出線路處產生一輸出信號。該比較模組進一步經組態以判定該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值。該比較模組進一步經組態以：回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組輸出線路處將一第一輸出信號設定為具有比一預定輸出臨限值大之一值。該比較模組進一步經組態以：回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組輸出線路處將該第一輸出信號設定為具有比該預定輸出臨限值小之一值。該分類器系統亦包括耦合至該複數個子分類器之一主分類器。該主分類器經組態以在該一或多個時脈循環期間自該複數個子分類器中之每一者接收各別輸出信號中之每一者，且基於產生具有比該預定輸出臨限值大之一值之一各別輸出信號的該複數個子分類器之子集而判定一分類器回應。
(A9)在(A8)之分類器系統之某些實施方案中，該等子分類器中之每一者具有介於該下限窗範圍值與該上限窗範圍值之間的一各別窗範圍，該各別窗範圍不與任何其他子分類器之任何其他各別窗範圍重疊。
(A10)在(A8)之分類器系統之某些實施方案中，該分類器系統進一步包括耦合至該複數個子分類器之一多工器，該多工器經組態以在一單個時脈循環期間將該等輸入信號中之一者提供至該複數個子分類器。
(A11)在另一態樣中，某些實施方案包含一種用以使用一第一子分類器處理一輸入信號之方法。該第一子分類器包含一經加權輸入模組及耦合至該經加權輸入模組之一比較模組。該方法包含在該經加權輸入模組處將一加權施加至該輸入信號以產生一經加權輸入信號。該方法進一步包含在該比較模組處在一比較模組輸入線路處接收該經加權輸入信號。該方法進一步包含藉由一電程序在該比較模組處在一比較模組輸出線路處產生一第一輸出信號。該電程序可歸化為一步驟序列，該等步驟包含在該比較模組處判定該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值。該步驟序列進一步包含回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該第一輸出信號設定為具有一第一值。該步驟序列進一步包含回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該第一輸出信號設定為具有不同於該第一值之一第二值。
(A12)在(A11)之方法之某些實施方案中，該比較模組包含至少一個運算放大器模組，且該方法進一步包含在該至少一個運算放大器模組處接收該經加權輸入信號且在該至少一個運算放大器模組處設定該第一輸出信號。
(A13)在(A11)之方法之某些實施方案中，該方法進一步包含在該經加權輸入模組處自一第二子分類器接收一第二輸出信號。
(A14)在(A11)之方法之某些實施方案中，該方法進一步包含將該第一輸出信號自該第一子分類器傳輸至一第二子分類器。
(A15)在(A14)之方法之某些實施方案中，該方法進一步包含在該經加權輸入模組處接收一控制群組信號且在該經加權輸入模組處基於該控制群組信號而將該加權施加至該輸入信號以產生該經加權輸入信號。
(A16)在(A15)之方法之某些實施方案中，該經加權輸入模組包含一電流或電壓控制器(可變電阻器模組、電阻器梯、電阻器網路或控制電流之電路)且該方法進一步包含在該可變電阻器模組處接收該控制群組信號且基於該控制群組信號而調整該經加權輸入信號。
(A17)在(A13)之方法之某些實施方案中，該第一子分類器包含耦合至該比較模組之一記憶體模組，且該方法進一步包含在該記憶體模組處自該比較模組接收該第一輸出信號且儲存該第一輸出信號並且將該第一輸出信號提供至一第二子分類器。
(A18)在再一態樣中，某些實施方案包含一種在一或多個時脈循環期間使用一分類器系統處理一或多個輸入信號之方法。該分類器系統包含複數個子分類器及耦合至該複數個子分類器之一主分類器，該複數個子分類器各自包含一經加權輸入模組及一比較模組。該方法包含在每一子分類器處：在該經加權輸入模組處在一各別時脈循環內將一加權施加至一各別輸入信號以產生一經加權輸入信號；在該比較模組處在一比較模組輸入線路處接收該經加權輸入信號；及藉由一電程序在該比較模組處在一比較模組輸出線路處產生一輸出信號。該程序可歸化為一步驟序列，該等步驟包含在該比較模組處判定該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值。該步驟序列進一步包含回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將一輸出信號設定為具有比一預定輸出臨限值大之一值。該步驟序列進一步包含回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該輸出信號設定為具有比該預定輸出臨限值小之一值。該方法進一步包含在該分類器處：在該一或多個時脈循環期間自該複數個子分類器中之每一者接收該等輸出信號中之每一者；及基於產生具有比該預定輸出臨限值大之一值之一各別輸出信號的該複數個子分類器之子集而判定一分類器回應。
(A19)在(A18)之方法之某些實施方案中，該等子分類器中之每一者具有介於該下限窗範圍值與該上限窗範圍值之間的一各別窗範圍，該各別窗範圍不與任何其他子分類器之任何其他各別窗範圍重疊。
(A20)在(A18)之方法之某些實施方案中，該分類器系統包含耦合至該複數個子分類器之一多工器模組，且該方法進一步包含在一單個時脈循環期間在該多工器模組處將該等輸入信號中之一者提供至該複數個子分類器。
相關申請案之交叉參考
此國際申請案主張2017年9月8日提出申請且標題為「Parallel Neural Processor for Artificial Intelligence」之第62/556,312號美國臨時專利申請案之權益，該美國臨時專利申請案以其全文引用方式併入本文中。
現將詳細參考實施方案，該等實施方案之實例在附圖中加以圖解說明。在以下詳細說明中，陳述眾多特定細節以便提供對各種所闡述實施方案之一透徹理解。然而，熟習此項技術者將明瞭，可在不具有此等特定細節之情況下實踐本各種所闡述實施方案。在其他例項中，未詳細闡述熟知方法、程序步驟、組件、電路及網路以免不必要地模糊實施方案之態樣。
亦將理解，儘管在某些例項中在本文中使用第一、第二等術語來闡述各種元件，但此等元件不應受此等術語限制。此等術語僅用於將一個元件與另一元件區分開。舉例而言，在不背離各種所闡述實施方案之範疇之情況下，一第一電子裝置可稱作一第二電子裝置，且類似地，一第二電子裝置可稱作一第一電子裝置。該第一電子裝置及該第二電子裝置兩者皆係電子裝置，但其未必係同一電子裝置。
本文中在對各種所闡述實施方案之說明中所使用之術語僅出於闡述特定實施方案之目的且不意欲係限制性的。如在對各種所闡述實施方案之說明及隨附申請專利範圍中所使用，單數形式「一(a)」、「一(an)」及「該(the)」亦意欲包含複數形式，除非內容脈絡另外清晰指示。亦將理解，如本文中所使用之術語「及/或」係指且囊括相關聯所列物項中之一或多者之任何或全部可能組合。將進一步理解，術語「包含(includes)」、「包含(including)」、「包括(comprises)」及/或「包括(comprising)」在於本說明書中使用時指定存在所陳述特徵、整數、步驟、操作、元件及/或組件，但並不排除存在或添加一或多個其他特徵、整數、步驟、操作、元件、組件及/或其群組。
如本文中所使用，取決於內容脈絡，術語「若……，則……」視情況經解釋為意味「當……時」或「在……之後旋即……」或「回應於判定……」或「回應於偵測到……」或「根據……之一判定」。類似地，取決於內容脈絡，片語「若判定……，則……」或「若偵測到[所陳述條件或事件]，則……」視情況經解釋為意味「在判定……之後旋即……」或「回應於判定……」或「在偵測到[所陳述條件或事件]之後旋即……」或「回應於偵測到[所陳述條件或事件]」或「根據偵測到[所陳述條件或事件]之一判定」。
圖1A及圖1B係圖解說明根據某些實施方案之具有一平行神經處理(PNP) AI處理器之實例性系統架構之方塊圖。圖1A係圖解說明根據某些實施方案之將一PNP AI處理器102與一評估系統116整合在一起之一實例性系統架構100之一方塊圖，評估系統116處理原始資料、將AI任務(例如，影像辨識、自然語言處理)傳輸至PNP AI處理器102且評估PNP AI處理器102之輸出。評估系統116將AI任務傳輸至PNP AI處理器102，從而准許系統迅速地以有意義回應114對外部刺激112作出反應。在此組態中，PNP AI處理器102用作一共處理器，該共處理器執行自評估系統116接收之關鍵任務。在某些實施方案中，評估系統116包括習用微處理器、軟體、嵌入式或行動應用程式。圖1B係圖解說明一實例性系統架構120之一方塊圖，其中PNP AI處理器102獨立地回應於輸入刺激112而操作(在不具有圖1A之評估系統116之輔助之情況下)、處理輸入刺激112且產生回應114。在此組態中，如虛線指示，PNP AI處理器102亦可連同由現有微處理器、軟體、嵌入式或行動應用程式組成之一習用系統來操作。
根據某些實施方案，當PNP AI處理器102充當一共處理器時，如圖1A中所展示，評估系統116 (有時在本文中稱為處理器子系統)負責預處理來自外部輸入裝置之原始資料輸入(有時在本文中稱為刺激)且將該原始資料輸入發送至PNP AI處理器102。舉例而言，處理器子系統將輸入資料轉換成輸入至PNP AI處理器之代表性電壓位準。在各種實施方案中，此刺激包含由使用者(例如，一鍵盤或一滑鼠)輸入之資料、自一外部裝置(例如，一相機)輸入之一影像或視訊、一音訊輸入、來自感測器及/或馬達之感覺資料。此列表係例示性的且不意欲為詳盡的。作為一圖解說明，當受系統架構100控制之一可移動機械手臂由於一外部實體約束而被卡住(例如，受一牆壁阻擋)時，機械手臂中之一或多個感測器可產生影響控制群組(CG)模組108的至系統之回饋(下文參考圖6詳細闡述)。
根據某些實施方案，圖1A中所展示之評估系統116與一PNP AI處理器組合而實施一交互式智慧系統。根據某些實施方案，在某些實施方案中，該評估系統針對一所儲存經驗集評估回應於一刺激而自PNP AI處理器102 (有時在本文中稱為一分類器或分類器系統)接收之動作選項。在某些實施方案中，評估系統116基於該所儲存經驗集而將該等動作選項之成功機率分類且傳回最高排名動作(亦即，具有最高成功機率之動作)。隨後，在某些實施方案中，評估系統116產生與最高排名(經刺激、內隱、反射)動作對應之一動作回應(例如，起動使一機械手臂移動之一馬達)。在某些實施方案中，評估系統116比較儲存於記憶體110之EMEM中之經驗資料與儲存於記憶體110之IMEM中之資料，且若兩種資料之間存在一匹配則產生一動作(經評估、外顯、認知)。在某些此類實施方案中，若外顯回應與內隱回應不匹配，則評估系統調整(神經可塑性) CG模組108中之一或多個因數或變數(下文參考圖5所闡述)。如下文進一步詳細地闡釋，來自CG模組108之因素或變數影響在一處理時脈循環期間所利用之神經元數目以及神經元之學習速率。此外，在某些實施方案中，若刺激導致一成功動作，則將指示該成功動作之資訊往回饋送至PNP AI處理器(例如，經由至記憶體區塊110及/或CG模組108之一回饋信號)以在後續處理步驟中進一步使用。在某些實施方案中，對應於刺激而採取之動作導致進一步刺激。
現在注意力轉向PNP AI處理器102。如圖1A及圖1B中所展示，在某些實施方案中，PNP AI處理器102由一或多個神經網路層(例如，自資料輸入或刺激提取資訊的神經網路之一資訊層或主要層104，及/或自主要層104之資訊輸出提取概念的神經網路之一概念層或次要層106)、一控制群組(CG)模組108及一或多個記憶體區塊110 (例如，內隱記憶體區塊IMEM、一外顯記憶體區塊EMEM)組成。在某些實施方案中，CG模組108及/或記憶體區塊110係選用組件。
每一層104、106可包括複數個互連神經元(亦在本文中稱為子分類器)。在某些實施方案中，該等神經元基於可組態之一拓撲而連接。該等神經元(下文參考圖2至圖6詳細闡釋)係一神經網路之處理元件或引擎。類似於軟體神經元在一人工神經網路中操作之方式，平行神經處理器102中之硬體神經元亦處理資料且將資料分類。然而，與軟體神經元不同，該等硬體神經元並行操作，有時一次以數百萬、數十億或甚至數萬億之集來操作。在某些實施方案中，一層中之神經元網路組織成若干級，其中一級中之每一神經元集在一給定時脈循環期間並行操作。舉例而言，一第一神經元級對一輸入進行操作，後續接著一或多個神經元級(有時稱為隱藏層)接連地處理該第一神經元級之輸出，且最後向一輸出神經元級進行饋送。根據某些實施方案，完成每一級需要一個時脈循環，其中一級中之所有神經元對同一輸入進行操作。因此，與完全軟體實施之系統相比較，此等實施方案達成較快處理速率。根據某些實施方案，對於輸入級，在神經處理器外部或內部之硬體(例如，一多工器)跨越神經網路供應或分佈原始資料。在某些實施方案中，評估系統116預處理原始資料(例如，原始資料112)且向PNP AI預處理器饋送經處理輸入(例如，預定電壓位準)。根據某些實施方案，一旦對一特定資料集訓練一神經元網路，不同神經元群組便針對不同資料集而啟動。舉例而言，一個神經元集(具有一第一獲勝神經元)回應於接收到表示網球之一影像之輸入資料而啟動，然而另一神經元集(具有一第二獲勝神經元)回應於接收到表示一花朵之一影像之輸入資料而啟動。
根據某些實施方案，下文參考圖5及圖6詳細闡釋控制群組(CG)模組108。下文參考圖6闡釋記憶體區塊110。根據某些實施方案，PNP AI處理器102之模組之間的各種內部連接及自PNP AI處理器102之外部連接在圖1A中由黑色實線指示。
在某些實施方案中，輸入刺激112在不需要預處理原始輸入資料之一評估系統116之情況下直接連接至平行神經處理器102中之一或多個神經網路。在某些實施方案中，PNP AI處理器102之輸出在不具有一介入評估系統116之情況下直接連接至回應模組114。在某些實施方案中，刺激接收模組112及/或回應模組114整合在PNP AI處理器內，亦即，PNP AI處理器102可在不具有外部軟體/硬體之情況下接收刺激(例如，某種干擾)及/或產生回應(例如，使一機械手臂移動)。
此處及下文所闡述之電路達成採用數百萬、數十億或甚至數萬億個神經元之神經網路之並行硬體實施方案。此等大規模並行硬體實施方案達成解決複雜問題集之AI實施方案。
在某些實施方案中，一神經網路之各種區段以一階層方式來組織以產生在若干級中向彼此進行饋送之多維神經元層。舉例而言，一階層神經網路類似於在人眼中組織一神經元網路之方式。作為另一實例，一神經網路組織成兩個層，其中一第一神經元資料層(例如，神經元層104，圖1A及圖1B)自輸入提取資訊，且一第二神經元資料層(例如，神經元層106，圖1A及圖1B)基於該第一層之輸出而辨識概念。在某些此類實施方案中，在具有自低層級資訊(例如，含有型樣之原始資料)提取且保持高層級概念之能力之情況下，一神經網路處理且產生對新刺激(亦即，先前在訓練時未見之資料)之回應。舉例而言，使用上文所闡述之電路之一神經網路可辨識相關高層級概念，諸如「聽覺之於耳朵，猶如視覺之於眼睛(感官)」可在較高經連接層中經提取且在新的不相關且還未體驗過之刺激(諸如味覺)期間經應用。
圖2A圖解說明根據某些實施方案之圖1A至圖1B之PNP AI處理器102之一類比窗比較器(WC) 216 (一子分類器之一組件)。在某些實施方案中，與透過微處理器、隨機存取記憶體、作業系統/嵌入式系統及軟體之使用模擬人工神經元之習用神經網路不同，此處所揭示之系統係一硬體實施方案。根據某些實施方案，一WC電路 (有時在本文中稱為一比較器) 216 (諸如圖2A中所展示之WC電路)形成一神經元之基礎。在某些實施方案中，使用各種基本電子組件(例如，接面電晶體、FET)來構造WC電路。在某些實施方案中，使用積體電路(例如，運算放大器)來構造WC電路。如圖2A中所展示，根據某些實施方案，若施加至一WC電路之輸入(IWC 206)之電壓介於一低參考電壓(RL 208)與一高參考電壓(RH 210)之間，則該WC電路輸出(OWC 214)一高位元(1)，且若輸入(IWC 206)超出高參考電壓及低參考電壓，則該WC電路輸出(/OWC 212)一低位元(0)。在某些實施方案中，一單個WC電路形成一個別「硬體神經元」，若輸入電壓在一範圍內，則該個別「硬體神經元」「激發」(或啟動)，從而產生與經由軟體應用程式達成之一虛擬神經元之回應類似之一全或無回應。
圖2B圖解說明根據某些實施方案之一非反相WC 218。在某些實施方案中，WC 218執行與圖2A中之WC電路216實質上相同之功能。在某些實施方案中，使用兩個經連接運算放大器(圖2A之運算放大器202及運算放大器204)形成WC 218。
在某些實施方案中，WC電路經組態以相對於輸入條件係反相或非反相的。為了簡化，在圖2A至圖2B中僅展示WC之非反相輸出(OWC 214)。本文中所論述之實例應被視為範例，而非限制。
圖3圖解說明根據某些實施方案之在一神經網路(例如，圖1A至圖1B之主要層104或次要層106)中之一系列WC電路(WC1 、WC2 、WC3 、…、WCN )。在某些實施方案中，一系列WC經互連以形成一神經網路，類似於軟體神經元形成一基於軟體之習用神經網路之方式。根據某些實施方案，該等WC基於一神經網路拓撲而互連。一神經網路拓撲表示神經元經連接以形成一網路之方式。亦可將該神經網路拓撲視為藉助於神經元之連接達成的神經元之間的關係。WC可各自對相同輸入刺激IWC (318)進行操作以產生一對應輸出。
在某些實施方案中，每一WC具有一窗電壓範圍(WVR)，其中若輸入處於該WVR內則該WC將產生一第一值，且若輸入超出該WVR則該WC將產生一第二值。在某些實施方案中，該WVR係低參考電壓與高參考電壓之間的差。在某些實施方案中，每一WC具有一唯一WVR。舉例而言，在圖3中，比較器WC1 之參考電壓(RL 1 302及RH 1 304)、比較器WC2 之參考電壓(RL 2 306及RH 2 308)、比較器WC3 之參考電壓(RL 3 310及RH 3 312)及比較器WCN 之參考電壓(RL N 314及RH N 316)各自經設置使得對應WVR全部係唯一的。在某些實施方案中，該等WVR係不重疊的。在某些實施方案中，該等WVR重疊，使得一個以上WC對一給定刺激做出回應。舉例而言，一個以上WC之輸出(例如，OWC 1 322、OWC 2 324、OWC 3 326及OWC N 328)可針對一給定輸入刺激IWC (318)等於一高值(1)。每一WC之參考電壓輸入RL 及RH 載入有一電壓，使得RH ＞ RL ，藉此針對每一WC形成一WVR。根據某些實施方案，在起動時以一對應WVR初始化每一WC。在某些實施方案中，以一隨機WVR初始化每一WC。在某些其他實施方案中，以一WVR初始化每一WC，使得WVR在整個神經網路內形成一均勻梯度。
圖4圖解說明根據某些實施方案之在一互連神經網路(例如，圖1A至圖1B之主要層104或次要層106)中之一系列WC以及資料流控制級。主要級(S1)係資料輸入級，或其中刺激(例如，輸入IWC 402)輸入至系統。在某些實施方案中，一權數電壓(WV)電路用於藉由引入除輸入資料電壓IWC 之外之電壓而控制至WC之輸入權數。在各種實施方案中，不同WC之權數電壓(例如，WV 404、WV 406及WV 408)可設定至相同或不同電壓值。在某些實施方案中，一電路(其可在本文中稱為一經加權輸入模組)用於組合輸入刺激與一權數電壓，且將淨經加權輸入供應至一各別WC。舉例而言，在圖4中，電路440組合來自WC 404之一權數電壓與輸入刺激IWC 402以將一經加權輸入供應至比較器WC1 450，電路442組合來自WC 406之一權數電壓與輸入刺激IWC 402以將一經加權輸入供應至比較器WC2 452，且電路444組合來自WC 408之一權數電壓與輸入刺激IWC 402以將一經加權輸入供應至比較器WCN 454。在某些實施方案中，一子分類器包含耦合至一比較器模組之一經加權輸入模組。舉例而言，在圖4中，比較器WC1 450耦合至經加權輸入模組440，比較器WC2 452耦合至經加權輸入模組442，且比較器WCN 454耦合至經加權輸入模組444。
根據某些實施方案，對於某些拓撲，鎖存器或臨時記憶體單元(有時在本文中稱為記憶體模組，例如，鎖存器410、412及414)之一次要級(S2)電路儲存WC之輸出(OWC )。存在使用不同序列儲存資料之各種鎖存技術。舉例而言，在一經簡化序列中，鎖存器一次儲存對一個刺激之回應達一指定時間週期。在更複雜序列中，將輸入資料劃分成若干資料組塊且鎖存器一次儲存與一個資料組塊對應之回應資料。
根據某些實施方案，在某些實施方案中，一各別WC之輸出(OWC )資料基於神經網路之互連拓撲或方法而輸入至其他WC。在某些實施方案中，放置在次要級(S2)記憶體鎖存器後面之神經網路中之另一電路集(例如，電路416、418及420)將電壓往回饋送至相鄰神經元(WC)中以便調整級3 (S3)中之WC之輸入級之WV，如圖4中所展示。在某些實施方案中，自神經網路中之一或多個神經元之額外連接(例如，連接428、430及432)施加至WV電路，如由拓撲匯流排ONN (例如，拓撲匯流排422、424或426)指示。在某些實施方案中，在不具有鎖存器之一次要級(S2)電路之情況下，用於啟動神經元之時脈循環或脈衝寬度可經設定使得當前回饋不使神經元網路飽和，且神經元僅基於神經元之輸出而接通。
儘管拓撲匯流排(例如，匯流排422、424及426)在圖4中由相同名稱ONN 識別，但在各種實施方案中，拓撲匯流排以不同方式來組態；舉例而言，一神經網路之不同部分或區域可基於一區域拓撲而以不同方式組織或互連。類似於將人腦劃分成若干高度專業區域之方式，在某些實施方案中，可將一單個矽晶圓(具有數百萬或甚至數十億個WC)進一步細分成神經網路之區域，其中個別拓撲專門用於自身互連以形成一人工大腦之特定功能(諸如語音、視覺、聽覺等)。
由於電路類型及硬體連接性，可以一並行運算方式同時處理所有WC，從而產生顯著效能增益同時亦提供廣闊應用(與完全基於軟體之網路相比較)。舉例而言，在於一半導體晶圓上蝕刻一百萬個WC之情況下，可在一單個時脈循環中評估一百萬個或更多WC之整個集。假定時脈頻率係2GHz，舉例而言，可在一秒內評估一百萬個或更多神經元(WC)之神經網路之二十億個或更多反覆。
根據某些實施方案，為進一步圖解說明上文參考圖2至圖4所闡述之一WC網路如何用於建構一神經網路，考量一自組織映射(SOM)之一實例性構造(一無監督學習網路類型)。一SOM中之自組織程序由初始化、競爭、合作及調適組成。最初，以小隨機值初始化每一神經元之權數向量。在WC硬體神經元之情形中，將權數電壓(WV)初始化至隨機值。神經元針對每一輸入型樣(例如，一影像中之所有像素)對一判別函數之其各別值進行運算。一般在習用虛擬神經元中採用之該判別函數係輸入向量與每一神經元之互連權數向量之間的歐式距離平方。對於基於WC之硬體神經元，一判別函數可係輸入電壓與權數電壓之間的歐式距離平方。具有判別函數之最小值之特定神經元被視為係行列式神經元。對於一基於WC之硬體神經網路，取決於電壓臨限值之初始組態及相關聯權數，一或多個WC神經元可回應於一輸入型樣而為行列式神經元。為了簡單，考量(舉例而言)一單個行列式神經元。該行列式神經元基於一拓撲而判定合作之經啟動神經元之一鄰近者之空間位置(例如，調整該鄰近者中之權數)。當一個神經元啟動時，其最靠近相鄰者趨向於具有比位於較遠處之彼等相鄰者更有影響之一回應。在一基於WC之硬體神經網路中，由於來自行列式神經元之電壓輸出連接至其相鄰者，因此該輸出影響相鄰者之權數電壓。受影響神經元透過相關聯連接權數之一調整而相對於輸入型樣更新判別函數之其個別值。在一基於WC之神經網路中，連續地調適權數。因此增強行列式神經元對一類似輸入型樣之後續施加之回應。
作為使一基於WC之神經網路之自組織程序可視化之一方式，考量如何將一連續二維輸入空間中之一資料輸入集映射至一基於WC之神經元集上。基於WC之神經元根據一拓撲而組織或連接(例如，每一神經元連接至每隔一個神經元)。基於WC之神經元可以隨機指派(例如，電壓值)開始且將權數初始化至隨機初始值或根據一階度來將權數初始化。神經元中之每一者讀取經轉換為一對應電壓值(例如，由一預處理器)之一第一輸入。神經元中之一者(一「行列式神經元」)將以一高值輸出做出回應。在各種組態中，一個以上神經元可對輸入做出回應。行列式神經元據稱朝向資料輸入移動，此乃因行列式神經元之權數之初始值回應於輸入電壓而經調整以使行列式神經元及其相鄰者對輸入電壓做出回應。相鄰神經元亦朝向資料輸入移動，但移動較小量。由於所有神經元在每一步驟處饋送以相同輸入以選擇一或多個行列式神經元及/或相關聯相鄰者，因此程序係並行的(亦即，基於WC之神經元聯合操作)。在此步驟結束時調整權數(所有基於WC之神經元之電壓值)。接下來，選擇一第二資料輸入來進行訓練。不同於第一「行列式神經元」之一神經元在此第二回合中係行列式的。而且，緊挨著新行列式神經元之神經元藉由朝向第二資料輸入移動一較小量而做出回應。在此步驟結束時再次調整權數。程序繼續直至所有神經元之權數達到一穩定狀態(例如，不再存在神經網路中之神經元之權數電壓之大變化)為止且至少直至所有輸入資料經處理為止。舉例而言，使用一給定資料集將程序重複數次。最後，基於WC之神經元之整個輸出網格表示輸入空間。
圖5圖解說明一系列WC (如在圖4中)以及來自一CG模組(未展示)之一所添加CG信號502。根據某些實施方案，該CG模組控制神經網路之神經可塑性及行為。在具有神經可塑性之情況下，一神經網路執行自學。經由重複暴露於資料集及在一時間週期內收斂而訓練習用網路，且調整連接之權數以匹配資料集從而產生一有意義輸出。訓練週期取決於學習速率。作為一實例，對於自組織映射(SOM)，訓練週期亦取決於學習半徑或被認為影響訓練之神經元之數目。學習半徑指示距一最佳匹配單元(BMU) (針對一特定輸入而啟動之神經元(有時在本文中稱為「行列式神經元」))之距離。此等參數逐漸減少，直至神經網路經充分地訓練從而以一所要方式對一刺激做出回應為止。然而，在初始訓練期間未計及之任何新資料集超出經訓練神經網路之範圍。此限制神經網路達成神經可塑性之能力，且必須重新訓練神經網路以處置新資料集或重新設計神經網路以適應新資料。
為解決關於傳統神經網路之此等限制，在某些實施方案中，如圖5中所展示，CG信號(例如，信號502)增強或抑制對輸入刺激之回應，且修改學習速率及/或神經元數目。在某些實施方案中，將CG信號連續地及/或間歇地施加至神經網路以便影響神經網路之行為。此等行為改變包含神經網路回應於一刺激之注意力、放鬆度及/或回應性如何。在某些實施方案中，CG信號限制將神經網路聚焦於特定刺激及/或限制神經網路之總體學習能力。CG信號因此甚至在神經網路處理一刺激時實施自適應學習。在某些實施方案中，同時使用一個以上CG變數，從而涵蓋複雜行為型樣。在某些實施方案中，CG信號可影響一WC神經元群組之區域行為/可塑性及/或全域行為/可塑性。在某些實施方案中，CG信號可影響比較模組之敏感性。在某些實施方案中，CG信號可在加權模組之前影響輸入信號。在圖5中，舉例而言，CG信號502影響至神經元或比較器WC1 、WC2 及WCN 之輸入。在某些實施方案中，將不同CG信號施加至WC神經元之不同區域或鄰近者以影響神經網路行為。
根據某些實施方案，WV電路(例如，WV 504、WV 506、WV 508)接收一CG信號(例如，信號502)且基於該CG信號而調整至各別WC之經加權輸入。在各種實施方案中，使用電壓控制電阻器(VCR)及/或可變電阻器(例如，一電位計或數位電位計、場效電晶體、電阻器梯、電阻器橋、電阻器網路、接面電晶體或者其他電流或電壓控制電路)來構造WV電路，該等電壓控制電阻器(VCR)及/或可變電阻器取決於CG信號而控制經加權輸出，由一WC比較該經加權輸出與一輸入刺激。
圖6圖解說明根據某些實施方案之一系列WC以及圖5之CG信號及一額外記憶體604 (亦在本文中稱為內隱記憶體(IMEM))。IMEM 604可准許記憶體指標至子區域之快速重新引導，及/或提供含有對刺激做出回應所必需之資料之記憶體區域之記憶體位址。在具有IMEM 604之情況下，評估系統116 (圖1A至圖1B)避免讀取一大記憶體空間以搜尋特定於一給定輸入刺激之資料以便評估特定資料且提供一回應114。
根據某些實施方案，內隱記憶體可(舉例而言)藉由以下方式增強一神經網路以具有對刺激之直覺回應：即使輸入刺激僅類似於(且不精確地匹配)一先前經驗亦觸發一回應。根據某些實施方案，與IMEM相比較，外顯記憶體區塊(例如，EMEM區塊606、608及610)可經組態以儲存待回應於一輸入刺激而檢索之精確資料(例如，針對過去輸入之過去回應)。舉例而言，PNP AI處理器102可使一當前輸入與一先前輸入(例如，已參觀一房間或看過一視訊或一影像之一人之一等效內容)匹配，可自EMEM檢索一先前所產生虛擬影像，且比較其與當前輸入以產生一匹配回應。可經由EMEM存取更詳細資料，然而IMEM儲存且表示自資料提取之一般資訊型樣及概念。
在某些實施方案中，可使記憶體604可視化為一或多個記憶體區塊之一集，其中每一記憶體區塊表示待檢索之資料。根據某些實施方案，一記憶體區塊可引用為一IMEM區塊以及一EMEM區塊兩者。在某些實施方案中，IMEM係可使用一或多個WC輸出(例如，來自神經網路之一給定神經元區塊之輸出)之一組合及/或CG狀態來定址的。舉例而言，在圖6中，IMEM 604係可經由控制信號602 (由分別與對應EMEM區塊606、608及610連接之線路618、620及622展示)及/或WC輸出來直接定址的。在某些此類實施方案中，CG信號影響經存取以對一刺激做出回應之記憶體區塊之大小或記憶體區塊之數目。與IMEM區塊相比較，經由WC輸出對EMEM區塊進行定址。舉例而言，根據某些實施方案，連接線路(例如，線路612、614及616)用於對圖6中之EMEM區塊進行定址。
如圖6中所指示，根據某些實施方案，來自不同記憶體區塊(例如，區塊606、608及610)之資料由評估系統116 (圖1A至圖1B中所展示)使用以對輸入刺激做出回應(例如，輸出至回應程序624、626及628)。
類似於快取記憶體架構如何藉由儲存先前及/或頻繁使用之功能或資料以進行較快存取而改良記憶體存取，IMEM架構基於刺激熟悉度而改良記憶體存取。舉例而言，重複地觀察到之一刺激可提供至系統之回饋，使得一或多個控制群組信號可用於直接存取記憶體中之一或多個物件，而不必須依賴於與神經網路之輸出匹配之型樣來指定記憶體位置。但與快取記憶體不同，IMEM在不需要額外儲存或執行重複搜尋反覆以剖析且找出正確記憶體位置之情況下改良記憶體存取(例如，經由使用CG及WC輸出進行之直接存取)。
儘管圖6圖解說明EMEM區塊好似一各別EMEM區塊僅連接至一單個子分類器(例如，線路612將第一子分類器連接至EMEM區塊1)，但子分類器可存取一個以上EMEM區塊。連接線路(例如，線路612、614及616)意欲展示EMEM區塊經由比較器之輸出之可定址性。
如由區塊630指示，在某些實施方案中，一主分類器包括複數個子分類器、IMEM區塊及/或CG信號。在某些實施方案中，一主分類器630係耦合至複數個子分類器、IMEM區塊及/或CG信號之一獨立模組(圖6中未展示)。在某些此類實施方案中，主分類器630在一或多個時脈循環期間自該複數個子分類器中之每一者(例如，經由記憶體 604)接收各別輸出信號中之每一者，且基於產生具有比一預定輸出臨限值大之一值之一各別輸出信號的該複數個子分類器之子集而判定一分類器回應。
圖7係圖解說明根據某些實施方案之具有一平行神經處理器(例如，PNP AI處理器102)之一代表性系統700之一方塊圖。在某些實施方案中，系統700 (例如，具有系統架構100 (圖1A)之任何裝置)包含一或多個處理單元(例如，CPU、ASIC、FPGA、微處理器及諸如此類) 702、一或多個通信介面714、記憶體721、外部感測器704、音訊/視訊輸入706及用於使此等組件(有時稱為一晶片集)互連之一或多個通信匯流排720。
在某些實施方案中，系統700包含一使用者介面708。在某些實施方案中，使用者介面708包含使得能夠呈現媒體內容之一或多個輸出裝置710，包含一或多個揚聲器及/或一或多個視覺顯示器。在某些實施方案中，使用者介面708亦包含一或多個輸入裝置712，包含促進使用者輸入之使用者介面組件，諸如一鍵盤、一滑鼠、一語音命令輸入單元或麥克風、一觸控螢幕顯示器、一觸敏輸入板、一手勢捕捉相機或者其他輸入按鈕或控件。此外，某些系統使用一麥克風及語音辨識或一相機及手勢辨識來補充或替換鍵盤。
在某些實施方案中，系統700包含一或多個影像/視訊擷取或音訊/視訊輸入裝置706 (例如，相機、視訊攝影機、掃描機、光感測器單元)。視情況，系統700包含用於判定系統裝置700之位置之一位置偵測裝置(未展示)。
在某些實施方案中，系統700包含一或多個內置式感測器718。在某些實施方案中，舉例而言，內置式感測器718包含一或多個熱輻射感測器、周圍溫度感測器、濕度感測器、IR感測器、在場感測器(例如，使用RFID感測器)、周圍光感測器、運動偵測器、加速度計及/或陀螺儀。
在某些實施方案中，系統700包含一或多個外部感測器704。在某些實施方案中，舉例而言，外部感測器704包含一或多個熱輻射感測器、周圍溫度感測器、濕度感測器、IR感測器、在場感測器(例如，使用RFID感測器)、周圍光感測器、運動偵測器、加速度計及/或陀螺儀。
根據某些實施方案，系統700包含用於執行/卸載上文參考圖1至圖6所闡述之AI任務(例如，圖1A或圖1B中之PNP AI處理器102)之一或多個平行神經處理器716。
舉例而言，通信介面720包含能夠使用各種自定義或標準無線協定(例如，IEEE 802.15.4、Wi-Fi、ZigBee、6LoWPAN、Thread、Z-Wave、Bluetooth Smart、ISA100.11a、Wireless HART、MiWi等)中之任一者及/或各種自定義或標準有線協定(例如，Ethernet、Home Plug等)中之任一者或任何其他適合通信協定(包含截至本文件之申請日期尚未開發之通信協定)進行資料通信之硬體。
記憶體721包含高速隨機存取記憶體，諸如DRAM、SRAM、DDR RAM或其他隨機存取固態記憶體裝置；且視情況，包含非揮發性記憶體，諸如一或多個磁碟儲存裝置、一或多個光碟儲存裝置、一或多個快閃記憶體裝置或者一或多個其他非揮發性固態儲存裝置。記憶體721或替代地記憶體721內之非揮發性記憶體包含一非暫時電腦可讀儲存媒體。在某些實施方案中，記憶體721或記憶體721之非暫時性電腦可讀儲存媒體儲存以下程式、模組及資料結構或其一子集或超集： • 操作邏輯722，其包含用於處置各種基本系統服務且用於執行硬體相依任務之程序步驟； • 裝置通信模組724，其用於連接至其他網路裝置(例如，網路介面(諸如提供網際網路連接性之一路由器)、網路化儲存裝置、網路路由裝置、伺服器系統等)且與其他網路裝置通信，該等其他網路裝置經由一或多個通信介面720 (無線或有線)連接至一或多個網路； • 輸入處理模組726，其用於偵測來自一或多個輸入裝置712之一或多個使用者輸入或交互且解譯該等所偵測輸入或交互； • 使用者介面模組728，其用於提供且顯示一使用者介面，在該使用者介面中可組態及/或觀看設定、所擷取資料及/或一或多個裝置(未展示)之其他資料； • 一或多個應用程式模組730，其用於由對裝置進行控制之系統700執行，且用於檢閱由裝置擷取之資料(例如，裝置狀態及設定、所擷取資料或關於系統700及/或其他用戶端/電子裝置之其他資訊)； • PNP預處理模組732，其提供用於預處理PNP AI處理器716之資料之功能性，PNP預處理模組732包含但不限於： ○ 資料接收模組7320，其用於自一或多個輸入裝置712、外部感測器704、內置式感測器718及/或音訊/視訊輸入706接收待由PNP AI處理器716處理之資料； ○ 資料預處理模組7322，其用於處理由資料接收模組7320擷取或接收之資料，且用於製備(例如，用於依據原始資料輸入創建向量集、將向量組織至一表中及/或將原始資料轉換成電壓值)，且用於將經處理資料(例如，藉由施加電流而載入資料)發送至PNP AI處理器716； • PNP訓練模組734，其與PNP預處理模組732及/或PNP回饋與回應模組736 (下文所闡述)協調以訓練一或多個PNP AI處理器716 (例如，設置電壓值/臨限值、初始化神經網路及監測學習速率及進度)；及 • PNP回饋與回應模組734，其包含但不限於： ○ 資料接收模組7360，其用於自PNP AI處理器716接收資料(例如，用於自窗比較器電路之輸出接收電壓值)； ○ 資料後處理模組7362，其用於後處理自PNP AI處理器716接收之資料(例如，用於將電壓值或神經網路輸出轉換為可用於由系統進一步處理之另一格式)； ○ 回饋模組7364，其用於基於其輸出(例如，用以重新調整控制值)或基於來自系統中之其他裝置之輸入(包含改變環境)而產生至PNP AI處理器716之回饋；及 ○ 回應模組7366，其用於基於PNP AI處理器之輸出而產生系統回應(例如，使一機械手臂移動、改變一相機之位置或用信號發出一警報)。
上文所識別之元件中之每一者可儲存於先前所提及之記憶體裝置中之一或多者中，且對應於用於執行上文所闡述之一功能之一指令集。上文所識別之模組或程式(亦即，指令集)不需要實施為單獨軟體程式、程序步驟或模組，且因此此等模組之各種子集在各種實施方案中可經組合或以其他方式重新配置。在某些實施方案中，記憶體606視情況儲存上文所識別之模組及資料結構之一子集。此外，記憶體606視情況儲存上文未闡述之額外模組及資料結構。
圖8A至圖8D圖解說明根據某些實施方案之使用一子分類器處理輸入信號(802)之一方法800之一流程圖表示，該子分類器包含一經加權輸入模組及耦合至該經加權輸入模組之一比較模組。上文參考圖4闡述子分類器。在某些實施方案中，該比較模組包含(804)至少一個運算放大器模組(例如，上文參考圖2A及圖2B所闡述之類比WC)。第一子分類器在該經加權輸入模組處將一加權施加(806)至輸入信號以產生一經加權輸入信號。舉例而言，在圖4中，經加權輸入模組440將加權404施加至輸入信號402以產生至比較器WC1 450之一經加權輸入信號。在某些實施方案中，該經加權輸入模組自一第二子分類器接收(808)一第二輸出信號。舉例而言，在圖4中，經加權輸入模組442自其他子分類器(例如，自來自記憶體鎖存器410之子分類器輸出)接收輸出信號。
方法800進一步包含在該比較模組處在一比較模組輸入線路處接收(810)該經加權輸入信號。舉例而言，在圖4中，比較器WC1 450在經展示為連接模組440與比較器450之線路上自經加權輸入模組440接收經加權輸入信號。在某些實施方案中，該比較模組包含至少一個運算放大器模組(上文參考804所闡述)，且接收該經加權輸入信號包括在該至少一個運算放大器模組處接收(812)該經加權輸入信號。
如圖8B中所展示，根據某些實施方案，方法800進一步包含在該比較模組處在一比較模組輸出線路處產生(814)一第一輸出信號。舉例而言，在圖4中，比較器WC1 450在連接比較器WC1 450與記憶體鎖存器410之線路上產生輸出信號OWC 1 。產生該第一輸出信號(814)包括在該比較模組處判定(816)該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值。根據某些實施方案，在上文參考圖2A、圖2B、圖3及圖4闡述比較操作。舉例而言，在圖2A中，運算放大器202及運算放大器204判定輸入電壓IWC 206是否介於下部電壓臨限值RL 208與上部電壓臨限值RH 210之間。產生該第一輸出信號(814)進一步包括回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該第一輸出信號設定(818)為具有一第一值。舉例而言，在圖2A中，若輸入電壓IWC 206介於下部電壓臨限值RL 208與上部電壓臨限值RH 210之間，則運算放大器204設定輸出OWC 。作為另一實例，在圖4中，若輸入電壓IWC 402介於下部電壓臨限值RL 1 與上部電壓臨限值RH 1 之間，則比較器WC1 (450)在連接比較器與記憶體鎖存器410之線路處設定輸出OWC 1 (至一高電壓值)。產生該第一輸出信號(814)進一步包括回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該第一輸出信號設定(820)為具有不同於該第一值之一第二值。舉例而言，在圖2A中，若輸入電壓IWC 206不介於下部電壓臨限值RL 208與上部電壓臨限值RH 210之間，則運算放大器202設定輸出/OWC 。作為另一實例，在圖4中，若輸入電壓IWC 402介於下部電壓臨限值RL 1 與上部電壓臨限值RH 1 之間，則比較器WC1 (450)在連接比較器與記憶體鎖存器410之線路處設定輸出OWC 1 (至一低電壓值)。在某些實施方案中，該比較模組包括至少一個運算放大器(例如，如圖2A中所闡述)，且產生該第一輸出信號(814)進一步包括在該至少一個運算放大器模組處設定(822)該第一輸出信號。
在某些實施方案中，如圖8C中所展示，方法800進一步包括將該第一輸出信號自該第一子分類器傳輸(824)至一第二子分類器。舉例而言，在圖4中，鎖存於記憶體鎖存器410中的來自比較器WC1 450之輸出信號傳輸(經展示為一虛線，輸入)至包含比較器WC2 452及經加權輸入模組442之一第二子分類器。
在某些實施方案中，方法800進一步包含在該經加權輸入模組處接收(826)一控制群組信號。在某些此類實施方案中，該經加權輸入模組包含一可變電阻器模組，且該方法包含在該可變電阻器模組處接收(828)該控制群組信號且基於該控制群組信號而調整該經加權輸入信號。在某些實施方案中，方法800進一步包含在該經加權輸入模組處基於該控制群組信號而將該加權施加(830)至該輸入信號以產生該經加權輸入信號。上文參考圖5闡釋接收且處理控制群組信號。舉例而言，在圖5中，控制群組信號502經施加且在由對應經加權輸入模組消耗之前調整電路504、506、508中之權數值。
在某些實施方案中，如圖8D中所展示，該第一子分類器包含(832)耦合至該比較模組之一記憶體模組。在某些實施方案中，該記憶體鎖存器、該比較器及該經加權輸入模組包括一子分類器。在某些此類實施方案中，該第一子分類器自該比較模組接收該第一輸出信號且將該第一輸出信號儲存(834)於該記憶體模組處並且將該第一輸出信號提供至一第二子分類器。舉例而言，在圖4中，根據某些實施方案，記憶體鎖存器410耦合至比較器WC1 (450)，記憶體鎖存器412耦合至比較器WC2 (452)，且記憶體鎖存器414耦合至比較器WCN (454)。
圖9A至圖9E圖解說明在一或多個時脈循環期間使用一分類器系統處理一或多個輸入信號之一方法900之一流程圖表示。根據某些實施方案，該分類器系統包含(902)複數個子分類器及耦合至該複數個子分類器之一主分類器，該複數個子分類器各自包含一經加權輸入模組及一比較模組。上文參考圖6論述耦合至複數個子分類器之實例性主分類器。在方法900之某些實施方案中，如920 (圖9B)中所展示，該等子分類器中之每一者具有介於該下限窗範圍值與該上限窗範圍值之間的一各別窗範圍，該各別窗範圍不與任何其他子分類器之任何其他各別窗範圍重疊。舉例而言，在圖3中，比較器WC1 之參考電壓(RL 1 302及RH 1 304)、比較器WC2 之參考電壓(RL 2 306及RH 2 308)、比較器WC3 之參考電壓(RL 3 310及RH 3 312)及比較器WCN 之參考電壓(RL N 314及RH N 316)各自經設置使得對應WVR全部係唯一的。在某些實施方案中，該等WVR係不重疊的。在方法900之某些實施方案中，如922 (圖9C)中所展示，該分類器系統包含耦合至該複數個子分類器之一多工器模組。在某些此類實施方案中，方法900包含在一單個時脈循環期間在多工器模組處將輸入信號中之一者提供(924)至該複數個子分類器。在上文參考圖1A闡述多工器及/或預處理模組之實例。
在某些實施方案中，方法900包含(906)在每一子分類器處：在經加權輸入模組處在一各別時脈循環內將一加權施加(908)至一各別輸入信號以產生一經加權輸入信號。在某些此類實施方案中，方法(900)進一步包含在每一子分類器處：在該比較模組處在一比較模組輸入線路處接收(910)該經加權輸入信號。在某些此類實施方案中，方法(900)進一步包含在該比較模組處在一比較模組輸出線路處產生(912)一輸出信號。根據某些實施方案，在上文參考圖4闡述一實例性經加權輸入模組。
在某些實施方案中，如圖9D中所展示，在該比較模組處產生(912)一輸出信號包括：在該比較模組處判定(926)該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值；回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將一輸出信號設定(928)為具有比一預定輸出臨限值大之一值；及回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該輸出信號設定(930)為具有比該預定輸出臨限值小之一值。根據某些實施方案，該比較模組之操作在上文參考上文之圖8B而闡述且適用於圖9D中所展示之操作。
返回參考圖9A，在某些實施方案中，方法900包含(914)在該一或多個時脈循環期間在該主分類器處自該複數個子分類器中之每一者接收(916)該等輸出信號中之每一者。在某些此類實施方案中，方法900進一步包含在該主分類器處基於產生具有比該預定輸出臨限值大之一值之一各別輸出信號的該複數個子分類器之子集而判定(918)一分類器回應。
在方法900之某些實施方案中，該分類器包含(932)耦合至該主分類器及/或該複數個子分類器之一記憶體區塊。在某些此類實施方案中，該方法進一步包括在該複數個子分類器(934)中之每一者之該經加權輸入模組處：接收(936)一控制群組信號，且基於該控制群組信號而將該加權施加(938)至該輸入信號以產生該經加權輸入信號。該方法進一步包括將該分類器之一或多個回應儲存(940)於該記憶體區塊處，該記憶體區塊包含可使用該複數個子分類器中之一或多個子分類器之該輸出信號及該控制群組信號來定址之一或多個記憶體子區塊。該方法進一步包括在該主分類器處基於該一或多個記憶體子區塊而判定(942)該分類器回應。根據某些實施方案，在上文參考圖6論述主分類器之細節。此外，如與圖6有關之論述中所指示，根據某些實施方案，EMEM區塊之輸出(例如，輸出624、626及628)用於判定分類器回應。
應理解，闡述圖8A至圖8D及圖9A至圖9E中之操作之特定次序僅係一實例且不意欲指示所闡述之次序僅係可執行該等操作之次序。熟習此項技術者將認識到將本文中所闡述之操作重排序之各種方式。另外，應注意，關於方法800所闡述之其他程序之細節亦可以與上文關於圖9A至圖9E所闡述之方法900類似之一方式適用。
儘管各種圖式中之某些圖式以一特定次序圖解說明若干個邏輯級，但可將並非次序相依之級重排序且可組合或分解其他級。雖然具體提及某些重排序或其他分組，但熟習此項技術者將明瞭其他重排序或分組，因此本文中所呈現之排序及分組並非替代方案之一詳盡列表。此外，應認識到，可在硬體、韌體、軟體或其任何組合中實施該等級。
出於闡釋目的，已參考特定實施方案闡述了前述說明。然而，以上說明性論述並不意欲為詳盡的或將申請專利範圍之範疇限制於所揭示之精確形式。鑒於以上教示，諸多修改及變化係可能的。實施方案經選擇以便最佳地闡釋為申請專利範圍及其實際應用之基礎之原理，從而使得熟習此項技術者能夠最佳地使用具有適用於所預期特定用途之各種修改之實施方案。
100‧‧‧系統架構
102‧‧‧平行神經處理人工智慧處理器/平行神經處理器
104‧‧‧資訊層/主要層/層/神經元層
106‧‧‧概念層/次要層/層/神經元層
108‧‧‧控制群組模組
110‧‧‧記憶體/記憶體區塊
112‧‧‧外部刺激/輸入刺激/原始資料/刺激接收模組
114‧‧‧有意義回應/回應/回應模組
116‧‧‧評估系統/介入評估系統
120‧‧‧系統架構
202‧‧‧運算放大器
204‧‧‧運算放大器
206‧‧‧輸入/輸入電壓
208‧‧‧低參考電壓/下部電壓臨限值
210‧‧‧高參考電壓/上部電壓臨限值
214‧‧‧非反相輸出
216‧‧‧類比窗比較器/窗比較器電路
218‧‧‧非反相窗比較器/窗比較器
302‧‧‧參考電壓
304‧‧‧參考電壓
306‧‧‧參考電壓
308‧‧‧參考電壓
310‧‧‧參考電壓
312‧‧‧參考電壓
314‧‧‧參考電壓
316‧‧‧參考電壓
318‧‧‧輸入刺激
322‧‧‧輸出
324‧‧‧輸出
326‧‧‧輸出
328‧‧‧輸出
402‧‧‧輸入/輸入刺激/輸入信號/輸入電壓
404‧‧‧權數電壓/加權
406‧‧‧權數電壓
408‧‧‧權數電壓
410‧‧‧鎖存器/記憶體鎖存器
412‧‧‧鎖存器/記憶體鎖存器
414‧‧‧鎖存器/記憶體鎖存器
416‧‧‧電路
418‧‧‧電路/輸出信號/輸入
420‧‧‧電路
422‧‧‧拓撲匯流排/匯流排
424‧‧‧拓撲匯流排/匯流排
426‧‧‧拓撲匯流排/匯流排
428‧‧‧連接
430‧‧‧連接
432‧‧‧連接
440‧‧‧電路/經加權輸入模組/模組
442‧‧‧電路/經加權輸入模組
444‧‧‧電路/經加權輸入模組
450‧‧‧比較器
452‧‧‧比較器
454‧‧‧比較器
502‧‧‧控制群組信號/信號
504‧‧‧權數電壓/電路
506‧‧‧權數電壓/電路
508‧‧‧權數電壓/電路
602‧‧‧控制信號
604‧‧‧記憶體/內隱記憶體
606‧‧‧外顯記憶體區塊/記憶體
608‧‧‧外顯記憶體區塊
610‧‧‧外顯記憶體區塊
612‧‧‧窗比較器輸出/線路
614‧‧‧窗比較器輸出/線路
616‧‧‧窗比較器輸出/線路
618‧‧‧信號
620‧‧‧信號
622‧‧‧信號
624‧‧‧區塊/回應程序/輸出
626‧‧‧區塊/回應程序/輸出
628‧‧‧區塊/回應程序/輸出
630‧‧‧區塊/主分類器
700‧‧‧系統/系統裝置
702‧‧‧處理單元
704‧‧‧外部感測器
706‧‧‧音訊/視訊輸入 /音訊/視訊輸入裝置
708‧‧‧使用者介面
710‧‧‧輸出裝置
712‧‧‧輸入裝置
714‧‧‧通信介面
716‧‧‧平行神經處理人工智慧處理器/平行神經處理器
718‧‧‧內置式感測器
720‧‧‧通信匯流排/通信介面
721‧‧‧記憶體
722‧‧‧操作邏輯
724‧‧‧裝置通信模組
726‧‧‧輸入處理模組
728‧‧‧使用者介面模組
730‧‧‧應用程式模組
732‧‧‧平行神經處理預處理模組
734‧‧‧平行神經處理訓練模組
736‧‧‧平行神經處理回饋與回應模組
800‧‧‧方法
802‧‧‧步驟
804‧‧‧步驟
806‧‧‧步驟
808‧‧‧步驟
810‧‧‧步驟
812‧‧‧步驟
814‧‧‧步驟
816‧‧‧步驟
818‧‧‧步驟
820‧‧‧步驟
822‧‧‧步驟
824‧‧‧步驟
826‧‧‧步驟
828‧‧‧步驟
830‧‧‧步驟
832‧‧‧步驟
834‧‧‧步驟
900‧‧‧方法
902‧‧‧步驟
906‧‧‧步驟
908‧‧‧步驟
910‧‧‧步驟
912‧‧‧步驟
914‧‧‧步驟
916‧‧‧步驟
918‧‧‧步驟
920‧‧‧步驟
922‧‧‧步驟
924‧‧‧步驟
926‧‧‧步驟
928‧‧‧步驟
930‧‧‧步驟
932‧‧‧步驟
934‧‧‧步驟
936‧‧‧步驟
938‧‧‧步驟
940‧‧‧步驟
942‧‧‧步驟
7320‧‧‧資料接收模組
7322‧‧‧資料預處理模組
7360‧‧‧資料接收模組
7362‧‧‧資料後處理模組
7364‧‧‧回饋模組
7366‧‧‧回應模組
IWC‧‧‧ 電壓/輸入/輸入刺激/輸入資料電壓/輸入電壓
ONN‧‧‧拓撲匯流排
OWC‧‧‧非反相輸出/輸出
OWC 1‧‧‧輸出
OWC 2‧‧‧輸出
OWC 3‧‧‧輸出
OWC N‧‧‧輸出
RL‧‧‧低參考電壓/參考電壓輸入/下部電壓臨限值
RL 1‧‧‧參考電壓/下部電壓臨限值
RL 2‧‧‧參考電壓
RL 3‧‧‧參考電壓
RL N‧‧‧參考電壓
RH‧‧‧高參考電壓/參考電壓輸入/上部電壓臨限值
RH 1‧‧‧參考電壓/上部電壓臨限值
RH 2‧‧‧參考電壓
RH 3‧‧‧參考電壓
RH N‧‧‧參考電壓
S1‧‧‧主要級
S2‧‧‧次要級
S3‧‧‧級3
WC1‧‧‧窗比較器電路/比較器
WC2‧‧‧窗比較器電路/比較器
WC3‧‧‧窗比較器電路/比較器
WCN‧‧‧窗比較器電路/比較器
為獲得對各種所闡述實施方案之一更佳理解，應連同附圖來參考對下文之實施方案之說明，在該等附圖中相似參考編號貫穿各圖係指對應部件。
圖1A及圖1B係圖解說明根據某些實施方案之具有一平行神經處理(PNP) AI處理器之實例性系統架構之方塊圖。
圖2A圖解說明根據某些實施方案之一類比窗比較器(PNP AI處理器之一組件)；且圖2B圖解說明根據某些實施方案之一非反相窗比較器。
圖3圖解說明根據某些實施方案之在一神經網路中之一系列窗比較器電路。
圖4圖解說明根據某些實施方案之在一互連神經網路中之一系列窗比較器以及資料流控制級。
圖5圖解說明根據某些實施方案之圖4中之窗比較器系列以及控制神經網路之神經可塑性及行為之一所添加控制群組(CG)。
圖6圖解說明根據某些實施方案之圖5中之窗比較器系列以及可透過CG及神經網路定址之一所添加內隱記憶體區塊。
圖7係圖解說明根據某些實施方案之具有圖1A或圖1B之一平行神經處理器之一代表性系統700之一方塊圖。
圖8A至圖8D圖解說明根據某些實施方案之使用一子分類器處理輸入信號之一方法之一流程圖表示，該子分類器包含一經加權輸入模組及耦合至該經加權輸入模組之一比較模組。
圖9A至圖9E圖解說明根據某些實施方案之在一或多個時脈循環期間使用一分類器處理一或多個輸入信號之一方法之一流程圖表示，該分類器包含複數個子分類器及耦合至該複數個子分類器之一主分類器，該複數個子分類器各自包含一經加權輸入模組及一比較模組。

Claims (20)

  1. 一種經組態以處理一輸入信號之第一子分類器，該第一子分類器包括： 一經加權輸入模組，該經加權輸入模組經組態以將一加權施加至該輸入信號以產生一經加權輸入信號； 一比較模組，其耦合至該經加權輸入模組，該比較模組經組態以： 在一比較模組輸入線路處接收該經加權輸入信號；且 在一比較模組輸出線路處產生一第一輸出信號；該比較模組進一步經組態以： 判定該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值； 回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組輸出線路處將該第一輸出信號設定為具有一第一值；且 回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組輸出線路處將該第一輸出信號設定為具有不同於該第一值之一第二值。
  2. 如請求項1之第一子分類器，其中該比較模組包含經組態以接收該經加權輸入信號且設定該第一輸出信號之至少一個運算放大器。
  3. 如請求項1至2中任一項之第一子分類器，其中施加至該輸入信號以產生該經加權輸入信號之該加權基於來自一第二子分類器之一第二輸出信號。
  4. 如請求項1至3中任一項之第一子分類器，其中將該第一輸出信號自該第一子分類器傳輸至一第二子分類器。
  5. 如請求項4之第一子分類器，其中該經加權輸入模組經組態以接收一控制群組信號且基於該控制群組信號而將該加權施加至該輸入信號以產生該經加權輸入信號。
  6. 如請求項5之第一子分類器，其中該經加權輸入模組包含： 一可變電阻器或者可變電流或電壓調節器，其經組態以接收該控制群組信號且基於該控制群組信號而調整該經加權輸入信號或影響比較模組之刺激敏感性。
  7. 如請求項1至6中任一項之第一子分類器，其進一步包括： 一記憶體模組，其經組態以自該比較模組接收該第一輸出信號且儲存該第一輸出信號並且將該第一輸出信號提供至一第二子分類器。
  8. 一種經組態以在一或多個時脈循環期間處理一或多個輸入信號之分類器系統，其包括： 複數個子分類器，該複數個子分類器中之每一者包含： 一經加權輸入模組，該經加權輸入模組經組態以在一各別時脈循環內將一加權施加至一各別輸入信號以產生一經加權輸入信號； 一比較模組，其耦合至該經加權輸入模組，該比較模組經組態以： 在一比較模組輸入線路處接收該經加權輸入信號；且 在一比較模組輸出線路處產生一輸出信號；該比較模組進一步經組態以： 判定該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值； 回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組輸出線路處將一第一輸出信號設定為具有比一預定輸出臨限值大之一值；且 回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組輸出線路處將該第一輸出信號設定為具有比該預定輸出臨限值小之一值；及 一主分類器，其耦合至該複數個子分類器，該主分類器經組態以： 在該一或多個時脈循環期間自該複數個子分類器中之每一者接收該等各別輸出信號中之每一者，且 基於產生具有比該預定輸出臨限值大之一值之一各別輸出信號的該複數個子分類器之子集而判定一分類器回應。
  9. 如請求項8之分類器系統，其中該等子分類器中之每一者具有介於該下限窗範圍值與該上限窗範圍值之間的一各別窗範圍，該各別窗範圍不與任何其他子分類器之任何其他各別窗範圍重疊。
  10. 如請求項8至9中任一項之分類器系統，其進一步包括： 一多工器，其耦合至該複數個子分類器，該多工器經組態以在一單個時脈循環期間將該等輸入信號中之一者提供至該複數個子分類器。
  11. 一種用以使用一第一子分類器處理一輸入信號之方法，該第一子分類器包含一經加權輸入模組及耦合至該經加權輸入模組之一比較模組，該方法包括： 在該經加權輸入模組處將一加權施加至該輸入信號以產生一經加權輸入信號； 在該比較模組處在一比較模組輸入線路處接收該經加權輸入信號； 在該比較模組處在一比較模組輸出線路處產生一第一輸出信號，該操作包含： 在該比較模組處判定該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值； 回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該第一輸出信號設定為具有一第一值；及 回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該第一輸出信號設定為具有不同於該第一值之一第二值。
  12. 如請求項11之方法，其中該比較模組包含至少一個運算放大器模組，該方法進一步包括： 在該至少一個運算放大器模組處接收該經加權輸入信號且在該至少一個運算放大器模組處設定該第一輸出信號。
  13. 如請求項11至12中任一項之方法，其進一步包括： 在該經加權輸入模組處自一第二子分類器接收一第二輸出信號。
  14. 如請求項11至13中任一項之方法，其進一步包括： 將該第一輸出信號自該第一子分類器傳輸至一第二子分類器。
  15. 如請求項14之方法，其進一步包括： 在該經加權輸入模組處接收一控制群組信號；及 在該經加權輸入模組處基於該控制群組信號而將該加權施加至該輸入信號以產生該經加權輸入信號。
  16. 如請求項15之方法，其中該經加權輸入模組包含一可變電阻器模組，該方法進一步包括： 在該可變電阻器模組處接收該控制群組信號且基於該控制群組信號而調整該經加權輸入信號。
  17. 如請求項11至16中任一項之方法，其中該第一子分類器包含耦合至該比較模組之一記憶體模組，該方法進一步包括： 在該記憶體模組處自該比較模組接收該第一輸出信號且儲存該第一輸出信號並且將該第一輸出信號提供至一第二子分類器。
  18. 一種用以在一或多個時脈循環期間使用一分類器系統處理一或多個輸入信號之方法，該分類器系統包含複數個子分類器及耦合至該複數個子分類器之一主分類器，該複數個子分類器各自包含一經加權輸入模組及一比較模組，該方法包括： 在每一子分類器處： 在該經加權輸入模組處在一各別時脈循環內將一加權施加至一各別輸入信號以產生一經加權輸入信號； 在該比較模組處在一比較模組輸入線路處接收該經加權輸入信號；及 在該比較模組處在一比較模組輸出線路處產生一輸出信號，該操作包含： 在該比較模組處判定該經加權輸入信號是否具有介於一下限窗範圍值與一上限窗範圍值之間的一值； 回應於判定該經加權輸入信號具有介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將一輸出信號設定為具有比一預定輸出臨限值大之一值；及 回應於判定該經加權輸入信號具有不介於該下限窗範圍值與該上限窗範圍值之間的一值，在該比較模組處在該比較模組輸出線路處將該輸出信號設定為具有比該預定輸出臨限值小之一值；及 在該主分類器處： 在該一或多個時脈循環期間自該複數個子分類器中之每一者接收該等輸出信號中之每一者，及 基於產生具有比該預定輸出臨限值大之一值之一各別輸出信號的該複數個子分類器之子集而判定一分類器回應。
  19. 如請求項18之方法，其中該等子分類器中之每一者具有介於該下限窗範圍值與該上限窗範圍值之間的一各別窗範圍，該各別窗範圍不與任何其他子分類器之任何其他各別窗範圍重疊。
  20. 如請求項18至19中任一項之方法，其中該分類器系統包含耦合至該複數個子分類器之一多工器模組，該方法進一步包括： 在該多工器模組處在一單個時脈循環期間將該等輸入信號中之一者提供至該複數個子分類器。
TW107131626A 2017-09-08 2018-09-07 用於處理輸入信號之分類器與分類器系統及其操作方法 TWI789423B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762556312P 2017-09-08 2017-09-08
US62/556,312 2017-09-08
US16/124,104 US11507806B2 (en) 2017-09-08 2018-09-06 Parallel neural processor for Artificial Intelligence
US16/124,104 2018-09-06

Publications (2)

Publication Number Publication Date
TW201921296A true TW201921296A (zh) 2019-06-01
TWI789423B TWI789423B (zh) 2023-01-11

Family

ID=65631231

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111147114A TWI846192B (zh) 2017-09-08 2018-09-07 用於處理輸入信號之分類器與分類器系統及其操作方法
TW107131626A TWI789423B (zh) 2017-09-08 2018-09-07 用於處理輸入信號之分類器與分類器系統及其操作方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW111147114A TWI846192B (zh) 2017-09-08 2018-09-07 用於處理輸入信號之分類器與分類器系統及其操作方法

Country Status (9)

Country Link
US (4) US11507806B2 (zh)
EP (1) EP3679522A4 (zh)
JP (1) JP7114694B2 (zh)
KR (3) KR102598208B1 (zh)
CN (2) CN117151177A (zh)
AU (2) AU2018330840B2 (zh)
CA (1) CA3112064A1 (zh)
TW (2) TWI846192B (zh)
WO (1) WO2019048922A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592450B2 (en) * 2016-10-20 2020-03-17 Micron Technology, Inc. Custom compute cores in integrated circuit devices
JP6866762B2 (ja) * 2017-05-18 2021-04-28 いすゞ自動車株式会社 車両用情報処理システム
US11507806B2 (en) 2017-09-08 2022-11-22 Rohit Seth Parallel neural processor for Artificial Intelligence
US11443185B2 (en) * 2018-10-11 2022-09-13 Powerchip Semiconductor Manufacturing Corporation Memory chip capable of performing artificial intelligence operation and method thereof
US11074344B2 (en) * 2018-12-19 2021-07-27 Intel Corporation Methods and apparatus to detect side-channel attacks
US11783917B2 (en) * 2019-03-21 2023-10-10 Illumina, Inc. Artificial intelligence-based base calling
US11210554B2 (en) 2019-03-21 2021-12-28 Illumina, Inc. Artificial intelligence-based generation of sequencing metadata
US11593649B2 (en) 2019-05-16 2023-02-28 Illumina, Inc. Base calling using convolutions
US11423306B2 (en) 2019-05-16 2022-08-23 Illumina, Inc. Systems and devices for characterization and performance analysis of pixel-based sequencing
US20210265016A1 (en) 2020-02-20 2021-08-26 Illumina, Inc. Data Compression for Artificial Intelligence-Based Base Calling
US12354008B2 (en) 2020-02-20 2025-07-08 Illumina, Inc. Knowledge distillation and gradient pruning-based compression of artificial intelligence-based base caller
EP4107735B1 (en) 2020-02-20 2025-11-26 Illumina, Inc. Artificial intelligence-based many-to-many base calling
CN115836346A (zh) * 2020-09-07 2023-03-21 阿里巴巴集团控股有限公司 存内计算设备及其数据处理方法
US20220336057A1 (en) 2021-04-15 2022-10-20 Illumina, Inc. Efficient voxelization for deep learning
US12217829B2 (en) 2021-04-15 2025-02-04 Illumina, Inc. Artificial intelligence-based analysis of protein three-dimensional (3D) structures
CN117217067A (zh) * 2022-05-31 2023-12-12 北京有竹居网络技术有限公司 仿真装置、仿真系统及其仿真方法、存储介质
TWI892755B (zh) * 2024-07-17 2025-08-01 凌陽科技股份有限公司 計算機硬體系統以及人工智慧計算程序

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2460078B1 (fr) * 1979-06-25 1986-12-12 Trt Telecom Radio Electr Joncteur d'abonne electronique
US5253328A (en) 1989-11-17 1993-10-12 Microelectronics & Computer Technology Corp. Neural-network content-addressable memory
US5167008A (en) * 1990-12-14 1992-11-24 General Electric Company Digital circuitry for approximating sigmoidal response in a neural network layer
JP3088171B2 (ja) * 1991-02-12 2000-09-18 三菱電機株式会社 自己組織型パタ−ン分類システム及び分類方法
JP3090550B2 (ja) * 1992-09-03 2000-09-25 フィガロ技研株式会社 ガス検出システム
US5444796A (en) * 1993-10-18 1995-08-22 Bayer Corporation Method for unsupervised neural network classification with back propagation
US6018728A (en) * 1996-02-09 2000-01-25 Sarnoff Corporation Method and apparatus for training a neural network to learn hierarchical representations of objects and to detect and classify objects with uncertain training data
US6028956A (en) * 1997-04-04 2000-02-22 Kofile Inc. Object location and span determination method and apparatus which determines a location and span of an object in an image
US6294926B1 (en) 1999-07-16 2001-09-25 Philips Electronics North America Corporation Very fine-grain field programmable gate array architecture and circuitry
US7412428B2 (en) * 2002-03-12 2008-08-12 Knowmtech, Llc. Application of hebbian and anti-hebbian learning to nanotechnology-based physical neural networks
US7627540B2 (en) 2005-06-28 2009-12-01 Neurosciences Research Foundation, Inc. Addressing scheme for neural modeling and brain-based devices using special purpose processor
BRPI0615791B1 (pt) 2005-09-16 2018-04-03 Devgen Nv Rna de fita dupla isolado compreendendo fitas complementares aneladas, método de controle de infestação de peste e uso de uma ração artificial compreendendo a sequência de ribonucleotídeo de fita dupla para tratar infestação de plantas por insetos
US8103606B2 (en) 2006-12-08 2012-01-24 Medhat Moussa Architecture, system and method for artificial neural network implementation
US9051565B2 (en) 2007-05-22 2015-06-09 Cornell Research Foundation, Inc. Compositions and methods for the display of proteins on the surface of bacteria and their derived vesicles and uses thereof
DE102009029519A1 (de) * 2009-09-16 2011-03-24 Robert Bosch Gmbh Digital-Analog-Wandlerschaltung und Verfahren zur Fehlererkennung
US20110098963A1 (en) 2009-10-23 2011-04-28 Cisco Technology, Inc. Context based testing
WO2016022108A1 (en) * 2014-08-06 2016-02-11 Robinson Kurt B Systems and methods involving features of adaptive and/or autonomous traffic control
MX370669B (es) 2012-06-22 2019-12-19 Syngenta Participations Ag Control biológico de plagas de coleópteros.
US9082078B2 (en) 2012-07-27 2015-07-14 The Intellisis Corporation Neural processing engine and architecture using the same
US9195934B1 (en) 2013-01-31 2015-11-24 Brain Corporation Spiking neuron classifier apparatus and methods using conditionally independent subsets
US9672464B2 (en) 2014-02-28 2017-06-06 Qualcomm Incorporated Method and apparatus for efficient implementation of common neuron models
US9224091B2 (en) 2014-03-10 2015-12-29 Globalfoundries Inc. Learning artificial neural network using ternary content addressable memory (TCAM)
KR101510991B1 (ko) * 2014-05-09 2015-04-10 포항공과대학교 산학협력단 저항변화 메모리를 이용한 신경회로망 형태 분류기 및 형태 분류 방법
US9373058B2 (en) * 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US11544570B2 (en) * 2015-06-30 2023-01-03 Arizona Board Of Regents On Behalf Of Arizona State University Method and apparatus for large scale machine learning
KR20170028629A (ko) * 2015-09-04 2017-03-14 부산대학교 산학협력단 신호패턴의 반복횟수 검출방법 및 장치
CN106599992B (zh) * 2015-10-08 2019-04-09 上海兆芯集成电路有限公司 以处理单元群组作为时间递归神经网络长短期记忆胞进行运作的神经网络单元
DE102015223078A1 (de) 2015-11-23 2017-05-24 Siemens Aktiengesellschaft Vorrichtung und Verfahren zum Anpassen von Berechtigungsinformationen eines Endgeräts
US10296846B2 (en) * 2015-11-24 2019-05-21 Xerox Corporation Adapted domain specific class means classifier
US10373019B2 (en) * 2016-01-13 2019-08-06 Ford Global Technologies, Llc Low- and high-fidelity classifiers applied to road-scene images
KR102565273B1 (ko) * 2016-01-26 2023-08-09 삼성전자주식회사 뉴럴 네트워크에 기초한 인식 장치 및 뉴럴 네트워크의 학습 방법
US10423876B2 (en) 2016-12-01 2019-09-24 Via Alliance Semiconductor Co., Ltd. Processor with memory array operable as either victim cache or neural network unit memory
US11507806B2 (en) 2017-09-08 2022-11-22 Rohit Seth Parallel neural processor for Artificial Intelligence
EP3667569B1 (en) * 2017-10-20 2025-04-23 Shanghai Cambricon Information Technology Co., Ltd Processing method and device, operation method and device
KR102788093B1 (ko) * 2018-08-17 2025-03-31 삼성전자주식회사 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US20190080227A1 (en) 2019-03-14
TWI846192B (zh) 2024-06-21
US11138496B2 (en) 2021-10-05
JP7114694B2 (ja) 2022-08-08
JP2020533668A (ja) 2020-11-19
AU2018330840B2 (en) 2021-07-01
WO2019048922A1 (en) 2019-03-14
CN111033522B (zh) 2023-09-19
TW202328982A (zh) 2023-07-16
KR20230154295A (ko) 2023-11-07
KR20200057707A (ko) 2020-05-26
TWI789423B (zh) 2023-01-11
CN111033522A (zh) 2020-04-17
US20230316056A1 (en) 2023-10-05
AU2021240266A1 (en) 2021-10-28
CN117151177A (zh) 2023-12-01
EP3679522A4 (en) 2021-06-09
AU2021240266B2 (en) 2024-02-29
KR102215619B1 (ko) 2021-02-15
KR20210018527A (ko) 2021-02-17
EP3679522A1 (en) 2020-07-15
AU2018330840A1 (en) 2020-02-27
US11507806B2 (en) 2022-11-22
KR102598208B1 (ko) 2023-11-02
US20250217635A1 (en) 2025-07-03
CA3112064A1 (en) 2019-03-14
US20190080228A1 (en) 2019-03-14
US12061974B2 (en) 2024-08-13

Similar Documents

Publication Publication Date Title
TWI846192B (zh) 用於處理輸入信號之分類器與分類器系統及其操作方法
KR102733834B1 (ko) 전자 장치 및 그 제어 방법
US20180157892A1 (en) Eye detection method and apparatus
US20170236051A1 (en) Intelligent Autonomous Feature Extraction System Using Two Hardware Spiking Neutral Networks with Spike Timing Dependent Plasticity
US20200057937A1 (en) Electronic apparatus and controlling method thereof
US12123723B2 (en) Electronic apparatus for object recognition and control method thereof
US20190371268A1 (en) Electronic device and control method thereof
CN111989917B (zh) 电子设备及其控制方法
HK40027705B (zh) 用於人工智能的并行神经处理器
HK40027705A (zh) 用於人工智能的并行神经处理器
KR102251858B1 (ko) 딥러닝 기반의 영상분석 방법, 시스템 및 휴대 단말
KR20240108620A (ko) 인공지능 기반으로 지속적인 보청기 관리를 통한 보청기 사용자의 청력 및 사용 환경 분석 기반 사용자 맞춤형 보청기 추천 서비스 제공방법, 장치 및 시스템

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees