[go: up one dir, main page]

TW201706871A - 使用類神經網路處理器計算卷積 - Google Patents

使用類神經網路處理器計算卷積 Download PDF

Info

Publication number
TW201706871A
TW201706871A TW105115861A TW105115861A TW201706871A TW 201706871 A TW201706871 A TW 201706871A TW 105115861 A TW105115861 A TW 105115861A TW 105115861 A TW105115861 A TW 105115861A TW 201706871 A TW201706871 A TW 201706871A
Authority
TW
Taiwan
Prior art keywords
input
excitation
pulsating
array
layer
Prior art date
Application number
TW105115861A
Other languages
English (en)
Other versions
TWI645301B (zh
Inventor
強納森 羅斯
安德魯 艾佛列特 菲而普斯
Original Assignee
咕果公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 咕果公司 filed Critical 咕果公司
Publication of TW201706871A publication Critical patent/TW201706871A/zh
Application granted granted Critical
Publication of TWI645301B publication Critical patent/TWI645301B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明揭示包含編碼在電腦儲存媒體上之電腦程式用於計算一卷積類神經網路層之一層輸出之方法、系統及設備，該方法包括：接收該層輸入，該層輸入包括複數個激發輸入，該複數個激發輸入被表示為包括複數個深度層級之一多維矩陣，每一深度層級係來自該複數個激發輸入之相異激發輸入之一各自矩陣；將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元；對於每一深度層級，將相異激發輸入之該各自矩陣發送至沿該脈動陣列之一第二維度之一相異胞元；引起該脈動陣列自發送至該等胞元之該等各自矩陣產生一累加輸出；及自該累加輸出產生該層輸出。

Description

使用類神經網路處理器計算卷積
本說明書係關於計算硬體中之類神經網路推理。
類神經網路係採用模型之一或多個層以針對一經接收輸入產生一輸出(例如，一分類)之機器學習模型。一些類神經網路除一輸出層之外亦包含一或多個隱藏層。每一隱藏層之輸出用作網路中之下一層(即，網路之下一隱藏層或輸出層)之輸入。網路之每一層根據一各自參數集合之當前值自一經接收輸入產生一輸出。
一些類神經網路包含一或多個卷積類神經網路層。每一卷積類神經網路層具有一相關聯核心集合。每一核心包含由憑藉一使用者產生之一類神經網路模型建立之值。在一些實施方案中，核心識別特定影像輪廓、形狀或色彩。核心可被表示為權重輸入之一矩陣結構。每一卷積層亦可處理一激發輸入集合。該激發輸入集合亦可被表示為一矩陣結構。
一些現有系統在軟體中對一給定卷積層執行計算。例如，軟體可將該層之每一核心應用至該激發輸入集合。即，對於每一核心，軟體可將可多維表示之核心覆疊在可多維表示之激發輸入之一第一部分上方。軟體接著可自經重疊元素計算一點積。點積可對應於一單個激發輸入，例如在經重疊多維空間中具有一左上位置之一激發輸入元素。例如，使用一滑動窗，軟體接著可將核心移位以覆疊激發輸入之 一第二部分並計算對應於另一激發輸入之另一點積。軟體可重複執行此程序直至每一激發輸入具有一對應點積。在一些實施方案中，將點積輸入至一激發函數，該激發函數產生激發值。可在將激發值發送至類神經網路之一後續層之前組合(例如，匯集(pooled))該等激發值。
計算卷積計算之一種方式需要一大尺寸空間中之許多矩陣乘法。一處理器可透過一蠻力方法計算矩陣乘法。例如，雖然為計算密集型及時間密集型，但處理器可針對卷積計算重複地計算個別總和及乘積。處理器將計算平行化之程度歸因於其架構而受限。
一般而言，本說明書描述一種計算類神經網路推理之專用硬體電路。
一般而言，本說明書中描述之標的物之一個發明態樣可以包含使用一二維脈動陣列自一層輸入計算一卷積類神經網路層之一層輸出之動作之方法體現，該卷積類神經網路層具有複數個核心，每一核心具有權重之一各自矩陣結構，該方法包括：接收該層輸入，該層輸入包括複數個激發輸入，該複數個激發輸入被表示為包括複數個深度層級之一多維矩陣，每一深度層級係來自該複數個激發輸入之相異激發輸入之一各自矩陣；將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元；對於每一深度層級，將相異激發輸入之該各自矩陣發送至沿該脈動陣列之一第二維度之一相異胞元；引起該脈動陣列自發送至該等胞元之該等各自矩陣產生一累加輸出；及自該累加輸出產生該層輸出。
實施方案可包含以下特徵之一或多者。該脈動陣列之該第一維度對應於該脈動陣列之行，且其中該脈動陣列之該第二維度對應於該脈動陣列之列。判定該複數個激發輸入之一計數小於該脈動陣列之該第二維度之一大小；將相異激發輸入之一或多個複本矩陣發送至沿該 脈動陣列之該第二維度之未使用胞元。判定該複數個核心之一計數小於該脈動陣列之該第一維度之一大小；將一或多個複本核心矩陣結構發送至沿該脈動陣列之該第一維度之未使用胞元。該卷積類神經網路之一步幅參數大於1，該方法進一步包括：對於每一核心結構重新映射該各自矩陣中之權重以引起該矩陣具有增加數目個深度層級。自該累加輸出產生該層輸出包括正規化及匯集該累加輸出以產生該層輸出。將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元包括：在一給定時脈循環，將該核心矩陣結構中之一第一元素儲存在該脈動陣列之一第一胞元中；及在一後續時脈循環，將該第一胞元中之該第一元素移位至相鄰於該第一胞元之一第二胞元且將該核心矩陣結構中之一第二元素儲存在該第一胞元中。該脈動陣列包括複數個胞元，其中該複數個權重輸入沿該脈動陣列之一第一維度移位穿過第一複數個胞元，且其中該複數個激發輸入沿該脈動陣列之一第二維度移位穿過第二複數個胞元。該複數個胞元中之每一胞元包括：一權重暫存器，其經組態以儲存一權重輸入；一激發暫存器，其經組態以儲存一激發輸入且經組態以將該激發輸入發送至沿該第二維度之一第一相鄰胞元中之另一激發暫存器；一總和輸入(sum-in)暫存器，其經組態以儲存一先前加總值；乘法電路，其耦合至該權重暫存器及該激發暫存器，其中該乘法電路經組態以輸出該權重輸入與該激發輸入之一乘積；及加總電路，其耦合至該乘法電路及該總和輸入暫存器，其中該加總電路經組態以輸出該乘積與該先前加總值之一總和，且其中該加總電路經組態以將該總和發送至沿該第一維度之一第二相鄰胞元中之另一總和輸入暫存器。
本說明書中描述之標的物之特定實施例可經實施以實現以下優點之一或多者。硬體中之一類神經網路處理器可更有效地處理具有卷積層之類神經網路之推理。特定言之，該處理器可使卷積展平 (flatten)，此實現以更少時脈循環進行多個卷積計算之計算。展平可為將一卷積重新塑形至一或多個矩陣乘法中。卷積展平亦處理一類神經網路之一步幅參數而無需額外硬體。又，類神經網路處理器使用控制信號管理卷積展平，且處理器使控制信號移位穿過類神經網路處理器之組件，此無需將控制信號個別地佈線至每一組件。處理器可複製權重輸入、激發輸入或兩者以在一卷積計算中使用，此減少自記憶體存取輸入所消耗之時間並增加並行執行之卷積計算之數目，藉此更有效地處理層。
在以下隨附圖式及描述中陳述本說明書之標的物之一或多項實施例之細節。根據描述、圖式及申請專利範圍將明白標的物之其他特徵、態樣及優點。
100‧‧‧類神經網路
200‧‧‧程序/方法
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
300‧‧‧專用積體電路
302‧‧‧主機介面
304‧‧‧直接記憶體存取引擎
306‧‧‧定序器
308‧‧‧統一緩衝器
310‧‧‧動態記憶體
312‧‧‧矩陣計算單元
314‧‧‧向量計算單元
400‧‧‧架構
402‧‧‧值載入器
404‧‧‧胞元
406‧‧‧二維脈動陣列
408‧‧‧權重擷取器介面
410‧‧‧累加器單元
500‧‧‧架構
502‧‧‧權重暫存器
504‧‧‧總和輸入暫存器
506‧‧‧激發暫存器
508‧‧‧乘法電路
510‧‧‧加總電路
512‧‧‧權重路徑暫存器
600‧‧‧矩陣結構
602‧‧‧深度層級
604‧‧‧深度層級
606‧‧‧深度層級
702‧‧‧深度層
706‧‧‧脈動陣列
710‧‧‧核心
800‧‧‧圖解
802‧‧‧第一時脈循環
804‧‧‧時脈循環
806‧‧‧第三時脈循環
900‧‧‧方法
902‧‧‧步驟
904‧‧‧步驟
906‧‧‧步驟
908‧‧‧步驟
910‧‧‧步驟
圖1展示具有多個層之一例示性類神經網路。
圖2係用於對一類神經網路之一給定層執行一計算之一例示性方法之一流程圖。
圖3展示一例示性類神經網路處理系統。
圖4展示包含一矩陣計算單元之一例示性架構。
圖5展示一脈動陣列內部之一胞元之一例示性架構。
圖6展示具有空間維度及一特徵維度之一例示性矩陣結構。
圖7展示如何將一核心矩陣結構發送至一脈動陣列之一例示性圖解。
圖8展示在三個時脈循環之後胞元內部之權重輸入之一例示性圖解。
圖9係用於計算一卷積類神經網路層之一層輸出之一例示性方法之一流程圖。
各個圖式中之相同元件符號及名稱指示相同元件。
具有多個層之一類神經網路可用於計算推理。例如，給定一輸入，類神經網路可計算針對輸入之一推理。類神經網路藉由透過類神經網路之層之各者處理輸入而計算此推理。特定言之，類神經網路層係以一序列配置，每一層具有一各自權重集合。每一層接收一輸入並根據層之權重集合處理輸入以產生一輸出。
因此，為自一經接收輸入計算一推理，類神經網路接收輸入並透過該序列中之類神經網路層之各者處理該輸入以產生推理，其中來自一個類神經網路層之輸出被提供為下一類神經網路層之輸入。至一類神經網路層之資料輸入(例如，至類神經網路之輸入或低於該序列中之層的層之輸出)可稱作至層之激發輸入。激發輸入可被表示為激發值之一矩陣結構。下文參考圖6進一步描述此矩陣結構。
在一些實施方案中，類神經網路之層依一有向圖予以配置。即，任何特定層可接收多個輸入、多個輸出或兩者。類神經網路之層亦可經配置使得一層之一輸出可作為一輸入發送回至一先前層。在一些實施方案中，類神經網路層之至少一者係一卷積層。
圖1展示具有多個層之一例示性類神經網路100。每一層可處理一特定大小之一輸入並產生另一大小之一輸出。藉由圖解，層1可處理一170 x 170 x 3影像並輸出激發值之一28 x 28 x 96矩陣。激發值之28 x 28 x 96矩陣由層2至6處理，且層6之輸出可用於產生類神經網路之一推理。層1至3可為卷積層。下文將參考圖6進一步描述此等矩陣。
如上所述，一卷積類神經網路層可具有核心之一相關聯集合。每一核心包含一權重輸入集合，該權重輸入集合在施加至該層之激發輸入時可引起產生激發值，該等激發值可用於產生該層之一輸出。在一些實施方案中，將權重輸入施加至激發輸入包含執行每一權重輸入 與激發輸入之一部分之一點積。
下文將參考圖7進一步描述對一卷積層計算激發值(例如，激發值之28 x 28 x 96矩陣)。
圖2係用於使用一專用硬體電路對一類神經網路之一給定層計算一計算之一例示性程序200之一流程圖。為了方便起見，將關於具有執行方法200之一或多個電路之一系統描述方法200。可對類神經網路之每一層執行程序200以自一經接收輸入計算一推理。
系統接收權重輸入集合(步驟202)及激發輸入集合(步驟204)用於給定層。可分別自專用硬體電路之動態記憶體及一統一緩衝器(unified buffer)接收權重輸入集合及激發輸入集合。在一些實施方案中，可自統一緩衝器接收權重輸入集合及激發輸入集合兩者。
系統使用專用硬體電路之一矩陣乘法單元自權重輸入及激發輸入產生累加值(步驟206)。在一些實施方案中，累加值係權重輸入集合與激發輸入集合之點積。即，對於一個權重集合，系統可將每一權重輸入與每一激發輸入相乘並將乘積相加在一起以形成一累加值。系統可接著計算其他權重集合與其他激發輸入集合之點積。此將在下文參考圖7進一步描述。
系統可使用專用硬體電路之一向量計算單元自累加值產生一層輸出(步驟208)。在一些實施方案中，向量計算單元將一激發函數應用至累加值。層之輸出可經儲存在統一緩衝器中以用作至類神經網路中之一後續層之一輸入或可用於判定推理。當一經接收輸入已透過類神經網路之每一層處理以產生經接收輸入之推理時，系統完成處理類神經網路。
圖3展示用於執行類神經網路計算之一例示性專用積體電路300。系統300包含一主機介面302。主機介面302可接收包含用於一類神經網路計算之參數之指令。參數可包含以下至少一或多項：應處理 的層之數目、用於層之每一層之對應權重輸入集合、一初始激發輸入集合(即，至類神經網路之輸入(推理由其計算))、每一層之對應輸入及輸出大小、用於類神經網路計算之一步幅值及待處理之層之一類型(例如，一卷積層或一完全連接層)。
主機介面302可將指令發送至一定序器306，該定序器306將指令轉換為控制電路以執行類神經網路計算之低階控制信號。在一些實施方案中，控制信號調節電路中之資料流(例如，權重輸入集合及激發輸入集合如何流動通過電路)。定序器306可將控制信號發送至一統一緩衝器308、一矩陣計算單元312及一向量計算單元314。
在一些實施方案中，定序器306亦將控制信號發送至一直接記憶體存取引擎304及動態記憶體310。在一些實施方案中，定序器306係產生時脈信號之一處理器。定序器306可使用時脈信號之時序以在適當時間將控制信號發送至電路300之每一組件。在一些其他實施方案中，主機介面302接受來自一外部處理器之一時脈信號。
主機介面302可將權重輸入集合及初始激發輸入集合發送至直接記憶體存取引擎304。直接記憶體存取引擎304可將激發輸入集合儲存在統一緩衝器308處。在一些實施方案中，直接記憶體存取將權重集合儲存至動態記憶體310，該動態記憶體310可為一記憶體單元。在一些實施方案中，動態記憶體經定位遠離電路。
統一緩衝器308係一記憶體緩衝器。其可用於儲存來自直接記憶體存取引擎304之激發輸入集合及向量計算單元314之輸出。直接記憶體存取引擎304亦可自統一緩衝器308讀取向量計算單元314之輸出。
動態記憶體310及統一緩衝器308可分別將權重輸入集合及激發輸入集合發送至矩陣計算單元312。在一些實施方案中，矩陣計算單元312係二維脈動陣列。矩陣計算單元312亦可為一維脈動陣列或可執行數學運算(例如，乘法及加法)之其他電路。在一些實施方案中，矩 陣計算單元312係一通用矩陣處理器。下文將參考圖4及圖5更詳細地描述矩陣計算單元312。
矩陣計算單元312可處理權重輸入及激發輸入並將輸出之一向量提供至向量計算單元314。在一些實施方案中，矩陣計算單元將輸出之向量發送至統一緩衝器308，該統一緩衝器308將輸出之向量發送至向量計算單元314。向量計算單元可處理輸出之向量並將經處理輸出之一向量儲存至統一緩衝器308。例如，向量計算單元314可將一非線性函數應用至矩陣計算單元之輸出(例如，累加值之一向量)以產生激發值。在一些實施方案中，向量計算單元314產生正規化值、匯集值或兩者。經處理輸出之向量可用作至矩陣計算單元312之激發輸入(例如，用於類神經網路中之一後續層)。
圖4展示包含一矩陣計算單元之一例示性架構400。矩陣計算單元係二維脈動陣列406。陣列406包含多個胞元404。在一些實施方案中，脈動陣列406之一第一維度420對應於胞元之行，且脈動陣列406之一第二維度422對應於胞元之列。脈動陣列具有的列可多於行、具有的行可多於列或具有的行及列的數目相等。
在經圖解說明之實例中，值載入器402將激發輸入發送至陣列406之列且一權重擷取器介面408將權重輸入發送至陣列406之行。然而，在一些其他實施方案中，將激發輸入傳送至陣列406之行且將權重輸入傳送至陣列406之列。
值載入器402可自一統一緩衝器(例如，圖3之統一緩衝器308)接收激發輸入。每一值載入器可將一對應激發輸入發送至陣列406之一相異最左胞元。最左胞元可為沿陣列406之一最左行之一胞元。例如，值載入器412可將一激發輸入發送至胞元414。值載入器亦可將激發輸入發送至一相鄰值載入器，且可在陣列406之另一最左胞元處使用激發輸入。此允許激發輸入移位以在陣列406之另一特定胞元中使 用。
權重擷取器介面408可自一記憶體單元(例如，圖3之動態記憶體310)接收權重輸入。權重擷取器介面408可將一對應權重輸入發送至陣列406之一相異最頂部胞元。最頂部胞元可為沿陣列406之一最頂部列之一胞元。例如，權重擷取器介面408可將權重輸入發送至胞元414及416。
在一些實施方案中，一主機介面(例如，圖3之主機介面302)使激發輸入沿一個維度移位(例如，移位至右側)貫穿陣列406，同時使權重輸入沿另一維度移位(例如，移位至底部)貫穿陣列406。例如，在一個時脈循環中，胞元414處之激發輸入可移位至胞元416(其在胞元414右側)中之一激發暫存器。類似地，胞元414處之權重輸入可移位至胞元418(其在胞元414下方)處之一權重暫存器。
在每一時脈循環，每一胞元可處理一給定權重輸入及一給定激發輸入以產生一累加輸出。累加輸出亦可被傳遞至沿與給定權重輸入相同之維度之一相鄰胞元。下文參考圖5進一步描述一個別胞元。
累加輸出可沿與權重輸入相同之行傳遞(例如，朝向陣列406中之行之底部)。在一些實施方案中，在每一行之底部處，陣列406可包含累加器單元410，其在利用權重輸入多於行之層或激發輸入多於列之層執行計算時儲存並累加來自每一行之每一累加輸出。在一些實施方案中，每一累加器單元儲存多個並行累加。累加器單元410可累加每一累加輸出以產生一最終累加值。最終累加值可被傳送至一向量計算單元(例如，圖2之向量計算單元214)。在一些其他實施方案中，累加器單元410將累加值傳遞至向量計算單元而未在處理權重輸入少於行之層或激發輸入少於列之層時執行任何累加。
圖5展示一脈動陣列(例如，圖4之脈動陣列406)內部之一胞元之一例示性架構500。
胞元可包含儲存一激發輸入之一激發暫存器506。激發暫存器可取決於胞元在脈動陣列內之位置自一左側相鄰胞元(即，定位於給定胞元左側之一相鄰胞元)或自一統一緩衝器接收激發輸入。胞元可包含儲存一權重輸入之一權重暫存器502。取決於胞元在脈動陣列內之位置，可自一頂部相鄰胞元或自一權重提取器介面傳送權重輸入。胞元亦可包含一總和輸入(sum in)暫存器504。總和輸入暫存器504可儲存來自頂部相鄰胞元之一累加值。乘法電路508可用於將來自權重暫存器502之權重輸入與來自激發暫存器506之激發輸入相乘。乘法電路508可將乘積輸出至加總電路510。
加總電路可將乘積與來自總和輸入暫存器504之累加值加總以產生一新累加值。加總電路510接著可將新累加值發送至定位於一底部相鄰胞元中之另一總和輸入暫存器。新累加值可用作底部相鄰胞元中之一加總之一運算元。
在一些實施方案中，胞元使用一總和輸出暫存器而非使用總和輸入暫存器504。即，總和輸出暫存器可儲存加總電路510之一輸出且可將輸出傳遞至一相鄰胞元。胞元亦可將權重輸入及激發輸入移位至相鄰胞元以進行處理。例如，權重暫存器502可將權重輸入發送至底部相鄰胞元中之另一權重暫存器。激發暫存器506可將激發輸入發送至右側相鄰胞元中之另一激發暫存器。因此可在一後續時脈循環由陣列中之其他胞元重複使用權重輸入及激發輸入兩者。
在一些實施方案中，胞元亦包含一控制暫存器。控制暫存器可儲存一控制信號，該控制信號判定胞元是否應將權重輸入或激發輸入移位至相鄰胞元。在一些實施方案中，將權重輸入或激發輸入移位花費一或多個時脈循環。控制信號亦可判定是否將激發輸入或權重輸入傳送至乘法電路508或可判定乘法電路508是否對激發及權重輸入操作。控制信號亦可(例如)使用一導線傳遞至一或多個相鄰胞元。
在一些實施方案中，將權重預移位至一權重路徑暫存器512中。權重路徑暫存器512可(例如)自一頂部相鄰胞元接收權重輸入，並基於控制信號將權重輸入傳送至權重暫存器502。權重暫存器502可靜態地儲存權重輸入使得在多個時脈循環中，當激發輸入(例如)透過激發暫存器506傳送至胞元時，權重輸入保留在胞元內且並未被傳送至一相鄰胞元。因此，可(例如)使用乘法電路508將權重輸入施加至多個激發輸入，且可將各自累加值傳送至一相鄰胞元。
如上所述，對於一給定類神經網路層，脈動陣列使用二維矩陣乘法對該層執行運算。
為有效地使用脈動陣列執行卷積計算，類神經網路處理器將具有大尺寸空間(其等通常為卷積計算所需)之矩陣乘法平行化。特定言之，類神經網路處理器可將矩陣「展平」。藉由圖解，類神經網路程序可將一激發輸入集合展平。例如，可將該激發輸入集合表示為一3D矩陣。可將3D矩陣視覺化為2D矩陣之一堆疊。接著可將每一2D矩陣發送至脈動陣列之一列。接著可將核心發送至脈動陣列之行，且脈動陣列接著可使用核心以對每一2D矩陣同時執行許多計算，藉此將一卷積計算平行化。此將在下文參考圖6至8進一步描述。
圖6展示具有空間維度及一特徵維度之一例示性矩陣結構600。矩陣結構600可表示一激發輸入集合或一權重輸入集合。用於一激發輸入集合之一矩陣結構在本說明書中將稱為一激發矩陣結構，且用於一權重輸入集合之一矩陣結構在本說明書中將稱為一核心矩陣結構。矩陣結構600具有三個維度：兩個空間維度及一個特徵維度。
在一些實施方案中，空間維度對應於一激發輸入集合之一空間或位置。例如，若類神經網路正處理一影像(其具有兩個維度)，則矩陣結構可具有兩個空間維度，其等對應於影像之空間座標(即，XY座標)。
特徵維度對應於來自一激發輸入之特徵。每一特徵維度可具有深度層級；例如，矩陣結構600具有深度層級602、604及606。藉由圖解，若矩陣結構600表示作為一激發輸入集合發送至一第一層之一3 x 3 x 3影像，則影像(3 x 3)之X及Y維度可為空間維度，且Z維度(3)可為對應於R、G及B值之特徵維度。即，深度層級602可對應於九個「1」激發輸入(例如，紅色值)之一特徵，深度層級604可對應於九個「2」激發輸入(例如，綠色值)之一特徵，且深度層級606可對應於九個「3」激發輸入(例如，藍色值)之一特徵。
雖然圖6之實例中僅圖解說明用於特徵維度之三個深度層級，但是一給定特徵維度可具有大量(例如數百個)特徵維度。類似地，雖然僅圖解說明一個特徵維度，但一給定矩陣結構可具有多個特徵維度。
為使用矩陣結構600對卷積層執行計算，系統必須將卷積計算轉換為二維矩陣乘法。
圖7展示如何藉由一脈動陣列706在一給定卷積層處處理圖6之一矩陣結構600之一例示性圖解。矩陣結構600可為一激發輸入集合。通常，類神經網路處理器可將激發輸入(例如，矩陣結構600內之元素)及權重輸入(例如，核心A至D 710)分別發送至陣列之列及行。激發及權重輸入可分別被移位至脈動陣列之右側及底部，且必須到達一特定位置，例如，一特定胞元處之一特定暫存器。一旦(例如，經由控制信號)判定輸入處在適當位置中，處理器便可使用儲存在胞元內之輸入執行計算以產生給定層的輸出。
類神經網路處理器在將結構600之部分發送至脈動陣列之列之前使矩陣結構600「展平」，如上文描述。即，類神經網路處理器可分裂矩陣結構600之深度層702(例如圖6之深度層602、604及606)且將每一深度層發送至一相異胞元。在一些實施方案中，將每一深度層發送至脈動陣列706之一不同列上之一胞元。例如，處理器可將來自一第一 深度層之激發輸入(例如，九個「1」激發輸入之一矩陣)發送至脈動陣列706之一第一列處之一最左胞元，將來自一第二深度層之激發輸入(例如，九個「2」激發輸入之一矩陣)發送至一第二列處之一最左胞元，將來自一第三深度層之激發輸入(例如，九個「3」激發輸入之一矩陣)發送至一第三列處之一最左胞元，以此類推。
給定層可具有多個核心(例如，核心A至D 710)。核心A至D 710可具有尺寸3 x 3 x 10之矩陣結構。處理器可將每一核心矩陣結構發送至脈動陣列706之一相異行處之一胞元。例如，可將核心A發送至一第一行中之一頂部胞元，可將核心B發送至一第二行中之一頂部胞元，以此類推。
當將一矩陣結構發送至一胞元時，可在一個時脈循環期間將矩陣之一第一元素儲存在胞元中。在下一時脈循環，可將下一元素儲存在胞元中。經儲存之第一元素可如上文參考圖5描述般移位至一相鄰胞元。輸入可繼續移位直至將矩陣結構之所有元素儲存在脈動陣列706中。激發輸入及權重輸入兩者可在一或多個時脈循環之後移位遍及每一胞元。將在下文參考圖8進一步描述脈動陣列內之輸入之移位。
在一些實施方案中，脈動陣列706具有極多個列及極多個行，例如256列及256行。若類神經網路之一給定層具有的權重輸入集合少於脈動陣列706中之行，則處理器可為權重核心集合複製一或多個矩陣結構並將經複製矩陣結構發送至陣列706之未使用行。若給定層具有的激發輸入集合少於陣列中之行，則處理器可為激發輸入集合複製一或多個矩陣結構並將經複製矩陣結構發送至陣列706之未使用列。藉由複製激發輸入集合或權重輸入集合或其二者，處理器可並行執行多個卷積計算。
在一些實施方案中，處理器將矩陣結構之一第一部分發送至一 列或行，且將矩陣結構之一第二部分發送至另一列或行。第二部分可與第一部分之一部分重疊，且在一X或Y方向上偏移1。例如，對於具有5 x 5之一大小之一核心矩陣結構，處理器可將一第一2 x 2部分發送至脈動陣列706之一特定行。處理器可將一第二2 x 2部分發送至另一行。第二部分可為第一部分，但在X方向上移位1(例如，移位至右側)。處理器可將第二部分發送至陣列之一未使用行。處理器可繼續將矩陣結構之部分發送至陣列之未使用行，且處理器可對每一部分執行卷積計算。
在一些實施方案中，處理器追蹤哪些部分已被發送至脈動陣列706之哪些行。例如，對於發送至一列或行之每一部分，處理器可將一列或行位址及至矩陣結構之部分之一讀取位址之一偏移儲存在一統一緩衝器中。
圖8展示在三個時脈循環之後一例示性3 x 3脈動陣列之胞元內部之權重輸入之一例示性圖解800。每一胞元可儲存一權重輸入及一激發輸入，如上文參考圖5描述。可將權重輸入發送至脈動陣列之相異行處之胞元以進行卷積計算，如上文參考圖7描述。藉由圖解，系統將具有1、2及4之權重輸入之一第一核心矩陣結構發送至脈動陣列之一第一行。系統將具有3、5及7之權重輸入之一第二核心矩陣結構發送至一第二行。系統將具有6、8及10之權重輸入之一第三核心矩陣結構發送至一第三行。在每個時脈循環之後，權重輸入可在一個維度中(例如，自頂部至底部)移位，而激發輸入可在另一維度中(例如，自左至右)移位(未圖解說明)。
權重輸入可以一交錯方式儲存在胞元內。即，在一第一時脈循環802之後脈動陣列之一狀態在一左上胞元內部展示一「1」。「1」表示儲存在胞元中之權重輸入「1」。在下一時脈循環804處，「1」移位至左上胞元下方之一胞元，且來自核心之另一權重輸入「2」儲存在 左上胞元中且一權重輸入「3」儲存在一第二行處之一最頂部胞元處。
在一第三時脈循環806上，每一權重再次移位。在第一行中，一最底部胞元儲存「1」權重輸入，「2」權重輸入儲存於在先前循環儲存「1」權重輸入之處，且一「4」權重輸入儲存在最左上胞元中。類似地，在第二行中，「3」向下移位，且一「5」權重輸入儲存在頂部-中間胞元中。在第三行中，一「6」權重輸入儲存在最右上胞元中。
在一些實施方案中，用於權重輸入且判定權重輸入是否應移位之一控制信號亦連同權重輸入一起移位。
激發輸入可以一類似方式在其他維度中(例如，自左至右)移位。
一旦激發輸入及權重輸入處在適當位置中，處理器便可(例如)藉由使用胞元內之乘法及加總電路執行一卷積計算，以產生待在一向量計算單元中使用之一累加值集合。
雖然已描述其中將權重輸入發送至陣列之行且將激發輸入發送至陣列之列之系統，但在一些實施方案中，將權重輸入發送至陣列之列且將激發輸入發送至陣列之行。
在一些實施方案中，一類神經網路模型具有大於1之一步幅參數。處理器可藉由將激發輸入及權重輸入之矩陣結構轉換為具有一較大特徵維度及較小空間維度之各自經置換矩陣結構而以該步幅參數執行計算。
在一些實施方案中，當處理影像時，處理器置換(即，重新映射)激發矩陣結構以具有以下大小：CEIL(X/X_stride) x CEIL(Y/Y_stride) x (Sizeof(RGB) * X_stride * Y_stride)，其中X及Y係矩陣結構維度之大小，X_stride及Y_stride係步幅參數，且Sizeof(RGB)係3。核心矩陣結構亦可使用相同公式置換。例如，若步幅參數係2 x 2，激發矩陣結構最初係170 x 170 x 3且核心矩陣結構係7 x 7 x 3，則經置 換激發矩陣結構可為85 x 85 x 12且經置換核心矩陣結構可為4 x 4 x 12。
激發及核心矩陣結構之座標可使用以下公式映射至經置換座標：[CEIL(X/2),CEIL(Y/2),Z+3 * (X % 2)+6 * (Y % 2)]，其中X、Y及Z表示各自矩陣結構中之一座標。其他公式可包含[CEIL(X/2),CEIL(Y/2),Z+3 * (Y % 2)+6 * (X % 2)]或[CEIL(X/2),CEIL(Y/2),2 * Z+(X % 2)+6 * (Y % 2)]。
圖9係用於計算一卷積類神經網路層之一層輸出之一例示性方法之一流程圖。為了方便起見，將關於具有執行方法900之一或多個電路(例如，圖3之電路300)之一系統描述方法900。可對類神經網路之每一卷積層執行方法900以自一經接收輸入計算一推理。
如上所述，一卷積類神經網路層可具有一核心集合，且每一核心可被表示為權重之一矩陣結構。
該系統可自一影像接收一層輸入(例如，資料)(步驟902)。層輸入可被表示為具有多個深度層級之一多維矩陣，如上文在圖6之矩陣結構600中所描述。
該系統可將每一核心矩陣結構發送至沿該系統內之一脈動陣列之一第一維度之一相異胞元(步驟904)。在一些實施方案中，沿第一維度之胞元係沿陣列之行定位之胞元。例如，一給定核心矩陣結構可被轉換為元素之一向量，且每一元素可如上文參考圖8描述般移位穿過脈動陣列之一行。
對於每一深度層級，該系統可將相異激發輸入之各自矩陣發送至沿脈動陣列之一第二維度之一相異胞元(步驟906)。此在上文參考圖7進行描述。在一些實施方案中，沿第二維度之相異胞元係沿陣列之列定位之胞元。一特定深度層級處之激發輸入可被轉換為元素之一向量，且每一元素可如上文參考圖8描述般移位穿過脈動陣列之一 列。
如上文參考圖4所描述，該系統可引起脈動陣列自發送至胞元之各自矩陣產生一累加輸出(步驟908)。
該系統可如上文參考圖3至4所述般自累加輸出產生層輸出(步驟910)。
本說明書中描述之標的物及功能操作之實施例可在數位電子電路、有形體現電腦軟體或韌體、電腦硬體(包含本說明書中揭示之結構及其等結構等效物)或其等之一或多者之組合中實施。本說明書中描述之標的物之實施例可被實施為一或多個電腦程式(即，編碼在一有形非暫時性程式載體上用於由資料處理設備執行或控制資料處理設備之操作之電腦程式指令之一或多個模組)。替代地或此外，可將程式指令編碼在經產生以編碼傳輸至適合接收器設備以由一資料處理設備執行之資訊之一人工產生之傳播信號(例如，一機器產生之電、光學或電磁信號)上。電腦儲存媒體可為一機器可讀儲存裝置、一機器可讀儲存基板、一隨機或串列存取記憶體裝置或其等之一或多者之一組合。
術語「資料處理設備」涵蓋用於處理資料之所有種類的設備、裝置及機器，包含(例如)一可程式化處理器、一電腦或多個處理器或電腦。該設備可包含專用邏輯電路，例如FPGA(場可程式化閘陣列)或ASIC(專用積體電路)。除硬體之外，該設備亦可包含針對討論中的電腦程式產生一執行環境之程式碼，例如，構成處理器韌體、一協定堆疊、一資料庫管理系統、一作業系統或其等之一或多者之一組合之程式碼。
一電腦程式(其亦可稱為或描述為一程式、軟體、一軟體應用程式、一模組、一軟體模組、一指令檔或程式碼)可以任何形式的程式設計語言(包含編譯或解譯語言或宣告或程序語言)寫入且其可以任何 形式部署(包含部署為一獨立程式或一模組、組件、子常式或適用於在一計算環境中使用之其他單元)。一電腦程式可(但不一定)對應於一檔案系統中之一檔案。一程式可被儲存在保存其他程式或資料(例如，儲存在一標記語言文件中之一或多個指令檔)之一檔案之一部分中，儲存在專用於討論中的程式之一單個檔案或多個協調檔案(例如，儲存一或多個模組、子程式或程式碼部分之檔案)中。一電腦程式可經部署以在一個電腦上執行或在定位於一個站點處或跨多個站點分佈且由一通信網路互連之多個電腦上執行。
本說明書中描述之程序及邏輯流程可由執行一或多個電腦程式之一或多個可程式化電腦執行以藉由對輸入資料操作且產生輸出而執行功能。程序及邏輯流程亦可由以下各者執行且設備亦可實施為以下各者：專用邏輯電路，例如，FPGA(場可程式化閘陣列)或ASIC(專用積體電路)。
適用於執行一電腦程式之電腦包含(例如)、可基於通用或專用微處理器或兩者或任何其他種類的中央處理單元。一般而言，一中央處理單元將自一唯讀記憶體或一隨機存取記憶體或兩者接收指令及資料。一電腦之必要元件係用於執行指令之一中央處理單元及用於儲存指令及資料之一或多個記憶體裝置。一般而言，一電腦亦將包含用於儲存資料之一或多個大容量儲存裝置(例如，磁碟、磁光碟或光碟)或可操作地耦合以自該一或多個大容量儲存裝置接收資料或將資料傳送至該一或多個大容量儲存裝置或兩者。然而，一電腦無需具有此等裝置。此外，一電腦可嵌入另一裝置中，例如行動電話、個人數位助理(PDA)、行動音訊或視訊播放器、遊戲控制台、全球定位系統(GPS)接收器或可攜式儲存裝置(例如通用串列匯流排(USB)快閃磁碟機)(僅舉幾例)。
適於儲存電腦程式指令及資料之電腦可讀媒體包含所有形式之 非揮發性記憶體、媒體及記憶體裝置，包含(例如)：半導體記憶體裝置，例如，EPROM、EEPROM及快閃記憶體裝置；磁碟，例如內部硬碟或可抽換式磁碟；磁光碟；及CD-ROM及DVD-ROM光碟。處理器及記憶體可由專用邏輯電路補充或併入至專用邏輯電路中。
為發送與一使用者之互動，可在具有用於將資訊顯示給使用者之一顯示裝置(例如，一CRT(陰極射線管)或LCD(液晶顯示器)監視器)及一鍵盤及使用者可藉由其將輸入發送至電腦之一指標裝置(例如，一滑鼠或一軌跡球)之一電腦上實施本說明書中所描述之標的物之實施例。其他種類之裝置亦可用以發送與一使用者之互動；例如，提供至使用者之回饋可係任何形式之感官回饋，例如視覺回饋、聽覺回饋或觸覺回饋；來自使用者之輸入可以任何形式接收，包含聲學、語音或觸覺輸入。此外，一電腦可藉由將文件發送至由一使用者使用之一裝置或自該裝置接收文件而與該使用者互動；例如，藉由回應於自一使用者之用戶端裝置上之一網頁瀏覽器接收之請求將網頁發送至該網頁瀏覽器。
可在包含一後端組件(例如作為一資料伺服器)或包含一中間軟體組件(例如一應用程式伺服器)或包含一前端組件(例如，具有一圖形使用者介面或一使用者可透過其與本說明書中所描述之標的物之一實施方案互動之一網頁瀏覽器之一用戶端電腦)或一或多個此等後端、中間軟體或前端組件之任何組合之一電腦系統中實施本說明書中所描述之標的物之實施例。系統之組件可藉由數位資料通信(例如，一通信網路)之任何形式或媒體互連。通信網路之實例包含一區域網路(「LAN」)及一廣域網路(「WAN」)，例如，網際網路。
計算系統可包含用戶端及伺服器。用戶端及伺服器通常彼此遠離且通常透過一通信網路互動。用戶端與伺服器之關係由運行於各自電腦上且彼此具有一用戶端-伺服器關係之電腦程式引起。
雖然本說明書含有諸多特定實施方案細節，但不應將此等細節理解為對任何發明或可主張之內容之範疇之限制，而應理解為特定發明之特定實施例所特有之特徵之描述。亦可在一單一實施例中組合實施在本說明書中在單獨實施例之上下文中所描述之特定特徵。相反地，亦可在多項實施例中單獨地實施或以任何適合子組合實施在一單一實施例之上下文中所描述之各種特徵。此外，儘管在上文可將特徵描述為以特定組合起作用且甚至最初如此主張，然來自一經主張組合之一或多個特徵可在一些情況中自該組合刪除且該經主張組合可關於一子組合或一子組合之變動。
類似地，雖然在圖式中依一特定順序描繪操作，但此不應理解為要求依所展示之特定順序或循序順序執行此等操作，或執行全部經圖解說明之操作以達成所要結果。在某些情況中，多任務處理及平行處理可為有利的。此外，不應將上文所描述之實施例中之各種系統模組及組件之分離理解為在所有實施例中需要此分離，且應理解，通常可將所描述之程式組件及系統一起整合於一單一軟體產品中或封裝至多個軟體產品中。
已描述標的物之特定實施例。其他實施例係在以下申請專利範圍之範疇內。例如，敘述於申請專利範圍中之動作可以一不同順序執行且仍達成所要結果。作為一實例，在附圖中描繪之程序不一定需要所展示之特定順序或循序順序以達成所要結果。在特定實施方案中，多任務及平行處理可係有利的。
900‧‧‧方法
902‧‧‧步驟
904‧‧‧步驟
906‧‧‧步驟
908‧‧‧步驟
910‧‧‧步驟

Claims (27)

  1. 一種用於使用一二維脈動陣列自一層輸入計算一卷積類神經網路層之一層輸出之方法，該卷積類神經網路層具有複數個核心，每一核心具有權重之一各自矩陣結構，該方法包括：接收該層輸入，該層輸入包括複數個激發輸入，該複數個激發輸入被表示為包括複數個深度層級之一多維矩陣，每一深度層級係來自該複數個激發輸入之相異激發輸入之一各自矩陣；將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元；對於每一深度層級，將相異激發輸入之該各自矩陣發送至沿該脈動陣列之一第二維度之一相異胞元；引起該脈動陣列自發送至該等胞元之該等各自矩陣產生一累加輸出；及自該累加輸出產生該層輸出。
  2. 如請求項1之方法，其中該脈動陣列之該第一維度對應於該脈動陣列之行，且其中該脈動陣列之該第二維度對應於該脈動陣列之列。
  3. 如請求項1或2之方法，其進一步包括：判定該複數個深度層級之一計數小於該脈動陣列之該第二維度之一大小；將相異激發輸入之一或多個複本矩陣發送至沿該脈動陣列之該第二維度之未使用胞元。
  4. 如請求項1或2之方法，其進一步包括：判定該複數個核心之一計數小於該脈動陣列之該第一維度之一大小； 將一或多個複本核心矩陣結構發送至沿該脈動陣列之該第一維度之未使用胞元。
  5. 如請求項1或2之方法，其中該卷積類神經網路之一步幅參數大於1，該方法進一步包括：對於每一核心結構，重新映射該各自矩陣中之權重以引起該矩陣具有增加數目個深度層級。
  6. 如請求項1或2之方法，其中自該累加輸出產生該層輸出包括：正規化及匯集該累加輸出以產生該層輸出。
  7. 如請求項1或2之方法，其中將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元包括：在一給定時脈循環，將該核心矩陣結構中之一第一元素儲存在該脈動陣列之一第一胞元中；及在一後續時脈循環，將該第一胞元中之該第一元素移位至相鄰於該第一胞元之一第二胞元且將該核心矩陣結構中之一第二元素儲存在該第一胞元中。
  8. 如請求項1或2之方法，其中該脈動陣列包括複數個胞元，其中該複數個權重輸入沿該脈動陣列之一第一維度移位穿過第一複數個胞元，且其中該複數個激發輸入沿該脈動陣列之一第二維度移位穿過第二複數個胞元。
  9. 如請求項8之方法，其中該複數個胞元中之每一胞元包括：一權重暫存器，其經組態以儲存一權重輸入；一激發暫存器，其經組態以儲存一激發輸入且經組態以將該激發輸入發送至沿該第二維度之一第一相鄰胞元中之另一激發暫存器；一總和輸入暫存器，其經組態以儲存一先前加總值；乘法電路，其耦合至該權重暫存器及該激發暫存器，其中該 乘法電路經組態以輸出該權重輸入與該激發輸入之一乘積；及加總電路，其耦合至該乘法電路及該總和輸入暫存器，其中該加總電路經組態以輸出該乘積與該先前加總值之一總和，且其中該加總電路經組態以將該總和發送至沿該第一維度之一第二相鄰胞元中之另一總和輸入暫存器。
  10. 一種用於使用一二維脈動陣列自一層輸入計算一卷積類神經網路層之一層輸出之系統，該卷積類神經網路層具有複數個核心，每一核心具有權重之一各自矩陣結構，該系統包括：一或多個電腦；及電腦可讀媒體，其耦合至該一或多個電腦且其上儲存有指令，該等指令在由該一或多個電腦執行時引起該一或多個電腦執行包括以下各者之操作：接收該層輸入，該層輸入包括複數個激發輸入，該複數個激發輸入被表示為包括複數個深度層級之一多維矩陣，每一深度層級係來自該複數個激發輸入之相異激發輸入之一各自矩陣；將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元；對於每一深度層級，將相異激發輸入之該各自矩陣發送至沿該脈動陣列之一第二維度之一相異胞元；引起該脈動陣列自發送至該等胞元之該等各自矩陣產生一累加輸出；及自該累加輸出產生該層輸出。
  11. 如請求項10之系統，其中該脈動陣列之該第一維度對應於該脈動陣列之行，且其中該脈動陣列之該第二維度對應於該脈動陣列之列。
  12. 如請求項10或11之系統，其進一步包括：判定該複數個深度層級之一計數小於該脈動陣列之該第二維度之一大小；將相異激發輸入之一或多個複本矩陣發送至沿該脈動陣列之該第二維度之未使用胞元。
  13. 如請求項10或11之系統，其進一步包括：判定該複數個核心之一計數小於該脈動陣列之該第一維度之一大小；將一或多個複本核心矩陣結構發送至沿該脈動陣列之該第一維度之未使用胞元。
  14. 如請求項10或11之系統，其中該卷積類神經網路之一步幅參數大於1，該方法進一步包括：對於每一核心結構，重新映射該各自矩陣中之權重以引起該矩陣具有增加數目個深度層級。
  15. 如請求項10或11之系統，其中自該累加輸出產生該層輸出包括：正規化及匯集該累加輸出以產生該層輸出。
  16. 如請求項10或11之系統，其中將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元包括：在一給定時脈循環，將該核心矩陣結構中之一第一元素儲存在該脈動陣列之一第一胞元中；及在一後續時脈循環，將該第一胞元中之該第一元素移位至相鄰於該第一胞元之一第二胞元且將該核心矩陣結構中之一第二元素儲存在該第一胞元中。
  17. 如請求項10或11之系統，其中該脈動陣列包括複數個胞元，其中該複數個權重輸入沿該脈動陣列之一第一維度移位穿過第一複數個胞元，且其中該複數個激發輸入沿該脈動陣列之一第二維 度移位穿過第二複數個胞元。
  18. 如請求項17之系統，其中該複數個胞元中之每一胞元包括：一權重暫存器，其經組態以儲存一權重輸入；一激發暫存器，其經組態以儲存一激發輸入且經組態以將該激發輸入發送至沿該第二維度之一第一相鄰胞元中之另一激發暫存器；一總和輸入暫存器，其經組態以儲存一先前加總值；乘法電路，其耦合至該權重暫存器及該激發暫存器，其中該乘法電路經組態以輸出該權重輸入與該激發輸入之一乘積；及加總電路，其耦合至該乘法電路及該總和輸入暫存器，其中該加總電路經組態以輸出該乘積與該先前加總值之一總和，且其中該加總電路經組態以將該總和發送至沿該第一維度之一第二相鄰胞元中之另一總和輸入暫存器。
  19. 一種其上儲存有指令之電腦可讀媒體，該等指令在由一或多個電腦執行時引起該一或多個電腦執行用於使用一二維脈動陣列自一層輸入計算一卷積類神經網路層之一層輸出之操作，該卷積類神經網路層具有複數個核心，每一核心具有權重之一各自矩陣結構，該等操作包括：接收該層輸入，該層輸入包括複數個激發輸入，該複數個激發輸入被表示為包括複數個深度層級之一多維矩陣，每一深度層級係來自該複數個激發輸入之相異激發輸入之一各自矩陣；將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元；對於每一深度層級，將相異激發輸入之該各自矩陣發送至沿該脈動陣列之一第二維度之一相異胞元；引起該脈動陣列自發送至該等胞元之該等各自矩陣產生一累 加輸出；及自該累加輸出產生該層輸出。
  20. 如請求項19之電腦可讀媒體，其中該脈動陣列之該第一維度對應於該脈動陣列之行，且其中該脈動陣列之該第二維度對應於該脈動陣列之列。
  21. 如請求項19或20之電腦可讀媒體，其進一步包括：判定該複數個深度層級之一計數小於該脈動陣列之該第二維度之一大小；將相異激發輸入之一或多個複本矩陣發送至沿該脈動陣列之該第二維度之未使用胞元。
  22. 如請求項19或20之電腦可讀媒體，其進一步包括：判定該複數個核心之一計數小於該脈動陣列之該第一維度之一大小；將一或多個複本核心矩陣結構發送至沿該脈動陣列之該第一維度之未使用胞元。
  23. 如請求項19或20之電腦可讀媒體，其中該卷積類神經網路之一步幅參數大於1，該方法進一步包括：對於每一核心結構，重新映射該各自矩陣中之權重以引起該矩陣具有增加數目個深度層級。
  24. 如請求項19或20之電腦可讀媒體，其中自該累加輸出產生該層輸出包括：正規化及匯集該累加輸出以產生該層輸出。
  25. 如請求項19或20之電腦可讀媒體，其中將每一各自核心矩陣結構發送至沿該脈動陣列之一第一維度之一相異胞元包括：在一給定時脈循環，將該核心矩陣結構中之一第一元素儲存在該脈動陣列之一第一胞元中；及在一後續時脈循環，將該第一胞元中之該第一元素移位至相 鄰於該第一胞元之一第二胞元且將該核心矩陣結構中之一第二元素儲存在該第一胞元中。
  26. 如請求項19或20之電腦可讀媒體，其中該脈動陣列包括複數個胞元，其中該複數個權重輸入沿該脈動陣列之一第一維度移位穿過第一複數個胞元，且其中該複數個激發輸入沿該脈動陣列移位穿過一第二維度之第二複數個胞元。
  27. 如請求項26之電腦可讀媒體，其中該複數個胞元中之每一胞元包括：一權重暫存器，其經組態以儲存一權重輸入；一激發暫存器，其經組態以儲存一激發輸入且經組態以將該激發輸入發送至沿該第二維度之一第一相鄰胞元中之另一激發暫存器；一總和輸入暫存器，其經組態以儲存一先前加總值；乘法電路，其耦合至該權重暫存器及該激發暫存器，其中該乘法電路經組態以輸出該權重輸入與該激發輸入之一乘積；及加總電路，其耦合至該乘法電路及該總和輸入暫存器，其中該加總電路經組態以輸出該乘積與該先前加總值之一總和，且其中該加總電路經組態以將該總和發送至沿該第一維度之一第二相鄰胞元中之另一總和輸入暫存器。
TW105115861A 2015-05-21 2016-05-20 使用類神經網路處理器計算卷積 TWI645301B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562164902P 2015-05-21 2015-05-21
US62/164,902 2015-05-21
US14/844,738 US10438117B1 (en) 2015-05-21 2015-09-03 Computing convolutions using a neural network processor
US14/844,738 2015-09-03

Publications (2)

Publication Number Publication Date
TW201706871A true TW201706871A (zh) 2017-02-16
TWI645301B TWI645301B (zh) 2018-12-21

Family

ID=55963478

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105115861A TWI645301B (zh) 2015-05-21 2016-05-20 使用類神經網路處理器計算卷積

Country Status (4)

Country Link
US (3) US10438117B1 (zh)
DE (1) DE202016107443U1 (zh)
TW (1) TWI645301B (zh)
WO (1) WO2016186811A1 (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI636404B (zh) * 2017-07-31 2018-09-21 財團法人工業技術研究院 深度神經網路、使用深度神經網路的方法與電腦可讀媒體
US10474925B2 (en) 2017-07-31 2019-11-12 Industrial Technology Research Institute Deep neural network with side branches for recognizing and classifying media data and method for using the same
TWI685757B (zh) * 2017-05-17 2020-02-21 美商谷歌有限責任公司 低延遲矩陣乘法單元
CN111149090A (zh) * 2017-09-21 2020-05-12 华为技术有限公司 多线程脉动阵列
CN111291874A (zh) * 2018-12-06 2020-06-16 黄朝宗 卷积神经网络处理器及其数据处理方法
CN111767508A (zh) * 2020-07-09 2020-10-13 地平线(上海)人工智能技术有限公司 计算机实现张量数据计算的方法、装置、介质和设备
US11494645B2 (en) 2018-12-06 2022-11-08 Egis Technology Inc. Convolutional neural network processor and data processing method thereof
US11620491B2 (en) 2018-06-22 2023-04-04 Samsung Electronics Co., Ltd. Neural processor
US11664819B2 (en) 2019-04-17 2023-05-30 Samsung Electronics Co., Ltd. Homogenizing data sparsity using a butterfly multiplexer
US11809514B2 (en) 2018-11-19 2023-11-07 Groq, Inc. Expanded kernel generation
US11822510B1 (en) 2017-09-15 2023-11-21 Groq, Inc. Instruction format and instruction set architecture for tensor streaming processor
US11868908B2 (en) 2017-09-21 2024-01-09 Groq, Inc. Processor compiler for scheduling instructions to reduce execution delay due to dependencies
US11868804B1 (en) 2019-11-18 2024-01-09 Groq, Inc. Processor instruction dispatch configuration
US11868250B1 (en) 2017-09-15 2024-01-09 Groq, Inc. Memory design for a processor
US11875874B2 (en) 2017-09-15 2024-01-16 Groq, Inc. Data structures with multiple read ports
US11880760B2 (en) 2019-05-01 2024-01-23 Samsung Electronics Co., Ltd. Mixed-precision NPU tile with depth-wise convolution
TWI857144B (zh) * 2019-12-24 2024-10-01 美商英特爾股份有限公司 用於實施卷積神經網路的可配置處理器元素陣列
US12112141B2 (en) 2019-12-12 2024-10-08 Samsung Electronics Co., Ltd. Accelerating 2D convolutional layer mapping on a dot product architecture
US12182577B2 (en) 2019-05-01 2024-12-31 Samsung Electronics Co., Ltd. Neural-processing unit tile for shuffling queued nibbles for multiplication with non-zero weight nibbles
US12340300B1 (en) 2018-09-14 2025-06-24 Groq, Inc. Streaming processor architecture

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10474627B2 (en) * 2015-10-08 2019-11-12 Via Alliance Semiconductor Co., Ltd. Neural network unit with neural memory and array of neural processing units that collectively shift row of data received from neural memory
US11055063B2 (en) * 2016-05-02 2021-07-06 Marvell Asia Pte, Ltd. Systems and methods for deep learning processor
US10796220B2 (en) 2016-05-24 2020-10-06 Marvell Asia Pte, Ltd. Systems and methods for vectorized FFT for multi-dimensional convolution operations
US10936899B2 (en) 2016-06-06 2021-03-02 Movidius Limited Methods, systems and apparatus to improve image classification with boundary-bitmaps
US20170357894A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Data packing for convolution of artificial neural networks
IE87469B1 (en) * 2016-10-06 2024-01-03 Google Llc Image processing neural networks with separable convolutional layers
US10685285B2 (en) * 2016-11-23 2020-06-16 Microsoft Technology Licensing, Llc Mirror deep neural networks that regularize to linear networks
US10878310B2 (en) 2016-11-29 2020-12-29 Mellanox Technologies, Ltd. Accelerated convolution in convolutional neural networks
US10037490B2 (en) 2016-12-13 2018-07-31 Google Llc Performing average pooling in hardware
CN106844294B (zh) * 2016-12-29 2019-05-03 华为机器有限公司 卷积运算芯片和通信设备
US10521488B1 (en) 2016-12-30 2019-12-31 X Development Llc Dynamic partitioning
US10909447B2 (en) 2017-03-09 2021-02-02 Google Llc Transposing neural network matrices in hardware
US10241972B2 (en) 2017-03-16 2019-03-26 International Business Machines Corporation Matrix multiplication on a systolic array
US12430543B2 (en) 2017-04-04 2025-09-30 Hailo Technologies Ltd. Structured sparsity guided training in an artificial neural network
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
KR102670479B1 (ko) 2017-05-19 2024-05-31 모비디어스 리미티드 콘볼루션 효율을 개선하기 위한 방법들, 시스템들, 및 장치
US10019668B1 (en) 2017-05-19 2018-07-10 Google Llc Scheduling neural network processing
CN107146616B (zh) * 2017-06-13 2020-05-08 Oppo广东移动通信有限公司 设备控制方法及相关产品
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11157287B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system with variable latency memory access
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11188820B2 (en) 2017-09-08 2021-11-30 International Business Machines Corporation Deep neural network performance analysis on shared memory accelerator systems
CN109543139B (zh) * 2017-09-22 2021-09-17 杭州海康威视数字技术股份有限公司 卷积运算方法、装置、计算机设备及计算机可读存储介质
KR102442055B1 (ko) * 2017-09-26 2022-09-13 삼성전자주식회사 전자 장치 및 그 제어 방법
CN107832839B (zh) * 2017-10-31 2020-02-14 南京地平线机器人技术有限公司 执行卷积神经网络中的运算的方法和装置
KR102586173B1 (ko) 2017-10-31 2023-10-10 삼성전자주식회사 프로세서 및 그 제어 방법
KR102424962B1 (ko) 2017-11-15 2022-07-25 삼성전자주식회사 병렬 연산 처리를 수행하는 메모리 장치 및 이를 포함하는 메모리 모듈
WO2019126030A1 (en) 2017-12-18 2019-06-27 Mythic, Inc. Systems and methods for mapping matrix calculations to a matrix multiply accelerator
CN108182471B (zh) * 2018-01-24 2022-02-15 上海岳芯电子科技有限公司 一种卷积神经网络推理加速器及方法
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11769042B2 (en) 2018-02-08 2023-09-26 Western Digital Technologies, Inc. Reconfigurable systolic neural network engine
US11164073B2 (en) * 2018-02-08 2021-11-02 Western Digital Technologies, Inc. Systolic neural network processor with feedback control
US10908879B2 (en) 2018-03-02 2021-02-02 Neuchips Corporation Fast vector multiplication and accumulation circuit
CN110210610B (zh) * 2018-03-27 2023-06-20 腾讯科技（深圳）有限公司 卷积计算加速器、卷积计算方法及卷积计算设备
KR102065672B1 (ko) * 2018-03-27 2020-01-13 에스케이텔레콤 주식회사 합성곱 연산을 위한 장치 및 방법
US10621489B2 (en) 2018-03-30 2020-04-14 International Business Machines Corporation Massively parallel neural inference computing elements
US11537838B2 (en) * 2018-05-04 2022-12-27 Apple Inc. Scalable neural network processing engine
CA3100495A1 (en) 2018-05-16 2019-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
JP6867518B2 (ja) * 2018-08-28 2021-04-28 カンブリコン テクノロジーズ コーポレイション リミティド データ前処理方法、装置、コンピュータ機器及び記憶媒体
US11954573B2 (en) 2018-09-06 2024-04-09 Black Sesame Technologies Inc. Convolutional neural network using adaptive 3D array
CN110929855B (zh) * 2018-09-20 2023-12-12 合肥君正科技有限公司 一种数据交互方法和装置
WO2020075957A1 (ko) * 2018-10-08 2020-04-16 주식회사 디퍼아이 분산처리용 인공신경망 연산 가속화 장치, 이를 이용한 인공신경망 가속화 시스템, 및 그 인공신경망의 가속화 방법
US11636325B2 (en) 2018-10-24 2023-04-25 Macronix International Co., Ltd. In-memory data pooling for machine learning
KR102637733B1 (ko) 2018-10-31 2024-02-19 삼성전자주식회사 뉴럴 네트워크 프로세서 및 그것의 컨볼루션 연산 방법
KR102441747B1 (ko) * 2018-11-30 2022-09-14 한국전자통신연구원 시스톨릭 어레이 구조를 가지는 뉴럴 네트워크 가속기
US11562229B2 (en) * 2018-11-30 2023-01-24 Macronix International Co., Ltd. Convolution accelerator using in-memory computation
US11934480B2 (en) 2018-12-18 2024-03-19 Macronix International Co., Ltd. NAND block architecture for in-memory multiply-and-accumulate operations
US11550971B1 (en) 2019-01-18 2023-01-10 X Development Llc Physics simulation on machine-learning accelerated hardware platforms
CN109902836A (zh) * 2019-02-01 2019-06-18 京微齐力(北京)科技有限公司 人工智能模块的故障容错方法及系统芯片
CN109960726B (zh) * 2019-02-13 2024-01-23 平安科技（深圳）有限公司 文本分类模型构建方法、装置、终端及存储介质
US10929058B2 (en) 2019-03-25 2021-02-23 Western Digital Technologies, Inc. Enhanced memory device architecture for machine learning
US11783176B2 (en) 2019-03-25 2023-10-10 Western Digital Technologies, Inc. Enhanced storage device memory architecture for machine learning
US11169957B2 (en) * 2019-03-31 2021-11-09 Intel Corporation Systems and methods for reconfigurable systolic arrays
CN110008440B (zh) * 2019-04-15 2021-07-27 恒烁半导体(合肥)股份有限公司 一种基于模拟矩阵运算单元的卷积运算及其应用
US10998037B2 (en) * 2019-05-07 2021-05-04 Memryx Incorporated Memory processing units and methods of computing dot products
US11568238B2 (en) * 2019-06-28 2023-01-31 Amazon Technologies, Inc. Dynamic processing element array expansion
KR102802339B1 (ko) 2019-07-31 2025-05-07 삼성전자주식회사 프로세서 및 그 제어 방법
US11681902B2 (en) * 2019-09-27 2023-06-20 Amazon Technologies, Inc. Transposed convolution using systolic array
DE102019217055A1 (de) * 2019-11-06 2021-05-06 Robert Bosch Gmbh Verfahren zum Ermitteln einer unzulässigen Abweichung des Systemverhaltens einer technischen Einrichtung von einem Normwertebereich
WO2021108559A1 (en) * 2019-11-26 2021-06-03 Groq, Inc. Loading operands and outputting results from a multi-dimensional array using only a single side
US11741350B2 (en) * 2019-11-27 2023-08-29 Amazon Technologies, Inc. Efficient utilization of processing element array
US11610102B1 (en) * 2019-11-27 2023-03-21 Amazon Technologies, Inc. Time-based memory allocation for neural network inference
US11669733B2 (en) 2019-12-23 2023-06-06 Marvell Asia Pte. Ltd. Processing unit and method for computing a convolution using a hardware-implemented spiral algorithm
US11403727B2 (en) 2020-01-28 2022-08-02 Nxp Usa, Inc. System and method for convolving an image
RU2732201C1 (ru) * 2020-02-17 2020-09-14 Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ Метод построения процессоров для вывода в сверточных нейронных сетях, основанный на потоковых вычислениях
CN111325332B (zh) * 2020-02-18 2023-09-08 百度在线网络技术（北京）有限公司 卷积神经网络的处理方法和装置
CN113298843B (zh) 2020-02-24 2024-05-14 中科寒武纪科技股份有限公司 数据量化处理方法、装置、电子设备和存储介质
US11508037B2 (en) 2020-03-10 2022-11-22 Samsung Electronics Co., Ltd. Systems and methods for image denoising using deep convolutional networks
DE102020133963A1 (de) 2020-03-10 2021-09-16 Samsung Electronics Co., Ltd. Systeme und Verfahren zur Abbildrauschunterdrückung unter Verwendung von tiefen gefalteten Netzwerken
WO2021232422A1 (zh) * 2020-05-22 2021-11-25 深圳市大疆创新科技有限公司 神经网络的运算装置及其控制方法
US12131244B2 (en) * 2020-07-16 2024-10-29 Google Llc Hardware-optimized neural architecture search
FR3113158B1 (fr) * 2020-08-03 2024-04-05 Commissariat Energie Atomique Architecture de calcul systolique pour la mise en œuvre de réseaux de neurones artificiels traitant plusieurs types de convolutions
WO2022027172A1 (zh) * 2020-08-03 2022-02-10 深圳市大疆创新科技有限公司 数据处理装置、方法和系统以及神经网络加速器
US11586442B2 (en) 2020-08-06 2023-02-21 Nxp Usa, Inc. System and method for convolving image with sparse kernels
CN111897579B (zh) * 2020-08-18 2024-01-30 腾讯科技（深圳）有限公司 图像数据处理方法、装置、计算机设备和存储介质
US12254395B2 (en) 2020-09-21 2025-03-18 Hewlett Packard Enterprise Development Lp System and method for processing convolutions on crossbar-based neural network accelerators for increased inference throughput
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US12248367B2 (en) 2020-09-29 2025-03-11 Hailo Technologies Ltd. Software defined redundant allocation safety mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US12190224B2 (en) 2020-12-29 2025-01-07 Industrial Technology Research Institute Processing elements array that includes delay queues between processing elements to hold shared data
TWI753728B (zh) * 2020-12-29 2022-01-21 財團法人工業技術研究院 運算單元架構、運算單元叢集及卷積運算的執行方法
US12079710B2 (en) 2020-12-31 2024-09-03 Nxp Usa, Inc. Scalable neural network accelerator architecture
US11921559B2 (en) * 2021-05-03 2024-03-05 Groq, Inc. Power grid distribution for tensor streaming processors
US20230013599A1 (en) * 2021-07-08 2023-01-19 Black Sesame International Holding Limited Adaptive mac array scheduling in a convolutional neural network
US12299597B2 (en) 2021-08-27 2025-05-13 Macronix International Co., Ltd. Reconfigurable AI system
US11714556B2 (en) * 2021-09-14 2023-08-01 quadric.io, Inc. Systems and methods for accelerating memory transfers and computation efficiency using a computation-informed partitioning of an on-chip data buffer and implementing computation-aware data transfer operations to the on-chip data buffer
KR102860505B1 (ko) 2021-10-28 2025-09-16 리벨리온 주식회사 컴퓨팅 시스템 및 이를 위한 전치 방법
CN113869507B (zh) * 2021-12-02 2022-04-15 之江实验室 一种基于脉动阵列的神经网络加速器卷积计算装置与方法
CN115936064B (zh) * 2022-09-20 2024-09-20 电子科技大学 一种基于权重循环数据流的神经网络加速阵列
CN116151334B (zh) * 2022-12-01 2025-11-11 电子科技大学 一种基于多通道脉动阵列的神经网络加速器
CN116108902B (zh) * 2023-02-22 2024-01-05 成都登临科技有限公司 采样操作实现系统、方法、电子设备及存储介质
US12321603B2 (en) 2023-02-22 2025-06-03 Macronix International Co., Ltd. High bandwidth non-volatile memory for AI inference system
US12417170B2 (en) 2023-05-10 2025-09-16 Macronix International Co., Ltd. Computing system and method of operation thereof
WO2025212499A1 (en) * 2024-04-04 2025-10-09 The Regents Of The University Of California Low-latency reconfigurable field programmable crossbar array architecture
CN119646370B (zh) * 2024-10-12 2025-09-16 清华大学 基于分布式存储器的同向脉动阵列电路和数据处理装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5014235A (en) 1987-12-15 1991-05-07 Steven G. Morton Convolution memory
US5136717A (en) 1988-11-23 1992-08-04 Flavors Technology Inc. Realtime systolic, multiple-instruction, single-data parallel computer system
US5138695A (en) 1989-10-10 1992-08-11 Hnc, Inc. Systolic array image processing system
US5337395A (en) 1991-04-08 1994-08-09 International Business Machines Corporation SPIN: a sequential pipeline neurocomputer
US5146543A (en) 1990-05-22 1992-09-08 International Business Machines Corp. Scalable neural array processor
JPH04290155A (ja) 1991-03-19 1992-10-14 Fujitsu Ltd 並列データ処理方式
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US5799134A (en) 1995-03-13 1998-08-25 Industrial Technology Research Institute One dimensional systolic array architecture for neural network
US5812993A (en) 1996-03-07 1998-09-22 Technion Research And Development Foundation Ltd. Digital hardware architecture for realizing neural network
US6038337A (en) 1996-03-29 2000-03-14 Nec Research Institute, Inc. Method and apparatus for object recognition
JPH11177399A (ja) 1997-12-15 1999-07-02 Mitsubishi Electric Corp クロック遅延回路およびこれを用いた発振回路、位相同期回路、クロック生成回路
GB9902115D0 (en) 1999-02-01 1999-03-24 Axeon Limited Neural networks
US7245767B2 (en) 2003-08-21 2007-07-17 Hewlett-Packard Development Company, L.P. Method and apparatus for object identification, classification or verification
US7634137B2 (en) 2005-10-14 2009-12-15 Microsoft Corporation Unfolded convolution for fast feature extraction
EP2122542B1 (en) 2006-12-08 2017-11-01 Medhat Moussa Architecture, system and method for artificial neural network implementation
US8184696B1 (en) 2007-09-11 2012-05-22 Xilinx, Inc. Method and apparatus for an adaptive systolic array structure
JP5376920B2 (ja) 2008-12-04 2013-12-25 キヤノン株式会社 コンボリューション演算回路、階層的コンボリューション演算回路及び物体認識装置
US8442927B2 (en) 2009-07-30 2013-05-14 Nec Laboratories America, Inc. Dynamically configurable, multi-ported co-processor for convolutional neural networks
TWI525558B (zh) 2011-01-17 2016-03-11 Univ Nat Taipei Technology Resilient high - speed hardware reverse transfer and feedback type neural network system
US8924455B1 (en) 2011-02-25 2014-12-30 Xilinx, Inc. Multiplication of matrices using systolic arrays
TW201331855A (zh) 2012-01-19 2013-08-01 Univ Nat Taipei Technology 具自由回饋節點的高速硬體倒傳遞及回饋型類神經網路
US9477925B2 (en) 2012-11-20 2016-10-25 Microsoft Technology Licensing, Llc Deep neural networks training for speech and pattern recognition
US9811775B2 (en) * 2012-12-24 2017-11-07 Google Inc. Parallelizing neural networks during training
US9190053B2 (en) 2013-03-25 2015-11-17 The Governing Council Of The Univeristy Of Toronto System and method for applying a convolutional neural network to speech recognition
CN104035751B (zh) 2014-06-20 2016-10-12 深圳市腾讯计算机系统有限公司 基于多图形处理器的数据并行处理方法及装置
EP3064130A1 (en) 2015-03-02 2016-09-07 MindMaze SA Brain activity measurement and feedback system
US20160267111A1 (en) 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Two-stage vector reduction using two-dimensional and one-dimensional systolic arrays

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500961B2 (en) 2017-05-17 2022-11-15 Google Llc Low latency matrix multiply unit
TWI685757B (zh) * 2017-05-17 2020-02-21 美商谷歌有限責任公司 低延遲矩陣乘法單元
US10635740B2 (en) 2017-05-17 2020-04-28 Google Llc Low latency matrix multiply unit
US11907330B2 (en) 2017-05-17 2024-02-20 Google Llc Low latency matrix multiply unit
US11989259B2 (en) 2017-05-17 2024-05-21 Google Llc Low latency matrix multiply unit
US10698976B2 (en) 2017-05-17 2020-06-30 Google Llc Low latency matrix multiply unit
US10698974B2 (en) 2017-05-17 2020-06-30 Google Llc Low latency matrix multiply unit
US10970362B2 (en) 2017-05-17 2021-04-06 Google Llc Low latency matrix multiply unit
US11599601B2 (en) 2017-05-17 2023-03-07 Google Llc Low latency matrix multiply unit
US10474925B2 (en) 2017-07-31 2019-11-12 Industrial Technology Research Institute Deep neural network with side branches for recognizing and classifying media data and method for using the same
TWI636404B (zh) * 2017-07-31 2018-09-21 財團法人工業技術研究院 深度神經網路、使用深度神經網路的方法與電腦可讀媒體
US12411762B2 (en) 2017-09-15 2025-09-09 Groq, Inc. Memory design for a processor
US12222894B2 (en) 2017-09-15 2025-02-11 Groq, Inc. Compiler operations for tensor streaming processor
US12271339B2 (en) 2017-09-15 2025-04-08 Groq, Inc. Instruction format and instruction set architecture for tensor streaming processor
US11822510B1 (en) 2017-09-15 2023-11-21 Groq, Inc. Instruction format and instruction set architecture for tensor streaming processor
US11875874B2 (en) 2017-09-15 2024-01-16 Groq, Inc. Data structures with multiple read ports
US11868250B1 (en) 2017-09-15 2024-01-09 Groq, Inc. Memory design for a processor
US12223436B2 (en) 2017-09-21 2025-02-11 Groq, Inc. Processor compiler for scheduling instructions to reduce execution delay due to dependencies
US12260248B2 (en) 2017-09-21 2025-03-25 Huawei Technologies Co., Ltd. Systems and methods for performing multiplication of one or more matrices using multi-thread systolic arrays
CN111149090A (zh) * 2017-09-21 2020-05-12 华为技术有限公司 多线程脉动阵列
US11868908B2 (en) 2017-09-21 2024-01-09 Groq, Inc. Processor compiler for scheduling instructions to reduce execution delay due to dependencies
CN111149090B (zh) * 2017-09-21 2023-12-01 华为技术有限公司 多线程脉动阵列
US12086700B2 (en) 2018-06-22 2024-09-10 Samsung Electronics Co., Ltd. Neural processor
US12073302B2 (en) 2018-06-22 2024-08-27 Samsung Electronics Co., Ltd. Neural processor
US12314833B2 (en) 2018-06-22 2025-05-27 Samsung Electronics Co., Ltd. Neural processor
US11775802B2 (en) 2018-06-22 2023-10-03 Samsung Electronics Co., Ltd. Neural processor
US12099912B2 (en) 2018-06-22 2024-09-24 Samsung Electronics Co., Ltd. Neural processor
US11775801B2 (en) 2018-06-22 2023-10-03 Samsung Electronics Co., Ltd. Neural processor
TWI813708B (zh) * 2018-06-22 2023-09-01 南韓商三星電子股份有限公司 處理器、利用處理電路進行計算的方法及利用處理工具進行計算的方法
US11620491B2 (en) 2018-06-22 2023-04-04 Samsung Electronics Co., Ltd. Neural processor
US12340300B1 (en) 2018-09-14 2025-06-24 Groq, Inc. Streaming processor architecture
TWI841632B (zh) * 2018-11-19 2024-05-11 美商葛如克公司 用於矩陣的空間地域轉換之方法及系統
US11809514B2 (en) 2018-11-19 2023-11-07 Groq, Inc. Expanded kernel generation
CN111291874A (zh) * 2018-12-06 2020-06-16 黄朝宗 卷积神经网络处理器及其数据处理方法
CN111291874B (zh) * 2018-12-06 2023-12-01 神盾股份有限公司 卷积神经网络处理器及其数据处理方法
TWI766193B (zh) * 2018-12-06 2022-06-01 神盾股份有限公司 卷積神經網路處理器及其資料處理方法
US11494645B2 (en) 2018-12-06 2022-11-08 Egis Technology Inc. Convolutional neural network processor and data processing method thereof
US11716095B2 (en) 2019-04-17 2023-08-01 Samsung Electronics Co., Ltd. Channel-parallel compression with random memory access
US11671111B2 (en) 2019-04-17 2023-06-06 Samsung Electronics Co., Ltd. Hardware channel-parallel data compression/decompression
US12015429B2 (en) 2019-04-17 2024-06-18 Samsung Electronics Co., Ltd. Hardware channel-parallel data compression/decompression
US11664819B2 (en) 2019-04-17 2023-05-30 Samsung Electronics Co., Ltd. Homogenizing data sparsity using a butterfly multiplexer
US11880760B2 (en) 2019-05-01 2024-01-23 Samsung Electronics Co., Ltd. Mixed-precision NPU tile with depth-wise convolution
US12182577B2 (en) 2019-05-01 2024-12-31 Samsung Electronics Co., Ltd. Neural-processing unit tile for shuffling queued nibbles for multiplication with non-zero weight nibbles
US12175287B2 (en) 2019-11-18 2024-12-24 Groq, Inc. Processor instruction dispatch configuration
US11868804B1 (en) 2019-11-18 2024-01-09 Groq, Inc. Processor instruction dispatch configuration
US12112141B2 (en) 2019-12-12 2024-10-08 Samsung Electronics Co., Ltd. Accelerating 2D convolutional layer mapping on a dot product architecture
TWI857144B (zh) * 2019-12-24 2024-10-01 美商英特爾股份有限公司 用於實施卷積神經網路的可配置處理器元素陣列
CN111767508A (zh) * 2020-07-09 2020-10-13 地平线(上海)人工智能技术有限公司 计算机实现张量数据计算的方法、装置、介质和设备
CN111767508B (zh) * 2020-07-09 2024-02-23 地平线(上海)人工智能技术有限公司 计算机实现张量数据计算的方法、装置、介质和设备

Also Published As

Publication number Publication date
US20200111003A1 (en) 2020-04-09
US20170103316A1 (en) 2017-04-13
WO2016186811A1 (en) 2016-11-24
TWI645301B (zh) 2018-12-21
US11620513B2 (en) 2023-04-04
US10438117B1 (en) 2019-10-08
DE202016107443U1 (de) 2017-01-18
US9697463B2 (en) 2017-07-04

Similar Documents

Publication Publication Date Title
TWI645301B (zh) 使用類神經網路處理器計算卷積
US20240062055A1 (en) Prefetching Weights For Use In A Neural Network Processor
TWI591490B (zh) 類神經網路處理器中之向量運算單元
TWI627593B (zh) 用於類神經網路計算的旋轉資料
TWI851499B (zh) 用於執行類神經網路計算之電路、方法及非暫時性機器可讀儲存裝置
TWI591549B (zh) 類神經網路處理器中之批次處理
HK40043775A (zh) 用於神经网络处理器的预取权重
HK40043775B (zh) 用於神经网络处理器的预取权重
HK1245462B (zh) 用於神经网络处理器的预取权重