[go: up one dir, main page]

TW202407579A - 包含三維積體電路的人工神經網路 - Google Patents

包含三維積體電路的人工神經網路 Download PDF

Info

Publication number
TW202407579A
TW202407579A TW112108853A TW112108853A TW202407579A TW 202407579 A TW202407579 A TW 202407579A TW 112108853 A TW112108853 A TW 112108853A TW 112108853 A TW112108853 A TW 112108853A TW 202407579 A TW202407579 A TW 202407579A
Authority
TW
Taiwan
Prior art keywords
die
array
memory cells
vector matrix
input
Prior art date
Application number
TW112108853A
Other languages
English (en)
Other versions
TWI853488B (zh
Inventor
曉萬 陳
恩漢 杜
馬克 萊坦
Original Assignee
美商超捷公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/848,371 external-priority patent/US20230325645A1/en
Application filed by 美商超捷公司 filed Critical 美商超捷公司
Publication of TW202407579A publication Critical patent/TW202407579A/zh
Application granted granted Critical
Publication of TWI853488B publication Critical patent/TWI853488B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/20—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by three-dimensional arrangements, e.g. with cells on different height levels
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/30—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B80/00—Assemblies of multiple devices comprising at least one memory device covered by this subclass
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

本發明揭示包含一三維積體電路之一人工神經網路之眾多實例。在一個具體例中，一種用於一人工神經網路中之一三維積體電路包含：一第一晶粒，其包含一第一向量矩陣乘法陣列及一第一輸入多工器，該第一晶粒位於一第一垂直層上；一第二晶粒，其包含一輸入電路，該第二晶粒位於不同於該第一垂直層之一第二垂直層上；及一或多個垂直介面，其耦接該第一晶粒及該第二晶粒；其中在一讀取操作期間，該輸入電路經由該一或多個垂直介面中之至少一者將一輸入信號提供至該第一輸入多工器，該第一輸入多工器將該輸入信號施加至該第一向量矩陣乘法陣列中之一或多個列，且該第一向量矩陣乘法陣列產生一輸出。

Description

包含三維積體電路的人工神經網路
[優先權主張] 本申請案主張2022年4月6日申請且標題為「包含三維積體電路之人工神經網路(Artificial Neural Network Comprising a Three-Dimensional Integrated Circuit)」之美國臨時專利申請案第63/328,126號及2022年6月23日申請且標題為「包含三維積體電路之人工神經網路」之美國專利申請案第17/848,371號的優先權。
揭示了包含三維積體電路之人工神經網路之眾多實例。
人工神經網路模擬生物神經網路(動物之中樞神經系統，尤其係大腦)且用以估計或估算可取決於大量輸入且通常係未知之函數。人工神經網路通常包括彼此交換訊息之互連「神經元」之層。
圖1例示人工神經網路，其中圓形表示神經元之輸入或層。連接(稱為突觸)由箭頭表示，且具有可基於經驗進行調諧之數值權重。此使得神經網路適應於輸入且能夠學習。通常，神經網路包括多個輸入之層。通常存在一或多個中間神經元層及提供神經網路之輸出之輸出神經元層。各層級處之神經元基於自突觸所接收之資料而個別地或共同地作出決策。
用於高效能資訊處理之人工神經網路之發展中的主要挑戰之一在於缺乏適當硬體技術。實際上，切實可行的神經網路依賴於極大量之突觸，從而實現神經元之間的高連接性，亦即極高計算並行性。原則上，此複雜性可利用數位超級電腦或專門圖形處理單元叢集來達成。然而，除高成本以外，與生物網路相比，此等方法亦受中等能效困擾，主要因為生物網路執行低精度類比計算，所以其消耗少得多的能量。CMOS類比電路已用於人工神經網路，但鑒於大量神經元及突觸，故大部分實施CMOS之突觸已過於龐大。
申請人先前在美國專利申請公開案2017/0337466A1中揭示一種利用一或多個非揮發性記憶體陣列作為突觸之人工(類比)神經網路，該美國專利申請公開案以引用之方式併入。非揮發性記憶體陣列操作為類比神經記憶體，且包含以列及行配置之非揮發性記憶體胞元。神經網路包括：第一複數個突觸，其被組構以接收第一複數個輸入且自該第一複數個輸入產生第一複數個輸出；及第一複數個神經元，其被組構以接收第一複數個輸出。第一複數個突觸包括複數個記憶體胞元，其中記憶體胞元中之各者包括：形成於半導體基板中之間隔開的源極區及汲極區，其中通道區在源極區與汲極區之間延伸；浮動閘極，其裝設於通道區之第一部分上方且與該第一部分絕緣；以及非浮動閘極，其裝設於通道區之第二部分上方且與該第二部分絕緣。複數個記憶體胞元中之各者儲存對應於浮動閘極上之電子數目的權重值。複數個記憶體胞元將第一複數個輸入乘以所儲存權重值以產生第一複數個輸出。 非揮發性記憶體胞元
非揮發性記憶體為熟知的。舉例而言，以引用方式併入本文中之美國專利5,029,130 (「'130專利」)揭示了一種分離閘極非揮發性記憶體胞元陣列，其為一種類型之快閃記憶體胞元。此記憶體胞元210顯示於圖2中。各記憶體胞元210包括形成於半導體基板12中之源極區14及汲極區16，其中通道區18處於該源極區與該汲極區之間。浮動閘極20形成於通道區18之第一部分上方且與該第一部分絕緣(且控制該第一部分之導電性)，且形成於源極區14之一部分上方。字元線端子22 (其通常耦接至字元線)具有：第一部分，其裝設於通道區18之第二部分上方且與該第二部分絕緣(且控制該第二部分之導電性)；及第二部分，其在浮動閘極20上及上方延伸。浮動閘極20及字元線端子22藉由閘極氧化物與基板12絕緣。位元線24耦接至汲極區16。
記憶體胞元210藉由將高正電壓置放於字元線端子22上來抹除(其中電子自浮動閘極移除)，此使得浮動閘極20上之電子經由富爾-諾罕(Fowler-Nordheim；FN)穿隧自浮動閘極20穿過中間絕緣件穿隧至字元線端子22。
記憶體胞元210係藉由將正電壓置放於字元線端子22上且將正電壓置放於源極區14上而藉由運用熱電子之源極側注入(SSI)而經程式化(其中電子置放於浮動閘極上)。電子電流將自汲極區16朝向源極區14流動。當電子到達字元線端子22與浮動閘極20之間的間隙時，該等電子將加速且經加熱。經加熱電子中之一些將由於來自浮動閘極20之吸引靜電力而穿過閘極氧化物注入至浮動閘極20上。
記憶體胞元210係藉由將正讀取電壓置於汲極區16及字元線端子22上而經讀取(此接通通道區18之在字元線端子下方的部分)。若浮動閘極20帶正電(亦即，電子經抹除)，則通道區18之在浮動閘極20下方的部分亦接通，且電流將跨越通道區18流動，此經感測為抹除或「1」狀態。若浮動閘極20帶負電(亦即，用電子程式化)，則在浮動閘極20下方的通道區之部分被大部分或完全斷開，且電流將不跨越通道區18流動(或將有極少電流流動)，此經感測為經程式化或「0」狀態。
表1描述可施加至記憶體胞元210之端子以用於執行讀取、抹除及程式化操作的典型電壓及電流範圍： 表1：圖2之快閃記憶體胞元210之操作
   WL BL SL  
讀取 2-3V 0.6-2V 0V  
抹除 ~11-13V 0V 0V
程式化 1-2V 10.5-3μA 9-10V
其他分離閘極記憶體胞元組構為吾人所知，該等分離閘極記憶體胞元組構係其他類型之快閃記憶體胞元。舉例而言，圖3描繪四閘極記憶體胞元310，其包含源極區14、汲極區16、在通道區18之第一部分上方的浮動閘極20、在通道區18之第二部分上方的選擇閘極22 (通常耦接至字元線WL)、在浮動閘極20上方之控制閘極28，以及在源極區14上方之抹除閘極30。此組構描繪於美國專利6,747,310中，其出於所有目的以引用之方式併入本文中。此處，除浮動閘極20以外，所有閘極皆為非浮動閘極，此意謂該等閘極電連接或可電連接至電壓源。程式化係藉由來自通道區18之經加熱電子將自身注入至浮動閘極20上而加以執行。抹除係藉由自浮動閘極20至抹除閘極30之電子穿隧來執行。
表2描繪可施加至記憶體胞元310之端子以用於執行讀取、抹除及程式化操作的典型電壓及電流範圍： 表2：圖3之快閃記憶體胞元310之操作
   WL/SG BL CG EG SL
讀取 1.0-2V 0.6-2V 0-2.6V 0-2.6V 0V
抹除 -0.5V/0V 0V 0V/-8V 8-12V 0V
程式化 1V 0.1-1μA 8-11V 4.5-9V 4.5-5V
圖4描繪三閘極記憶體胞元410，其為另一類型之快閃記憶體胞元。記憶體胞元410與圖3之記憶體胞元310相同，不同之處在於記憶體胞元410不具有單獨控制閘極。抹除操作(藉此抹除經由使用抹除閘極來進行)及讀取操作類似於圖3之抹除操作及讀取操作，不同之處在於未施加控制閘極偏壓。程式化操作亦在無控制閘極偏壓之情況下進行，且因此，較高電壓在程式化操作期間施加於源極線上以補償控制閘極偏壓之缺乏。
表3描繪可施加至記憶體胞元410之端子以用於執行讀取、抹除及程式化操作的典型電壓及電流範圍： 表3：圖4之快閃記憶體胞元410之操作
   WL/SG BL EG SL
讀取 0.7-2.2V 0.6-2V 0-2.6V 0V
抹除 -0.5V/0V 0V 11.5V 0V
程式化 1V 0.2-3μA 4.5V 7-9V
圖5描繪堆疊閘極記憶體胞元510，其為另一類型之快閃記憶體胞元。記憶體胞元510類似於圖2之記憶體胞元210，不同之處在於浮動閘極20在整個通道區18上方延伸，且控制閘極22 (其在此處將耦接至字元線)在浮動閘極20上方延伸，藉由絕緣層(圖中未示)分離。抹除係藉由電子自FG至基板之FN穿隧而進行，程式化係藉由通道區18與汲極區16之間的區處進行通道熱電子(CHE)注入、藉由電子自源極區14朝向汲極區16流動來進行，且讀取操作類似於針對具有較高控制閘極電壓之記憶體胞元210之讀取操作。
表4描述可施加至記憶體胞元510之端子以及基板12以用於執行讀取、抹除及程式化操作的典型電壓範圍： 表4：圖5之快閃記憶體胞元510之操作
   CG BL SL 基板
讀取 2-5V 0.6 - 2V 0V 0V
抹除 -8至-10V/0V FLT FLT 8-10V / 15-20V
程式化 8-12V 3-5V 0V 0V
本文中所描述之方法及手段可應用於其他非揮發性記憶體技術，諸如但不限於FINFET分離閘極快閃或堆疊閘極快閃記憶體、NAND快閃、矽-氧化物-氮化物-氧化物-矽(SONOS，氮化物中之電荷捕捉)、金屬-氧化物-氮化物-氧化物-矽(MONOS，氮化物中之金屬電荷捕捉)、電阻式隨機存取記憶體(ReRAM)、相變記憶體(PCM)、磁性ram (MRAM)、鐵電ram (FeRAM)、電荷捕捉(CT)記憶體、碳管(CN)記憶體、雙層級或多層級一次性可程式化(OTP)及相關電子ram (CeRAM)。
為了利用包含上文在人工神經網路中所描繪之非揮發性記憶體胞元類型中之一者的記憶體陣列，進行二個修改。首先，線被組構以使得各記憶體胞元可個別地經程式化、抹除及讀取而不會不利地影響陣列中之其他記憶體胞元的記憶體狀態，如下文進一步解釋。其次，提供記憶體胞元之連續(類比)程式化。
具體而言，陣列中之各記憶體胞元之記憶體狀態(亦即，浮動閘極上的電荷)可獨立地且在最少干擾其他記憶體胞元之情況下連續地自完全抹除狀態改變至完全經程式化狀態，且反之亦然。此意謂胞元儲存器有效地類比或至少可儲存許多離散值(諸如，16或64個不同值)中之一者，此允許記憶體陣列中之所有記憶體胞元的極精確及個別調諧，且此使得記憶體陣列對於儲存及對神經網路之突觸權重進行調諧調整而言係理想的。 採用非揮發性記憶體胞元陣列之神經網路
圖6在概念上例示利用本發明實例之非揮發性記憶體陣列的神經網路之非限制性實例。此實例將非揮發性記憶體陣列神經網路用於人臉辨識應用，但任何其他適當應用皆可使用基於非揮發性記憶體陣列之神經網路來實施。
S0為輸入層，對於此實例，該輸入層為具有5位元精度之32×32像素RGB影像(亦即，三個32×32像素陣列，各色彩R、G及B一個陣列，各像素為5位元精度)。自輸入層S0行進至層C1之突觸CB1在一些情況下應用不同權重集合且在其他情況下共用權重，且用3×3像素重疊濾波器(核心)掃描輸入影像，使濾波器移位1個像素(或多於1個像素，如由模型規定)。具體而言，將影像(亦即，稱為濾波器或核心)之3×3部分中之9個像素的值提供至突觸CB1，在該突觸中將此等9個輸入值乘以適當權重，且在加總彼乘法之輸出之後，單一輸出值由第一突觸CB1判定及提供以用於產生層C1之特徵圖中之一者的像素。3×3濾波器接著在輸入層S0內向右移位一個像素(亦即，在右側上添加三個像素之行，且在左側上丟棄三個像素之行)，藉此將此新定位濾波器中之9個像素值提供至突觸CB1，其中使該等像素值乘以相同權重，且藉由相關突觸判定第二單一輸出值。此過程針對所有三種色彩且針對所有位元(精度值)繼續，直至3×3濾波器跨越輸入層S0之整個32×32像素影像進行掃描為止。過程接著使用不同權重集合進行重複以產生層C1之不同特徵圖，直至層C1之所有特徵圖已經計算為止。
在本實例中，在層C1中存在16個特徵圖，各特徵圖具有30×30個像素。各像素為自輸入與核心相乘而提取之新特徵像素，且因此各特徵圖為二維陣列，且因此在此實例中，層C1構成二維陣列之16個層(應謹記，本文中所提及的層及陣列為邏輯關係，未必為實體關係-亦即，陣列未必定向於實體二維陣列中)。層C1中之16個特徵圖中之各者皆由應用於濾波器掃描之突觸權重之十六個不同集合中的一者產生。C1特徵圖可皆針對同一影像特徵之不同態樣，諸如邊界識別。舉例而言，第一圖(使用第一權重集合產生，共用於用以產生此第一圖之所有掃描)可識別圓形邊緣，第二圖(使用不同於第一權重集合之第二權重集合產生)可識別矩形邊緣，或某些特徵的縱橫比等。
在自層C1進入層S1之前應用激活函數P1 (池化(pooling))，其池化來自各特徵圖中之連續非重疊2×2區的值。池化函數P1之目的為使附近位置達到平均(或亦可使用最大函數)，以例如降低邊緣位置之相依性且在進入下一階段之前縮減資料大小。在層S1處，存在16個15×15特徵圖(亦即，各自具有15×15像素之十六個不同陣列)。自層S1進入層C2之突觸CB2利用4×4濾波器掃描層S1中之圖，其中濾波器移位1個像素。在層C2處，存在22個12×12特徵圖。在自層C2進入層S2之前應用激活函數P2 (池化)，其池化來自各特徵圖中之連續非重疊2×2區的值。在層S2處，存在22個6×6特徵圖。在自層S2進入層C3之突觸CB3處應用激活函數(池化)，其中層C3中之每個神經元經由CB3之各別突觸連接至層S2中之每個圖。在層C3處，存在64個神經元。自層C3進入輸出層S3之突觸CB4將C3完全連接至S3，亦即，層C3中之每個神經元連接至層S3中之每個神經元。S3處之輸出包括10個神經元，其中最高輸出神經元判定類別。此輸出可例如指示原始影像之內容的識別或分類。
各突觸層係使用非揮發性記憶體胞元之陣列或陣列之一部分來實施。
圖7為可用於彼目的之陣列的方塊圖。向量矩陣乘法(VMM)陣列32包括非揮發性記憶體胞元，且用作一個層與下一層之間的突觸(諸如，圖6中之CB1、CB2、CB3及CB4)。具體而言，VMM陣列32包括非揮發性記憶體胞元陣列33、抹除閘極及字元線閘極解碼器34、控制閘極解碼器35、位元線解碼器36及源極線解碼器37，該等解碼器對非揮發性記憶體胞元陣列33之各別輸入進行解碼。至VMM陣列32之輸入可來自抹除閘極及字元線閘極解碼器34或來自控制閘極解碼器35。在此實例中，源極線解碼器37亦對非揮發性記憶體胞元陣列33之輸出進行解碼。替代地，位元線解碼器36可對非揮發性記憶體胞元陣列33之輸出進行解碼。
非揮發性記憶體胞元陣列33用於二種目的。首先，其儲存將由VMM陣列32使用之權重。其次，非揮發性記憶體胞元陣列33有效地使輸入乘以儲存於非揮發性記憶體胞元陣列33中之權重，且按輸出線(源極線或位元線)將結果相加以產生輸出，該輸出將為至下一層之輸入或至最終層之輸入。藉由執行乘法及加法函數，非揮發性記憶體胞元陣列33消除對分開的乘法及加法邏輯電路之需求，且由於其就地記憶體計算而亦為功率高效的。
將非揮發性記憶體胞元陣列33之輸出供應至差分求和器(諸如求和運算放大器或求和電流鏡) 38，該差分求和器加總非揮發性記憶體胞元陣列33之輸出以產生用於彼卷積之單一值。差分求和器38經配置以執行正權重與負權重之加總。
接著將差分求和器38之總計輸出值供應至激活函數區塊39，該激活函數區塊對輸出進行整流。激活函數區塊39可提供S型(sigmoid)、雙曲正切(tanh)或ReLU函數。激活函數區塊39之經整流輸出值變成作為下一層(例如圖6中之C1)的特徵圖之元素，且接著應用於下一突觸以產生下一特徵圖層或最終層。因此，在此實例中，非揮發性記憶體胞元陣列33構成複數個突觸(其自前一神經元層或自諸如影像資料庫之輸入層接收該等突觸之輸入)，且求和運算放大器38及激活函數區塊39構成複數個神經元。
至圖7中之VMM陣列32之輸入(WLx，EGx，CGx，以及選擇地BLx及SLx)可為類比位準、二進位位準或數位位元(在此情況下，DAC經提供以將數位位元轉換成適當輸入類比位準)，且輸出可為類比位準、二進位位準或數位位元(在此情況下，輸出ADC經提供以將輸出類比位準轉換成數位位元)。
圖8為描繪此處標記為VMM陣列32a、32b、32c、32d及32e之VMM陣列32的眾多層之使用的方塊圖。如圖8中所示，表示為輸入x (Inputx)之輸入由數位至類比轉換器31自數位轉換成類比，且被提供至輸入VMM陣列32a。經轉換類比輸入可為電壓或電流。第一層之輸入D/A轉換可藉由使用函數或LUT (查找表)來進行，該函數或LUT將輸入輸入x映射至用於輸入VMM陣列32a之矩陣乘法器的適當類比位準。輸入轉換亦可藉由類比至類比(A/A)轉換器來進行以將外部類比輸入轉換成至輸入VMM陣列32a之經映射類比輸入。
由輸入VMM陣列32a產生之輸出經提供為至下一VMM陣列(隱藏層級1) 32b之輸入，該下一VMM陣列又產生輸出，該輸出經提供為至下一VMM陣列(隱藏層級2) 32c之輸入，等等。VMM陣列32之各種層充當卷積神經網路(CNN)之不同突觸層及神經元層。各VMM陣列32a、32b、32c、32d及32e可為單獨之實體非揮發性記憶體陣列，或多個VMM陣列可利用相同實體非揮發性記憶體陣列之不同部分，或多個VMM陣列可利用相同實體非揮發性記憶體陣列之重疊部分。圖8中所示之實例含有五個層(32a、32b、32c、32d、32e)：一個輸入層(32a)、二個隱藏層(32b、32c)及二個完全連接層(32d、32e)。一般熟悉本技藝者應瞭解，此僅為例示性的，且系統替代地可包含多於二個隱藏層及多於二個完全連接層。 向量矩陣乘法(VMM)陣列
圖9描繪神經元VMM陣列900，其尤其適合於如圖3中所示之記憶體胞元310，且用作輸入層與下一層之間的突觸及神經元之部分。VMM陣列900包含非揮發性記憶體胞元之記憶體陣列901及非揮發性參考記憶體胞元之參考陣列902 (在陣列之頂部處)。替代地，另一參考陣列可置放於底部處。
在VMM陣列900中，諸如控制閘極線903等控制閘極線在垂直方向上延行(因此，列方向上之參考陣列902與控制閘極線903正交)，且諸如抹除閘極線904之抹除閘極線在水平方向上延行。此處，至VMM陣列900之輸入提供於控制閘極線(CG0，CG1，CG2，CG3)上，且VMM陣列900之輸出出現於源極線(SL0，SL1)上。在一個實例中，僅使用偶數列，且在另一實例中，僅使用奇數列。置放於各源極線(分別為SL0、SL1)上之電流對來自連接至彼特定源極線之記憶體胞元的所有電流執行求和函數。
如本文中針對神經網路所描繪，VMM陣列900之非揮發性記憶體胞元，亦即，VMM陣列900之記憶體胞元310，可被組構以在次臨限區中操作。
本文中所描述之非揮發性參考記憶體胞元及非揮發性記憶體胞元在弱反轉(weak inversion)中經偏壓(次臨限區)： Ids = Io * e (Vg- Vth)/nVt= w * Io * e (Vg)/nVt， 其中w = e (- Vth)/nVt其中Ids係汲極至源極電流；Vg係記憶體胞元上之閘極電壓；Vth係記憶體胞元之臨限電壓；Vt係熱電壓=k*T/q，其中k係波茲曼常數(Boltzmann constant)，T係以克耳文為單位的溫度，且q係電子電荷；n係斜率因數= 1 + (Cdep/Cox)，其中Cdep=耗盡層之電容，且Cox係閘極氧化物層之電容；Io係等於臨限電壓之閘極電壓下之記憶體胞元電流，Io係與(Wt/L)*u*Cox* (n-1) * Vt 2成比例，其中u係記憶體胞元之載流子遷移率，且Wt及L分別為寬度及長度。
對於使用記憶體胞元(諸如參考記憶體胞元或周邊記憶體胞元)或電晶體將輸入電流轉換成輸入電壓之I至V對數轉換器： Vg= n*Vt*log [Ids/wp*Io] 其中，wp係參考或周邊記憶體胞元之w。
對於用作具有電流輸入之向量矩陣乘法器VMM陣列之記憶體陣列，輸出電流為： Iout = wa * Io * e (Vg)/nVt，亦即 Iout = (wa/wp) * Iin = W * Iin W = e (Vthp - Vtha)/nVt此處，wa=記憶體陣列中之各記憶體胞元之w。 Vthp為周邊記憶體胞元之有效臨限電壓，且Vtha為主(資料)記憶體胞元之有效臨限電壓。應注意，電晶體之臨限電壓係基板基底偏壓電壓之函數，且表示為Vsb之基板基底偏壓電壓可經調變以補償此溫度下的各種條件。臨限電壓Vth可表述為： Vth = Vth0 + γ (SQRT |Vsb – 2*ϕF) - SQRT |2* ϕF |) 其中Vth0係具有零基板偏壓之臨限電壓，ϕF係表面電位，且γ係體效應參數。
字元線或控制閘極可用作用於輸入電壓之記憶體胞元之輸入。
替代地，本文中所描繪之VMM陣列之快閃記憶體胞元可被組構以在線性區中操作： Ids =β* (Vgs-Vth)*Vds；β= u*Cox*Wt/L W = α (Vgs-Vth) 此意謂線性區中之權重W係與(Vgs-Vth)成比例。
字元線或控制閘極或位元線或源極線可用作在線性區中操作之記憶體胞元的輸入。位元線或源極線可用作記憶體胞元之輸出。
對於I至V線性轉換器，記憶體胞元(諸如參考記憶體胞元或周邊記憶體胞元)或在線性區中操作之電晶體可用以將輸入/輸出電流線性地轉換成輸入/輸出電壓。
替代地，本文中所描述之VMM陣列之記憶體胞元可被組構以在飽和區中操作： Ids = * β* (Vgs-Vth) 2；β = u*Cox*Wt/L Wα (Vgs-Vth) 2，此意謂權重W與(Vgs-Vth) 2成比例。
字元線、控制閘極或抹除閘極可用作在飽和區中操作之記憶體胞元之輸入。位元線或源極線可用作輸出神經元之輸出。
替代地，本文中所描繪之VMM陣列之記憶體胞元可用於神經網路之各層或多層之所有區或其組合(次臨限區、線性區或飽和區)中。
圖7之VMM陣列32之其他實例描述於美國專利第10,748,630號中，該專利以引用之方式併入本文中。如彼申請案中所描繪，源極線或位元線可用作神經元輸出(電流總和輸出)。
圖10描繪神經元VMM陣列1000，其尤其適合於如圖2中所示之記憶體胞元210，且用作輸入層與下一層之間的突觸。VMM陣列1000包含非揮發性記憶體胞元之記憶體陣列1003、第一非揮發性參考記憶體胞元之參考陣列1001及第二非揮發性參考記憶體胞元的參考陣列1002。配置於陣列之行方向上之參考陣列1001及1002用以將流動至端子BLR0、BLR1、BLR2及BLR3中之電流輸入轉換成電壓輸入WL0、WL1、WL2及WL3。實際上，第一及第二非揮發性參考記憶體胞元為二極體連接式貫穿多工器1014 (僅部分描述)，其中電流輸入流入該等多工器中。參考胞元經調諧(例如，程式化)至目標參考位準。目標參考位準係由參考小型陣列矩陣(圖中未示)提供。
記憶體陣列1003用於二種目的。首先，其儲存將由VMM陣列1000在其各別記憶體胞元上使用之權重。其次，記憶體陣列1003有效地使輸入(亦即，在端子BLR0、BLR1、BLR2及BLR3中提供之電流輸入，其由參考陣列1001及1002轉換成輸入電壓以供應至字元線WL0、WL1、WL2及WL3)乘以儲存於記憶體陣列1003中之權重，且隨後將所有結果(記憶體胞元電流)相加以在各別位元線(BL0至BLN)上產生輸出，該輸出將為至下一層的輸入或至最終層之輸入。藉由執行乘法及加法函數，記憶體陣列1003消除對單獨的乘法及加法邏輯電路之需求，且亦係功率高效的。此處，電壓輸入設置於字元線WL0、WL1、WL2及WL3上，且輸出在讀取(推斷)操作期間出現於各別位元線BL0至BLN上。置於位元線BL0至BLN中之每一者上的電流對來自連接至彼特定位元線之所有非揮發性記憶體胞元的電流執行求和函數。
表5描繪用於VMM陣列1000之操作電壓及電流。表中之行指示置於以下各者上之電壓：用於選定胞元之字元線、用於未選定胞元之字元線、用於選定胞元之位元線、用於未選定胞元之位元線、用於選定胞元之源極線及用於未選定胞元之源極線。列指示讀取、抹除及程式化之操作。 表5：圖10之VMM陣列1000之操作
   WL WL -未選定 BL BL -未選定 SL SL -未選定
讀取 1-3.5V -0.5V/0V 0.6-2V (Ineuron) 0.6V-2V/0V 0V 0V
抹除 ~5-13V 0V 0V 0V 0V 0V
程式化 1-2V -0.5V/0V 0.1-3 uA Vinh ~2.5V 4-10V 0-1V/FLT
圖11描繪神經元VMM陣列1100，其尤其適合於如圖2中所示之記憶體胞元210，且用作輸入層與下一層之間的突觸及神經元之部分。VMM陣列1100包含非揮發性記憶體胞元之記憶體陣列1103、第一非揮發性參考記憶體胞元之參考陣列1101及第二非揮發性參考記憶體胞元之參考陣列1102。參考陣列1101及1102在VMM陣列1100之列方向上延行。VMM陣列類似於VMM 1000，不同之處在於在VMM陣列1100中，字元線在垂直方向上延行。此處，輸入經提供於字元線(WLA0、WLB0、WLA1、WLB2、WLA2、WLB2、WLA3、WLB3)上，且輸出在讀取操作期間出現於源極線(SL0、SL1)上。置放於各源極線上之電流對來自連接至彼特定源極線之記憶體胞元的所有電流執行求和函數。
表6描繪用於VMM陣列1100之操作電壓及電流。表中之行指示置於以下各者上之電壓：用於選定胞元之字元線、用於未選定胞元之字元線、用於選定胞元之位元線、用於未選定胞元之位元線、用於選定胞元之源極線及用於未選定胞元之源極線。列指示讀取、抹除及程式化之操作。 表6：圖11之VMM陣列1100之操作
   WL WL -未選定 BL BL -未選定 SL SL -未選定
讀取 1-3.5V -0.5V/0V 0.6-2V 0.6V-2V/0V ~0.3-1V (Ineuron) 0V
抹除 ~5-13V 0V 0V 0V 0V SL-抑制(~4-8V)
程式化 1-2V -0.5V/0V 0.1-3 uA Vinh ~2.5V 4-10V 0-1V/FLT
圖12描繪神經元VMM陣列1200，其尤其適合於圖3中所示之記憶體胞元310，且用作輸入層與下一層之間的突觸及神經元之部分。VMM陣列1200包含非揮發性記憶體胞元之記憶體陣列1203、第一非揮發性參考記憶體胞元之參考陣列1201及第二非揮發性參考記憶體胞元之參考陣列1202。參考陣列1201及1202用以將流入端子BLR0、BLR1、BLR2及BLR3中之電流輸入轉換成電壓輸入CG0、CG1、CG2及CG3。實際上，第一及第二非揮發性參考記憶體胞元為二極體連接之貫穿多工器1212 (僅部分顯示)，其中電流輸入經由BLR0、BLR1、BLR2及BLR3流入該等多工器中。多工器1212各自包括各別多工器1205及串疊電晶體1204以確保在讀取操作期間第一及第二非揮發性參考記憶體胞元中之各者之位元線(諸如BLR0)上的恆定電壓。參考胞元經調諧至目標參考位準。
記憶體陣列1203用於二種目的。首先，其儲存將由VMM陣列1200使用之權重。其次，記憶體陣列1203有效地使輸入(提供至端子BLR0、BLR1、BLR2及BLR3之電流輸入，其中參考陣列1201及1202將此等電流輸入轉換成輸入電壓以供應至控制閘極(CG0、CG1、CG2及CG3)乘以儲存於記憶體陣列中之權重，且接著將所有結果(胞元電流)相加以產生輸出，該輸出顯現於BL0至BLN上，且將為至下一層之輸入或至最終層之輸入。藉由執行乘法及加法函數，記憶體陣列消除對分開的乘法及加法邏輯電路之需求，且亦為功率高效的。此處，輸入提供於控制閘極線(CG0，CG1，CG2及CG3)上，且輸出在讀取操作期間出現於位元線(BL0至BLN)上。置於各位元線上之電流對來自連接至彼特定位元線之記憶體胞元的所有電流執行求和函數。
VMM陣列1200針對記憶體陣列1203中之非揮發性記憶體胞元實施單向調諧。亦即，各非揮發性記憶體胞元經抹除且接著經部分程式化，直至達到浮動閘極上之所要電荷為止。若過多電荷置放於浮動閘極上(使得錯誤值儲存於胞元中)，則胞元經抹除且部分程式化操作之序列重新開始。如所示，共用相同抹除閘極(諸如EG0或EG1)之二個列經一起抹除(此已知為頁面抹除)，且此後，部分地程式化各胞元直至達到浮動閘極上之所要電荷為止。
表7描繪用於VMM陣列1200之操作電壓及電流。該表中之行指示置於以下各者上之電壓：用於選定胞元之字元線、用於未選定胞元之字元線、用於選定胞元之位元線、用於未選定胞元之位元線、用於選定胞元之控制閘極、用於與選定胞元處於相同扇區中之未選定胞元之控制閘極、用於與選定胞元處於不同扇區中之未選定胞元之控制閘極、用於選定胞元之抹除閘極、用於未選定胞元之抹除閘極、用於選定胞元之源極線及用於未選定胞元之源極線。列指示讀取、抹除及程式化之操作。 表7：圖12之VMM陣列1200之操作
   WL WL-未 選定 BL BL-未 選定 CG CG -未 選定相 同扇區 CG-未 選定 EG EG-未 選定 SL SL-未 選定
讀取 1.0-2V -0.5V/ 0V 0.6-2V (Ineuron) 0V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0V 0V
抹除 0V 0V 0V 0V 0V 0-2.6V 0-2.6V 5-12V 0-2.6V 0V 0V
程式化 0.7-1V -0.5V/ 0V 0.1-1uA Vinh (1-2V) 4-11V 0-2.6V 0-2.6V 4.5-5V 0-2.6V 4.5-5V 0-1V
圖13描繪神經元VMM陣列1300，其尤其適合於如圖3中所示之記憶體胞元310，且用作輸入層與下一層之間的突觸及神經元之部分。VMM陣列1300包含非揮發性記憶體胞元之記憶體陣列1303、第一非揮發性參考記憶體胞元之參考陣列1301及第二非揮發性參考記憶體胞元之參考陣列1302。EG線EGR0、EG0、EG1及EGR1垂直地延行，而CG線CG0、CG1、CG2及CG3以及SL線WL0、WL1、WL2及WL3水平地延行。VMM陣列1300類似於VMM陣列1400，其不同之處在於VMM陣列1300實施雙向調諧，其中由於使用單獨的EG線，各個別胞元可視需要經完全抹除、部分程式化及部分抹除以達到浮動閘極上之所需電荷量。如所示，參考陣列1301及1302將端子BLR0、BLR1、BLR2及BLR3中之輸入電流轉換成待在列方向上施加至記憶體胞元之控制閘極電壓CG0、CG1、CG2及CG3 (經由二極體連接式參考胞元貫穿多工器1314進行之動作)。電流輸出(神經元)在位元線BL0至BLN中，其中各位元線加總來自連接至彼特定位元線之非揮發性記憶體胞元的所有電流。
表8描繪用於VMM陣列1300之操作電壓及電流。該表中之行指示置於以下各者上之電壓：用於選定胞元之字元線、用於未選定胞元之字元線、用於選定胞元之位元線、用於未選定胞元之位元線、用於選定胞元之控制閘極、用於與選定胞元處於相同扇區中之未選定胞元之控制閘極、用於與選定胞元處於不同扇區中之未選定胞元之控制閘極、用於選定胞元之抹除閘極、用於未選定胞元之抹除閘極、用於選定胞元之源極線及用於未選定胞元之源極線。列指示讀取、抹除及程式化之操作。 表8：圖13之VMM陣列1300之操作
   WL WL-未 選定 BL BL– 未選定 CG CG–未 選定相 同扇區 CG-未 選定 EG EG-未 選定 SL SL-未 選定
讀取 1.0-2V -0.5V/0V 0.6-2V (Ineuron) 0V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0-2.6V 0V 0V
抹除 0V 0V 0V 0V 0V 4-9V 0-2.6V 5-12V 0-2.6V 0V 0V
程式化 0.7-1V -0.5V/0V 0.1-1uA Vinh (1-2V) 4-11V 0-2.6V 0-2.6V 4.5-5V 0-2.6V 4.5-5V 0-1V
圖22描述神經元VMM陣列2200，其尤其適於如圖2中所示之記憶體胞元210，且用作輸入層與下一層之間的突觸及神經元之部分。在VMM陣列2200中，輸入INPUT 0、…、INPUT N分別接收於位元線BL 0、…、BL N上，且輸出OUTPUT 1、OUTPUT 2、OUTPUT 3及OUTPUT 4分別產生於源極線SL 0、SL 1、SL 2及SL 3上。
圖23描述神經元VMM陣列2300，其尤其適於如圖2中所示之記憶體胞元210，且用作輸入層與下一層之間的突觸及神經元之部分。在此實例中，輸入INPUT 0、INPUT 1、INPUT 2及INPUT 3分別在源極線SL 0、SL 1、SL 2及SL 3上經接收，且輸出OUTPUT 0、...、OUTPUT N產生於位元線BL 0、...、BL N上。
圖24描述神經元VMM陣列2400，其尤其適合於如圖2中所示之記憶體胞元210，且用作輸入層與下一層之間的突觸及神經元之部分。在此實例中，輸入INPUT 0、…、INPUT M分別接收於字元線WL 0、…、WL M上，且輸出OUTPUT 0、…、OUTPUT N產生於位元線BL 0、…、BL N上。
圖25描繪神經元VMM陣列2500，其尤其適合於如圖3中所示之記憶體胞元310，且用作輸入層與下一層之間的突觸及神經元之部分。在此實例中，輸入INPUT 0、…、INPUT M分別接收於字元線WL 0、…、WL M上，且輸出OUTPUT 0 、…、OUTPUT N產生於位元線BL 0、…、BL N上。
圖26描繪神經元VMM陣列2600，其尤其適合於如圖4中所示之記憶體胞元410，且用作輸入層與下一層之間的突觸及神經元之部分。在此實例中，輸入INPUT 0、…、INPUT n分別接收於垂直控制閘極線CG 0、…、CG N上，且輸出OUTPUT 1及OUTPUT 2產生於源極線SL 0及SL 1上。
圖27描繪神經元VMM陣列2700，其尤其適合於如圖4中所示之記憶體胞元410，且用作輸入層與下一層之間的突觸及神經元之部分。在此實例中，輸入INPUT 0、…、INPUT N分別接收於位元線控制閘極2701-1、2701-2、…、2701-(N-1)及2701-N之閘極上，該等閘極分別耦接至位元線BL 0、…、BL N。實例輸出OUTPUT 1及OUTPUT 2產生於源極線SL 0及SL 1上。
圖28描繪神經元VMM陣列2800，其尤其適合於如圖3中所示之記憶體胞元310、如圖5中所示之記憶體胞元510及如圖7中所示的記憶體胞元710，且用作輸入層與下一層之間的突觸及神經元之部分。在此實例中，輸入INPUT 0、...、INPUT M在字元線WL 0、...、WL M上經接收，且輸出OUTPUT 0、...、OUTPUT N分別產生於位元線BL 0、...、BL N上。
圖29描述神經元VMM陣列2900，其尤其適合於如圖3中所示之記憶體胞元310、如圖5中所示之記憶體胞元510及如圖7中所示的記憶體胞元710，且用作輸入層與下一層之間的突觸及神經元之部分。在此實例中，輸入INPUT 0、…、INPUT M接收於控制閘極線CG 0、…、CG M上。輸出OUTPUT 0、…、OUTPUT N分別產生於垂直源極線SL 0、…、SL N上，其中各源極線SL i耦接至行i中之所有記憶體胞元之源極線。
圖30描繪神經元VMM陣列3000，其尤其適合於如圖3中所示之記憶體胞元310、如圖5中所示之記憶體胞元510及如圖7中所示的記憶體胞元710，且用作輸入層與下一層之間的突觸及神經元之部分。在此實例中，輸入INPUT 0、…、INPUT M接收於控制閘極線CG 0、…、CG M上。輸出OUTPUT 0、….、OUTPUT N分別產生於垂直位元線BL 0、…、BL N上，其中各位元線BL i耦接至行i中之所有記憶體胞元之位元線。 長短期記憶體
先前技術包括稱為長短期記憶體(LSTM)之概念。LSTM單元常常用於神經網路中。LSTM允許神經網路在預定任意時間間隔內記住資訊且在後續操作中使用彼資訊。習知LSTM單元包含胞元、輸入閘極、輸出閘極及遺忘閘極。三個閘極調節資訊進入及離開胞元之流動及在LSTM中記住資訊的時間間隔。VMM尤其適用於LSTM單元。
圖14描繪實例LSTM 1400。此實例中之LSTM 1400包含胞元1401、1402、1403及1404。胞元1401接收輸入向量x 0，且產生輸出向量h 0及胞元狀態向量c 0。胞元1402接收輸入向量x 1、來自胞元1401之輸出向量(隱藏狀態) h 0及來自胞元1401之胞元狀態c 0，且產生輸出向量h 1及胞元狀態向量c 1。胞元1403接收輸入向量x 2、來自胞元1402之輸出向量(隱藏狀態) h 1及來自胞元1402之胞元狀態c 1，且產生輸出向量h 2及胞元狀態向量c 2。胞元1404接收輸入向量x 3、來自胞元1403之輸出向量(隱藏狀態) h 2及來自胞元1403之胞元狀態c 2，且產生輸出向量h 3。可使用額外胞元，且具有四個胞元之LSTM僅為實例。
圖15描繪LSTM胞元1500之實例實施，其可用於圖14中之胞元1401、1402、1403及1404。LSTM胞元1500接收輸入向量x(t)、來自前述胞元之胞元狀態向量c(t-1)及來自前述胞元之輸出向量h(t-1)，且產生胞元狀態向量c(t)及輸出向量h(t)。
LSTM胞元1500包含S型函數構件1501、1502及1503，其中之各者應用0與1之間的數字以控制輸入向量中之各分量被允許通過輸出向量之量。LSTM胞元1500亦包含用以將雙曲正切函數應用於輸入向量之雙曲正切構件1504及1505、用以使二個向量相乘在一起之乘法器構件1506、1507及1508，及用以將二個向量相加在一起之加法構件1509。可將輸出向量h(t)提供至系統中之下一LSTM胞元，或可出於其他目的來存取該輸出向量。
圖16描繪LSTM胞元1600，其為LSTM胞元1500之實施之實例。為了方便讀者，來自LSTM胞元1500之相同編號用於LSTM胞元1600中。S型函數構件1501、1502及1503以及雙曲正切構件1504各自包含多個VMM陣列1601及激活函數區塊1602。因此，可見VMM陣列特別適用於在某些神經網路系統中使用之LSTM胞元。乘法器構件1506、1507及1508以及加法構件1509以數位方式或以類比方式實施。激活函數區塊1602可以數位方式或以類比方式實施。
LSTM胞元1600之替代方案(及LSTM胞元1500之實施之另一實例)在圖17中加以顯示。在圖17中，S型函數構件1501、1502及1503以及雙曲正切構件1504以時間多工方式共用同一實體硬體(VMM陣列1701及激活函數區塊1702)。LSTM胞元1700亦包含用以使二個向量相乘在一起之乘法器構件1703、用以使二個向量相加在一起之加法構件1708、雙曲正切構件1505 (其包含激活函數區塊1702)、用以當值i(t)自S型函數區塊1702輸出時儲存i(t)的暫存器1707、用以當值f(t) * c(t-1)經由多工器1710自乘法器構件1703輸出時儲存該值之暫存器1704、用以當值i(t) * u(t)經由多工器1710自乘法器構件1703輸出時儲存該值的暫存器1705，及用以當值o(t) * c~(t)經由多工器1710及多工器1709自乘法器構件1703輸出時儲存該值之暫存器1706。
LSTM胞元1600含有VMM陣列1601及各別激活函數區塊1602之多個集合，而LSTM胞元1700僅含有VMM陣列1701及激活函數區塊1702之一個集合，該等VMM陣列1701及該激活函數區塊1702用於表示LSTM胞元1700之實例中之多個層。LSTM胞元1700將需要相較於LSTM 1600較少之空間，此係因為LSTM胞元1700相比於LSTM胞元1600將需要1/4之空間用於VMM及激活函數區塊。
可進一步瞭解，LSTM單元將通常包含多個VMM陣列，其中之各者需要由VMM陣列外部的某些電路區塊，諸如求和器及激活函數區塊以及高電壓產生區塊所提供之功能。向各VMM陣列提供單獨電路區塊將需要半導體構件內之大量空間且將略微低效。因此，下文所描述之實例減少在VMM陣列自身外部所需之電路系統。 閘控遞迴單元
類比VMM實施可用於閘控遞迴單元(gated recurrent unit；GRU)系統。GRU係遞迴神經網路中之閘控機制。GRU類似於LSTM，不同之處在於GRU胞元通常含有少於LSTM胞元之組件。
圖18描繪實例GRU 1800。此實例中之GRU 1800包含胞元1801、1802、1803及1804。胞元1801接收輸入向量x 0且產生輸出向量h 0。胞元1802接收輸入向量x 1、來自胞元1801之輸出向量h 0，且產生輸出向量h 1。胞元1803接收輸入向量x 2及來自胞元1802之輸出向量(隱藏狀態) h 1，且產生輸出向量h 2。胞元1804接收輸入向量x 3及來自胞元1803之輸出向量(隱藏狀態) h 2且產生輸出向量h 3。可使用額外胞元，且具有四個胞元之GRU僅為實例。
圖19描繪GRU胞元1900之實例實施，其可用於圖18之胞元1801、1802、1803及1804。GRU胞元1900接收輸入向量x(t)及來自前一GRU胞元之輸出向量h(t-1)，且產生輸出向量h(t)。GRU胞元1900包含S型函數構件1901及1902，其中之各者將0與1之間的數字應用至來自輸出向量h(t-1)及輸入向量x(t)之分量。GRU胞元1900亦包含用以將雙曲正切函數應用至輸入向量之雙曲正切構件1903，用以將二個向量相乘在一起之複數個乘法器構件1904、1905及1906，用以將二個向量相加在一起之加法構件1907及用以自1減去輸入以產生輸出之互補構件1908。
圖20描繪GRU胞元2000，其為GRU胞元1900之實施之實例。為了方便讀者，來自GRU胞元1900之相同編號用於GRU胞元2000中。如圖20中可見，S型函數構件1901及1902以及雙曲正切構件1903各自包含多個VMM陣列2001及激活函數區塊2002。因此，可見VMM陣列特別用於在某些神經網路系統中使用之GRU胞元。乘法器構件1904、1905、1906、加法構件1907及互補構件1908以數位方式或以類比方式實施。激活函數區塊2002可以數位方式或以類比方式實施。
GRU胞元2000之替代方案(及GRU胞元1900之實施之另一實例)在圖21中加以顯示。在圖21中，GRU胞元2100利用VMM陣列2101及激活函數區塊2102，該激活函數區塊在被組構為S型函數時應用0與1之間的數字以控制輸入向量中之各分量被允許通過輸出向量之量。在圖21中，S型函數構件1901及1902以及雙曲正切構件1903以時間多工方式共用同一實體硬體(VMM陣列2101及激活函數區塊2102)。GRU胞元2100亦包含用以使二個向量在一起相乘之乘法器構件2103、用以使二個向量在一起相加之加法構件2105、用以自1減去輸入以產生輸出之互補構件2109、多工器2104、用以當值h(t-1) * r(t)經由多工器2104自乘法器構件2103輸出時保存彼值之暫存器2106、用以當值h(t-1) *z(t)經由多工器2104自乘法器構件2103輸出時保存彼值之暫存器2107，及用以當值h^(t) * (1-z(t))經由多工器2104自乘法器構件2103輸出時保存彼值之暫存器2108。
GRU胞元2000含有VMM陣列2001及激活函數區塊2002之多個集合，而GRU胞元2100僅含有VMM陣列2101及激活函數區塊2102的一個集合，其用於表示GRU胞元2100之實例中的多個層。GRU胞元2100將需要相較於GRU胞元2000較少之空間，此係因為GRU胞元2100相比於GRU胞元2000將需要1/3之空間以用於VMM及激活函數區塊。
可進一步瞭解，GRU系統將通常包含多個VMM陣列，其中各者需要由VMM陣列外部之某些電路區塊(諸如求和器及激活函數區塊以及高電壓產生區塊)提供的功能。向各VMM陣列提供單獨電路區塊將需要半導體構件內之大量空間且將略微低效。因此，下文所描述之實例減少在VMM陣列自身外部所需之電路系統。
至VMM陣列之輸入可為類比位準、二進位位準、脈衝、時間經調變脈衝或數位位元(在此情況下，需要DAC將數位位元轉換成適當的輸入類比位準)，且輸出可為類比位準、二進位位準、定時脈衝、脈衝或數位位元(在此情況下，需要輸出ADC將輸出類比位準轉換成數位位元)。
一般而言，對於VMM陣列中之各記憶體胞元，各權重W可由單一記憶體胞元或差分胞元或二個混合記憶體胞元(2個胞元之平均值)實施。在差分胞元情況下，需要二個記憶體胞元以將權重W實施為差分權重(W = W+ - W-)。在二個混合記憶體胞元中，需要二個記憶體胞元以將權重W實施為二個胞元之平均值。
圖31描述VMM系統3100。在一些實例中，儲存於VMM陣列中之權重W經儲存為差分對W+ (正權重)及W- (負權重)，其中W = (W+) - (W-)。在VMM系統3100中，一半位元線經指定為W+線，亦即，連接至將儲存正權重W+之記憶體胞元的位元線，且另一半位元線經指定為W-線，亦即，連接至實施負權重W-之記憶體胞元的位元線。W-線以交替方式穿插於W+線當中。減法運算係由自W+線及W-線接收電流之求和電路執行，諸如為求和電路3101及3102。W+線之輸出及W-線之輸出組合在一起，從而對於所有對(W+, W-)線之各對(W+, W-)胞元，有效地得出W = W+ - W-。雖然上文已關於W-線以交替方式穿插在W+線當中進行描述，但在其他實例中，W+線及W-線可任意地位於陣列中之任何位置。
圖32描繪另一實例。在VMM系統3210中，正權重W+經實施於第一陣列3211中且負權重W-經實施於第二陣列3212中，第二陣列3212與第一陣列分離，且所得權重係藉由求和電路3213適當地組合在一起。
圖33描述VMM系統3300。儲存於VMM陣列中之權重W經儲存為差分對W+ (正權重)及W- (負權重)，其中W = (W+) - (W-)。VMM系統3300包含陣列3301及陣列3302。陣列3301及3302中之各者中的一半位元線經指明為W+線，亦即，連接至將儲存正權重W+之記憶體胞元的位元線，且陣列3301及3302中之各者中的另一半位元線經指明為W-線，亦即，連接至實施負權重W-之記憶體胞元的位元線。W-線以交替方式穿插於W+線當中。減法運算係由自W+線及W-線接收電流之求和電路執行，諸如求和電路3303、3304、3305及3306。來自各陣列3301、3302之W+線之輸出及W-線之輸出分別組合在一起，以針對所有對(W+, W-)線之各對(W+, W-)胞元而有效地得到W = W+ - W-。另外，來自各陣列3301及3302之W值可經由求和電路3307及3308進一步組合，以使得各W值係來自陣列3301的W值減去來自陣列3302之W值的結果，此意謂來自求和電路3307及3308之最終結果係二個差分值之差分值。
用於類比神經記憶體系統中之各非揮發性記憶體胞元待經抹除及程式化，以在浮動閘極中保持極特定且精確的電荷量，亦即電子數目。舉例而言，各浮動閘極應保存N個不同值中之一者，其中N係可由各胞元指示之不同權重的數目。N之實例包括16、32、64、128及256。
圖34描繪VMM系統3400之方塊圖。VMM系統3400包含VMM陣列3401、列解碼器3402、高電壓解碼器3403、行解碼器3404、位元線驅動器3405、輸入電路3406、輸出電路3407、控制邏輯3408及偏壓產生器3409。VMM系統3400進一步包含高電壓產生區塊3410，該高電壓產生區塊包含電荷泵3411、電荷泵調節器3412及高電壓類比精度位準產生器3413。VMM系統3400進一步包含(程式化/抹除，或權重調諧)演算法控制器3414、類比電路系統3415、控制引擎3416 (其可包括但不限於特殊函數，諸如算術函數、激活函數、嵌入式微控制器邏輯)，以及測試控制邏輯3417。
輸入電路3406可包括電路，諸如數位至類比轉換器(DAC)、數位至脈衝轉換器(DPC、數位至時間調變脈衝轉換器)、類比至類比轉換器(AAC，諸如電流至電壓轉換器、對數轉換器)、脈衝至類比位準轉換器(PAC)，或任何其他類型之轉換器。輸入電路3406可實施正規化、線性或非線性按比例放大/按比例縮小函數，或算術函數中之一或多者。輸入電路3406可針對輸入位準實施溫度補償函數。輸入電路3406可實施諸如ReLU或S型之激活函數。
輸出電路3407可包括電路，諸如類比至數位轉換器(ADC，其用以將神經元類比輸出轉換成數位位元)、類比至類比轉換器(AAC，諸如電流至電壓轉換器、對數轉換器)、類比至脈衝轉換器(APC、類比至時間調變脈衝轉換器)，或任何其他類型之轉換器。輸出電路3407可實施激活函數，諸如整流線性激活函數(ReLU)或S型。輸出電路3407可針對神經元輸出實施統計正規化、正則化、按比例放大/按比例縮小/增益函數，統計捨位或算術函數(例如，加法、減法、除法、乘法、移位、對數)中之一或多者。輸出電路3407可針對神經元輸出或陣列輸出(諸如位元線輸出)實施溫度補償函數，以便使陣列之功率消耗保持近似恆定或諸如藉由使IV斜率保持大致相同而改良陣列(神經元)輸出的精度。
隨著人工神經網路之應用變得更複雜，存在增加對較大VMM陣列之需要。同時，存在對高效地使用封裝積體電路內之空間且儘可能節約功率同時仍維持準確度以使得N個不同權重中之各者仍適當地儲存及讀取的需要。
描述用於提供包含三維積體電路之人工神經網路系統的眾多實例，該三維積體電路包含一或多個VMM陣列。
3D VMM系統架構
圖35描繪3D VMM系統3500，其包含複數個晶粒，諸如晶粒3501、3502、3503、3504、3505及3506，該等晶粒垂直地堆疊於封裝3522內以形成封裝積體電路。3D VMM系統3500包含在功能上類似於圖34中之VMM系統3400中含有之區塊的某些功能區塊，但該等區塊可位於不同晶粒上。此處，晶粒3501及3502中含有之組件共用晶粒3503、3504、3505及3506中含有的組件。
在此實施例中，晶粒3501含有各別VMM陣列3507 (在功能上類似於圖34中之VMM 3401)、各別輸入多工器3509、各別列緩衝器3523 (其可提供例如取樣保持緩衝電壓至陣列輸入)、各別高電壓解碼器3508 (在功能上類似於圖34中之高電壓解碼器3403)及各別神經元電路3510 (其可執行例如但不限於陣列輸出電流之縮放函數、最小/最大限制函數、差分輸出轉換、緩衝)。輸入多工器3509接收類比輸入信號且將類比輸入信號施加至VMM陣列3507，其神經元電路3510自VMM陣列3507接收表示神經元輸出之類比輸出信號。輸出信號可被發送至3D VMM系統3500內之其他區塊。
晶粒3502亦含有各別VMM陣列3507、各別輸入多工器3509、各別列緩衝器3522、各別高電壓解碼器3508及各別神經元電路3510。
在此實施例中，二個晶粒(晶粒3501及3502)含有各別VMM陣列3507，但應理解可包括含有各別VMM陣列之額外晶粒。
晶粒3503含有高電壓產生器3511 (在功能上類似於圖34中之高電壓產生區塊3410)、類比電路系統3512 (在功能上類似於圖34中之類比電路系統3415)及溫度補償電路3513。3D VMM系統3500可具有2D VMM系統3400不具有之熱挑戰。因為晶粒3501、3502、3503、3504、3505及3506以垂直組構堆疊且含有不同類型之電路，所以各晶粒可在操作期間經歷不同熱操作條件。舉例而言，某些晶粒將變得比其他晶粒更熱，且溫度增加之速率可在晶粒當中變化。此引入歸因於熱改變之不準確度之可能性。溫度補償電路3513補償各種晶粒當中經歷之溫度改變。視情況，一或多個熱感測器位於各各別晶粒上以將溫度資料提供至溫度補償電路3513。溫度補償電路3513接著改變微調或組構設定以補償溫度中之任何改變。溫度補償電路3513亦補償各晶粒之溫度改變，例如補償溫度內之胞元電流改變，諸如使所得位元線(神經元)電流在溫度上大致相同。溫度補償電路3513亦用於神經元電路3510、DAC及ADC電路，以便使操作動態範圍(例如，DAC之輸出範圍、ADC之輸入範圍、神經元電路3510之輸出範圍)在溫度上大致相同。
晶粒3504含有輸入電路3514 (在功能上類似於輸入電路3406)，其包括位址解碼電路3524、列暫存器3525 (保持陣列列之激活輸入值)及數位至類比轉換器(DAC) 3515。DAC 3515自列暫存器3525接收數位信號且將其轉換成類比信號。
晶粒3505含有類比至數位轉換器(ADC) 3516。ADC 3516接收類比信號且將其轉換成數位信號。
晶粒3506含有數位電路3517、靜態隨機存取記憶體(SRAM) 3518、暫存器3519、實體I/O連接3520、數位加速器3531及網路單晶片(network-on-chip；NOC) 3715。晶粒3506提供用於其他晶粒之控制函數。數位電路3517可包括數位邏輯、微控制器、單一指令多重資料(SIMD)處理器及處理器。SRAM 3518及暫存器3519可用於在3D VMM系統3500中儲存由數位電路3517或其他電路或區塊使用之系統資訊及組構資訊。實體I/O連接3520提供至VMM系統3500外部之構件(諸如外部處理單元)或至另一封裝3522之IO介面。數位加速器3531用於其中可需要額外處理之某些神經網路或神經網路內之某些層，諸如當存在較小激活大小時，其中胞元中所儲存之權重為動態的且不固定，其中需要執行MAC運算但不限於此。NOC 3715在3D VMM系統3500內提供網路路由功能，例如藉由產生控制信號以使得信號自一個區塊路由至另一區塊。
複數個晶粒中之各別者經由垂直介面3521連接至複數個晶粒中之一或多個其他晶粒，該垂直介面3521分別將二個或更多個晶粒連接在一起。在一個實施例中，垂直介面3521實施為穿透矽通孔(TSV)。
在3D VMM系統3500之讀取操作期間，數位輸入藉由輸入電路3514接收。數位輸入啟用列暫存器3525，該列暫存器3525儲存激活輸入且回應於數位輸入將選定激活輸入施加至DAC 3515，DAC 3515將數位輸出自列暫存器3525轉換成各別類比信號。由DAC 3515產生之類比信號由輸入電路3514經由一或多個垂直介面3521提供至晶粒3501、3502中之一或多者上的輸入多工器3509及列緩衝器3523，該等晶粒接著將信號施加至各別VMM陣列3507中之一或多個列，導致輸出由VMM陣列3507產生。來自各別VMM陣列3507之輸出由各別神經元電路3510接收，該各別神經元電路3510提供緩衝功能以驅動其連接之一或多個垂直介面3521的寄生電容。神經元電路3510經由一或多個垂直介面3521將類比信號提供至晶粒3505上之ADC 3516，該ADC 3516將類比信號轉換成數位信號。替代地，類比信號可繞過ADC 3516且保持類比形式。ADC 3516之輸出經由實體I/O 3520提供至3D VMM系統3500外部之構件(諸如處理單元或圖形處理單元)，或施加為至各別VMM陣列3507 (表示人工神經網路中之另一層)之輸入。替代地，來自神經元電路3510之類比信號可繞過ADC 3516且保持類比形式且作為輸入施加至各別VMM陣列3507。
圖36描繪包含封裝3622之3D VMM系統3600。3D VMM系統3600類似於3D VMM系統3500，且含有許多相同組件，不同之處在於組件及某些額外組件之置放的一些差異。與圖35中相同之項目含有與圖36中相同的項目數目。此處，晶粒3601及3602中含有之組件共用晶粒3603、3604、3605及3606中含有之組件。
3D VMM系統3600包含複數個晶粒，諸如晶粒3601、3602、3603、3604、3605及3606，該等晶粒垂直地堆疊於共同封裝3522中以形成封裝積體電路。
在此實施例中，晶粒3601含有各別VMM陣列3507、各別輸入多工器3509、各別暫存器3524 (保持用於陣列列之激活輸入值)、各別列緩衝器3523、各別高電壓多工器3608及各別行多工器3610。
晶粒3602亦含有各別VMM陣列3507、各別輸入多工器3509、各別暫存器3524、各別列緩衝器3523、各別高電壓多工器3608及行多工器3610。
在此實施例中，二個晶粒(晶粒3601及3602)含有各別VMM陣列3507，但應理解可包括含有各別VMM陣列之額外晶粒。
晶粒3603含有高電壓產生器3511、類比電路系統3512、溫度補償電路3513及高電壓多工器3608。
晶粒3604含有包括位址解碼3524及DAC 3515之輸入電路3614。
晶粒3605含有神經元電路3510及ADC 3516。
晶粒3606含有數位電路3517、SRAM 3518、暫存器3519及實體I/O連接3520。
複數個晶粒中之各別晶粒經由各別垂直介面3521連接複數個晶粒內的一或多個其他晶粒。
在3D VMM系統3600之讀取操作期間，輸入電路3614接收輸入且接收位址。位址解碼器3524解碼位址，且經由一或多個垂直介面3521將輸入提供至對應於經解碼位址之各別列暫存器3525。各別列暫存器3525之輸出經由一或多個垂直介面3521耦接至DAC 3515，該DAC 3515將自列暫存器3525接收到的數位輸出轉換成類比信號，且經由一或多個垂直介面3521將類比信號提供至各別輸入多工器3509及列緩衝器3523。列緩衝器3523將已緩衝類比信號施加至用於選定列(諸如陣列控制閘極或字元線)之各別VMM陣列3507的列輸入。來自各別VMM陣列3507之輸出(諸如來自陣列位元線)由各別行多工器3610接收，且各別行多工器3610之輸出經由一或多個垂直介面3521將信號提供至晶粒3605上之ADC 3516，該ADC 3516將類比信號轉換成數位信號。替代地，信號可繞過ADC 3516且保持類比形式。ADC 3516之輸出經由一或多個垂直介面3521提供至晶粒3606上之數位電路3517 (其可執行激活函數、池化函數或其他網路功能)，數位電路3517之輸出可經由各別垂直介面3521通過晶粒3606上之實體I/O 3520提供至3D VMM系統3600外部的構件(諸如處理單元或圖形處理單元)或至晶粒3604上之輸入電路3614，作為至另一各別VMM陣列3507 (表示人工神經網路中之另一層)之輸入。
圖37A描繪3D VMM系統3700，其包含二個或更多個垂直堆疊中之複數個晶粒。在此實施例中，第一垂直堆疊包含晶粒3701、3702、3703、3704、3705及3706，且第二垂直堆疊包含晶粒3707、3708、3709、3710、3711及3712，其均含於共同封裝3522中以形成單一封裝積體電路。在一個實施例中，第一垂直堆疊中之晶粒為與第二垂直堆疊中之晶粒實體分離的晶粒。在另一實施例中，第一垂直堆疊中之晶粒與第二垂直堆疊中之晶粒為相同實體晶粒(意謂例如晶粒3701與3707為相同晶粒)。此處，晶粒3701及3702中含有之組件共用晶粒3703、3704、3705及3706中含有的組件，且晶粒3707及3708中含有之組件共用晶粒3709、3710、3711及3712中含有的組件。
在所示之實施例中，晶粒3701及晶粒3707各自含有各別VMM陣列3507、各別陣列輸入3729 (其包括各別輸入多工器3509、各別位址解碼器3713、各別列暫存器3525及各別列緩衝器3523)、各別高電壓多工器3608及各別神經元電路3510。
晶粒3702及晶粒3708亦各自含有各別VMM陣列3507、各別陣列輸入3729 (其包括各別輸入多工器3509、各別位址解碼器3713、各別列暫存器3525及各別列緩衝器3523)、各別高電壓多工器3608及各別神經元電路3510。
在此實施例中，四個晶粒(晶粒3701、3702、3707及3708)含有各別VMM陣列3507，但應理解可包括含有VMM陣列之額外晶粒。
晶粒3703及晶粒3709各自含有各別高電壓解碼器3714、各別高電壓產生器3511、各別類比電路系統3512及各別溫度補償電路3513。
晶粒3704及晶粒3710各自含有包括各別DAC 3515之各別輸入電路3514。
晶粒3705及晶粒3711各自含有各別ADC 3516。
晶粒3706及晶粒3712各自含有各別數位電路3517、各別SRAM 3518、各別暫存器3519、各別實體I/O連接3520及各別網路單晶片(NOC)連接3715。
複數個晶粒中之各別晶粒經由分別將二個或更多個晶粒連接在一起之一或多個垂直介面3521或水平介面3716連接至複數個晶粒內的一或多個其他晶粒。在一個實施例中，垂直介面3521分別為穿透矽通孔(TSV)。在一個實施例中，水平介面3716分別為再分佈層（RDL）連接。
在3D VMM系統3700之讀取操作期間，數位輸入由各別輸入電路3514接收，該各別輸入電路3514經由其各別DAC 3515將數位輸入轉換成類比信號，且各別DAC 3515之輸出經由各別垂直介面3521及/或水平介面3716耦接至各別陣列輸入3729之列暫存器3525。各別陣列輸入3729之列暫存器3525之輸出提供至輸入多工器3509及列緩衝器3523，接著將信號施加至VMM陣列3507中之一或多個列。來自各別VMM陣列3507之輸出由各別神經元電路3510接收，神經元電路3510提供緩衝功能以驅動連接至其之一或多個垂直介面3521或水平介面3716的寄生電容。神經元電路3510經由一或多個垂直介面3521或水平介面3716將緩衝類比信號提供至各別ADC 3516，該ADC 3516將類比信號轉換成數位信號。ADC 3516之輸出提供至各別數位電路3517 (其執行激活函數、池化函數或網路函數)，且各別數位電路3517之輸出可經由各別實體I/O 3520提供至3D VMM系統3700外部之構件(諸如處理單元或圖形處理單元)或至待由各別DAC 3515轉換的各別輸入電路3514，且各別輸入電路3514之輸出經由各別實體I/O 3520耦接至另一VMM陣列3507 (表示人工神經網路中之另一層)或至另一封裝3522。
圖37B描繪類似於3D VMM系統3750之3D VMM系統3750，不同之處在於其具有另一類型的VMM陣列，在晶粒3758上顯示為VMM陣列3557，該VMM陣列3557包含靜態RAM胞元或動態RAM胞元。
圖38描繪3D VMM系統3800，其包含二個垂直堆疊中之複數個晶粒。有可能具有多於二個堆疊。在此實施例中，第一垂直堆疊包含晶粒3801、3802、3803、3804、3805及3806，且第二垂直堆疊包含晶粒3807、3808、3809、3810、3811及3812，其均含於共同封裝3522中以形成單一封裝積體電路。在一個實施例中，第一垂直堆疊中之晶粒為與第二垂直堆疊中之晶粒實體分離的晶粒。在另一實施例中，第一垂直堆疊中之晶粒與第二垂直堆疊中之晶粒為相同實體晶粒(意謂例如晶粒3801與3807為相同晶粒)。此處，晶粒3801及3802中含有之組件共用晶粒3803、3804、3805及3806中含有的組件，且晶粒3807及3808中含有之組件共用晶粒3809、3810、3811及3812中含有的組件。
在所示之實施例中，晶粒3801、3802、3807及晶粒3808各自含有各別VMM陣列3507、各別陣列輸入3729、各別高電壓多工器3608、各別行多工器3610及各別陣列輸入電路3729。各別陣列輸入3729包含輸入多工器3509及位址解碼器3713、列暫存器3524及列緩衝器3523。
在此實施例中，四個晶粒(晶粒3801、3802、3807及3808)含有VMM陣列，但應理解可包括含有VMM陣列之額外晶粒。
晶粒3803及晶粒3809分別含有高電壓解碼器3714、高電壓產生器3511、類比電路系統3512及溫度補償電路3513。
晶粒3804及晶粒3810分別含有包括DAC 3515之輸入電路3514。
晶粒3805及晶粒3811分別含有ADC 3516及神經元電路3510。
晶粒3806及晶粒3812分別含有數位電路3517、SRAM 3518、暫存器3519、實體I/O連接3520及NOC連接3715。
複數個晶粒經由分別將二個或更多個晶粒連接在一起之一或多個垂直介面3521或水平介面3716分別連接至複數個晶粒內的一或多個其他晶粒。在一個實施例中，各別垂直介面3521實施為穿透矽通孔(TSV)。在一個實施例中，各別水平介面3716實施為再分佈層（RDL）連接。
在3D VMM系統3800之讀取操作期間，數位輸入由輸入電路3514接收，該輸入電路3514使用DAC 3515將數位輸入轉換成類比形式且經由各別垂直介面3521及/或水平介面3716將類比信號提供至各別陣列輸入電路3729。陣列輸入電路3729自輸入電路及位址接收類比信號，且接著在VMM陣列3507中回應於位址將類比信號施加至選定列。來自VMM陣列3507之輸出由行多工器3610接收，該行多工器3610經由一或多個垂直介面3521或水平介面3716將類比信號提供至ADC 3516，該ADC 3516將類比信號轉換成數位信號。替代地，類比信號可繞過ADC 3516且保持類比形式。ADC 3516之輸出經由一或多個垂直介面3521或水平介面3716提供至數位電路3517 (其可執行激活函數、池化函數或其他網路函數)，且數位電路3517之輸出可經由實體I/O 3520提供至3D VMM系統3800外部之構件(諸如處理單元或圖形處理單元)或至另一VMM陣列3507 (表示人工神經網路中之另一層)的輸入電路3514或經由實體I/O 3520至另一封裝3522。
圖39A描繪3D VMM系統3900，其包含二個垂直堆疊中之複數個晶粒。在此實施例中，第一垂直堆疊包含晶粒3901、3902、3903及3904，且第二垂直堆疊包含晶粒3905、3906、3907及3908，其均含於共同封裝3522中以形成單一封裝積體電路。在一個實施例中，第一垂直堆疊中之晶粒為與第二垂直堆疊中之晶粒實體分離的晶粒。在另一實施例中，第一垂直堆疊中之晶粒與第二垂直堆疊中之晶粒為相同實體晶粒(意謂例如晶粒3901與3905為相同晶粒)。此處，晶粒3901及3902中含有之組件共用晶粒3903及3904中含有的組件，且晶粒3905及3906中含有的組件共用晶粒3907及3908中含有的組件。
在所示之實施例中，晶粒3901、3902、3905及晶粒3906分別含有VMM陣列3507、陣列輸入3729、高電壓多工器3608及行多工器3610。
在此實施例中，四個晶粒(晶粒3901、3902、3903及3904)含有VMM陣列，但應理解可包括含有VMM陣列之額外晶粒。
晶粒3903及晶粒3907分別含有高電壓解碼器3714、高電壓產生器3511、類比電路系統3512、溫度補償電路3513、包括DAC 3515、神經元電路3510及ADC 3516之輸入電路3514。
晶粒3904及晶粒3908分別含有數位電路3517、SRAM 3518、暫存器3519、實體I/O連接3520及NOC連接3715。
複數個晶粒經由分別將二個或更多個晶粒連接在一起之一或多個垂直介面3521或水平介面3716分別連接至複數個晶粒內的一或多個其他晶粒。
在3D VMM系統3900之讀取操作期間，數位輸入由輸入電路3514接收，該輸入電路3514使用DAC 3515將數位輸入轉換成類比形式且經由各別垂直介面3521及/或水平介面3716將類比信號提供至各別陣列輸入電路3729。陣列輸入電路3729自輸入電路及位址接收類比信號，且回應於接收到之位址，將類比信號施加至VMM陣列3507中之選定列。來自VMM陣列3507之輸出由行多工器3610接收，該行多工器3610經由一或多個垂直介面3521或水平介面3716將類比信號提供至ADC 3516，該ADC 3516將類比信號轉換成數位信號。替代地，類比信號可繞過ADC 3516且保持類比形式。ADC 3516之輸出經由各別垂直介面3521及/或水平介面3716提供至數位電路3517，且接著經由實體I/O 3520提供至3D VMM系統3900外部之構件(諸如處理單元或圖形處理單元)或至待施加為至VMM陣列3507 (表示人工神經網路中的另一層)之輸入的輸入電路3514或經由實體I/O 3520至另一封裝3522。
圖39B描繪類似於圖39A之3D VMM系統之3D VMM系統3950，不同之處在於晶粒3951、3952、3955及3956現在具有輸入電路3514及陣列輸入3729二者。3D VMM系統3950包含封裝3522及晶粒3951、3952、3953、3954、3955、3956、3957及3958。複數個晶粒經由分別將二個或更多個晶粒連接在一起之一或多個垂直介面3521或水平介面3716分別連接至複數個晶粒內的一或多個其他晶粒。
圖39C描繪3D VMM系統3980，其包含二個垂直堆疊中之複數個晶粒。在此實施例中，第一垂直堆疊包含晶粒3981、3982、3983，且第二垂直堆疊包含晶粒3984、3985及3986，其均含於共同封裝3522中以形成單一封裝積體電路。在一個實施例中，第一垂直堆疊中之晶粒為與第二垂直堆疊中之晶粒實體分離的晶粒。在另一實施例中，第一垂直堆疊中之晶粒與第二垂直堆疊中之晶粒為相同實體晶粒(意謂例如晶粒3981與3984為相同晶粒)。此處，晶粒3981及3982中含有之組件共用晶粒3983中含有的組件，晶粒3984及3985中含有之組件共用晶粒3986中含有的組件。
在所示實施例中，晶粒3981、3982、3984及晶粒3985分別含有VMM陣列3507、高電壓區塊3991、輸入區塊3990、輸出區塊3992及類比區塊3993。輸入區塊3990可包括輸入電路3514、DAC 3515、陣列輸入電路3729。高電壓區塊3991可包括高電壓多工器3608及高電壓解碼器3714。輸出區塊3992可包括行多工器3610、神經元電路3510及ADC 3516。類比區塊3993可包括高電壓產生器3511、類比電路系統3512及溫度補償電路系統3513。
晶粒3983及晶粒3986各自含有數位電路3517、SRAM 3518、暫存器3519、實體I/O連接3520、數位加速器3521 (用數位方式用於乘積累加(MAC)函數)及NOC連接3715。
複數個晶粒經由其中各者分別將二個或更多個晶粒連接在一起之一或多個垂直介面3521或水平介面3716分別連接至複數個晶粒內的一或多個其他晶粒。
圖40描繪3D VMM系統4000，其包含二個垂直堆疊中之複數個晶粒。在此實施例中，第一垂直堆疊包含晶粒4001、4002、4003及4004，且第二垂直堆疊包含晶粒4005、4006、4007及4008，其均含於共同封裝3522中以形成單一封裝積體電路。在一個實施例中，第一垂直堆疊中之晶粒為與第二垂直堆疊中之晶粒實體分離的晶粒。在另一實施例中，第一垂直堆疊中之晶粒與第二垂直堆疊中之晶粒為相同實體晶粒(意謂例如晶粒4001與4005為相同晶粒)。此處，晶粒4001及4002中含有之組件共用晶粒4003及4004中含有的組件，且晶粒4005及4006中含有的組件共用晶粒4007及4008中含有的組件。
在所示實施例中，晶粒4001、4002、4005及4006分別含有VMM陣列3507、陣列輸入4029 (其包括輸入多工器3509及/或解碼器3713-未顯示)、高電壓多工器3608及行多工器3610。
在此實施例中，四個晶粒(晶粒4001、4002、4003及4004)含有VMM陣列，但應理解可包括含有VMM陣列之額外晶粒。
晶粒4003及晶粒4007分別含有高電壓解碼器3714、高電壓產生器3511、類比電路系統3512、溫度補償電路3513及神經元電路3510。
晶粒4004及晶粒4008分別含有數位電路3517、SRAM 3518、暫存器3519、實體I/O連接3520及NOC連接3715。
不同於VMM系統3900，VMM系統4000不含有DAC 3515及ADC 3516，因為輸入及輸出保持類比形式且不在類比與數位形式之間轉換。
複數個晶粒經由分別將二個或更多個晶粒連接在一起之一或多個垂直介面3521或水平介面3716分別連接至複數個晶粒內的一或多個其他晶粒。
在3D VMM系統4000之讀取操作期間，類比輸入(諸如電壓、電流或基於定時之實體，諸如一系列脈衝)由各別陣列輸入4029接收，該各別陣列輸入4029接著將信號施加至各別VMM陣列3507中之一或多個列。來自各別VMM陣列3507之輸出由行多工器3610接收，該行多工器3610經由一或多個垂直介面3521或水平介面3716將類比信號(諸如電壓、電流或基於定時之實體)提供至各別神經元電路3510，該神經元電路3510經由實體I/O 3520將緩衝信號提供至3D VMM系統4000外部之構件(諸如處理單元或圖形處理單元)或至另一封裝3522或至另一VMM陣列3507 (表示人工神經網路中之另一層)的陣列輸入4029。
圖41至圖44描繪關於VMM陣列3507之實例性組構之額外細節。圖41至圖44分別描繪3D VMM系統4100、4200、4300及4400。3D VMM系統4100、4200、4300及4400中之每一者包含共同封裝中(圖中未示)的第一晶粒上之VMM陣列3507-1及第二晶粒上之VMM陣列3507-2。VMM陣列3507-1及3507-2分別含有以m+1個列及n+1個行配置之非揮發性記憶體胞元陣列。各別列耦接至標記為CG0...CGm之控制閘極線中之一者，且各別行耦接至標記為BL0…BLn之位元線中之一者。胞元位於位元線與控制閘極線之相交處。舉例而言，胞元4101mn位於列m及行n中且耦接至VMM陣列3507-1中之CGm及BLn，且胞元4102mn位於列m及行n中且耦接至VMM陣列3507-2中之CGm及BLn。因為VMM陣列3507-1及3507-2位於不同晶粒上，所以其視情況可使用不同半導體製程製造。不管相同或不同半導體製程用於製造VMM陣列3507-1及3507-2，VMM陣列3507-1中之胞元相較於VMM陣列3507-2中之胞元可儲存不同數目個位元。舉例而言，VMM陣列3507-1中之胞元，諸如胞元4101mn可儲存i個位元，而VMM陣列3507-2中之胞元，諸如胞元4102mn可儲存j個位元，其中i及j為不同值之整數。舉例而言，i可為3 (意謂VMM陣列3507-1中之胞元分別儲存3位元值)，且j可為5 (意謂VMM陣列3507-2中之胞元分別儲存5位元值)。
在圖41中，輸入經由控制閘極線單獨提供至VMM陣列3507-1及3507-2，且在位元線上單獨地獲得輸出。圖41描繪實施例胞元4101mn及4102mn。視情況，可視需要在別處組合輸出，諸如藉由使用ADC 3516(顯示於先前圖中)將輸出轉換成數位形式，且使用數位電路3517 (顯示於先前圖中)將輸出相加。
在圖42中，輸入經由控制閘極線單獨提供至VMM陣列3507-1及3507-2。VMM陣列3507-1之輸出在第一位元線集合上獲得，且VMM陣列3507-2之輸出在第二位元線集合上獲得，其中第一位元線集合藉由有效地將輸出信號以類比形式相加在一起之各別垂直介面3521耦接至第二位元線集合。視情況，組合類比輸出可視需要在別處被數位化，諸如藉由使用ADC 3516將其轉換成數位形式(顯示於先前圖中)。
在圖43中，輸入經由第一控制閘極線集合提供至VMM陣列3507-1，且經由第二控制閘極線集合提供至VMM陣列3507-2，其中第一控制閘極線集合藉由各別垂直介面3521耦接至第二控制閘極線集合，且輸出在位元線上單獨獲得。視情況，可視需要在別處組合輸出，諸如藉由使用ADC 3516(顯示於先前圖中)將輸出轉換成數位形式，且使用數位電路3517 (顯示於先前圖中)將輸出相加。
在圖44中，輸入經由垂直介面3521經由控制閘極線共同提供至VMM陣列3507-1及3507-2。輸出在位元線上獲得，該等輸出經由垂直介面3521組合在一起，該垂直介面3521有效地將信號以類比形式相加在一起。視情況，組合類比輸出可視需要在別處被數位化，諸如藉由使用ADC 3516將其轉換成數位形式(顯示於先前圖中)。
圖45至圖48描繪用於晶粒、垂直介面及水平介面之實施例結構佈局選項。
圖45描繪3D VMM系統4500，其包含以垂直組構配置且由垂直介面3521連接之第一晶粒集合(晶粒4501、4502、4503及4504)及以垂直組構配置且由垂直介面3521連接之第二晶粒集合(晶粒4505、4506、4507及4508)。此處一個晶粒可藉由垂直介面3521中之各別者連接至二個其他晶粒。
圖46描繪3D VMM系統4600，其包含以垂直交錯組構配置之四個晶粒層級，其中第一層級包含晶粒4601及4602，第二層級包含晶粒4603、4604及4605，第三層級包含晶粒4606及4607，且第四層級包含晶粒4608、4609及4610。不同層級中之晶粒藉由各別垂直介面3521連接至上方層級中之晶粒，且連接至下方層級中的晶粒。此處一個晶粒可藉由垂直介面3521中之各別者連接至四個其他晶粒。
圖47描繪3D VMM系統4700，其包含以垂直交錯組構配置之四個晶粒層級，其中第一層級包含晶粒4701及4702，第二層級包含晶粒4703、4704及4705，第三層級包含晶粒4706及4707，且第四層級包含晶粒4708、4709及4710。不同層級中之晶粒由各別垂直介面3521連接，且同一層級中之晶粒由各別水平介面3716連接。此處，一個晶粒可藉由垂直介面3521中之各別者及藉由水平介面3716中之各別者連接至六個其他晶粒。
圖48描繪3D VMM系統4800之實體佈局之實施例，其中僅顯示連接器4801。連接器4801位於晶粒中且連接至一或多個垂直介面3521及水平介面3716。如可見，晶粒及介面可經配置以使得連接器4801以垂直交錯的組構定位。 用於3D VMM系統中之電路
圖49至圖55描繪用於諸如先前描述之3D VMM系統中之電路。
圖49描繪可用於先前描述之神經元電路3510之神經元電路4900。具體而言，神經元電路3510可包含用於VMM陣列3507中之各位元線之神經元電路4900的實施例。神經元電路4900包含如所示配置之p通道金屬氧化物半導體(PMOS)電晶體4901及運算放大器4902。PMOS電晶體4901之一個端子附接至電壓源。PMOS電晶體4901之另一端子附接至PMOS電晶體4910之閘極，且附接至VMM陣列3507中之位元線及運算放大器4902之非反相端子。運算放大器4902之輸出附接至運算放大器4902之反相輸入。由位元線I-BL汲取之電流產生自運算放大器4902輸出之電壓V_IBL。運算放大器4902充當緩衝器，且V_IBL將維持其位準而不管其可附接至之負載。舉例而言，若V_IBL被提供至垂直介面3521，則垂直介面3521可具有寄生電容或寄生電流。神經元電路4900將維持輸出電壓V_IBL，而不管負載之變化。由此，此為神經元電流緩衝器電路。在另一具體例中，神經元電流(位元線電流)可在進入此電路之前由電流反射鏡放大或縮小。
圖50描繪可用於先前描述之神經元電路3510之神經元電路5000。具體而言，神經元電路3510可包含用於VMM陣列3507中之各位元線之神經元電路5000的實施例。神經元電路5000包含如所示配置之受控開關5001、參考記憶體胞元5002及運算放大器5003。由位元線汲取之電流I-BL在運算放大器5003之非反相端子處產生某一電壓。當開關5001閉合時，來自運算放大器5003之輸出之回饋VNEUOUT提供至參考記憶體胞元5002之控制閘極端子。歸因於運算放大器之固有特性，運算放大器5003將修改輸出電壓VNEUOUT直至其非反相端子上之電壓等於其反相端子上的電壓VREF為止。此經由對參考記憶體胞元5002之控制閘極端子之回饋進行。神經元電路5000將維持輸出電壓VNEUOUT，而不管可接收電壓之諸如垂直介面3521之寄生電容的負載。神經元電路5000使用記憶體胞元5002將神經元電流I-BL轉換成電壓VNEUOUT。因此，其為使用運算放大器與回饋之基於記憶體胞元之電流至電壓轉換器。
圖51描繪力及感測(F/S)驅動電路5100 (其中加壓力由具有在正極端子處之輸入VIN之運算放大器5103所引起，且感測在目標節點、節點5101或5102處發生，目標節點處之電壓回饋至放大器之負極端子，且此藉由放大器之動作使電壓等於輸入電壓VIN)，其可用於神經元電路3510或別處以經由變化負載準確地遞送神經元之電壓輸出。F/S驅動電路5100包含如所示配置之運算放大器5103及受控開關5104、5105、5106及5107。Vin在運算放大器5103之非反相輸入處接收，且運算放大器5103之輸出稱為VOUT。開關5104及5106在閉合時經由垂直介面3521分別將運算放大器5103之輸出及運算放大器5103作為VOUTFB之反相輸入連接至第一晶粒中的節點5101。開關5105及5107在閉合時經由垂直介面3521分別將運算放大器5103之輸出及運算放大器5103作為VOUTFB之反相輸入連接至第二晶粒中的節點5102。驅動電路5100提供準確電壓VOUT至節點5101及節點5102，而不管由垂直介面3521或藉由第一及第二晶粒所引起之任何負載效應。此係由於感測節點(驅動節點) 5101或5102被回饋至運算放大器5103之反相輸入。
圖52描繪可用於先前描述之神經元電路3510之神經元電路5200。具體而言，神經元電路3510可包含用於VMM陣列3507中之各對差分位元線之差分神經元電路5200的實例，諸如在實例中，其中一個行儲存W+值，且另一行儲存W-值，其各對W+及W-表示所儲存權重。
差分神經元電路5200包含如所示組構之運算放大器5201、可變積分電阻器5202及5203、受控開關5204、5205、5206及5207及取樣及保持(及/或積分)電容器5208及5209。差分神經元電路5200分別自W+位元線接收差分電流BLw+且自W-位元線接收BLw-，且輸出電壓Vout+及Vout-。輸出電壓Vout+ = (BLw+) * R且Vout- = (BLw-) * R，其中可變積分電阻器5202及5203各自具有等於R之值。電容器5208及5209充當各別取樣及保持(S/H)電容器以在電阻器5202及5203藉由斷開受控開關5206、5207自電路移除且輸入電流藉由斷開受控開關5204、5205關閉時保持輸出電壓。控制電路(圖中未示)控制開關5204、5205、5206及5207之斷開及閉合以提供積分時間。視情況，差分輸出電壓Vout+及Vout-可輸入至ADC 3516，該ADC 3516將差分輸出電壓Vout+及Vout-轉換成數位輸出位元集合Doutx。視情況，電路可使用電容器5208及5209作為積分電容器以積分神經元電流以將電流轉換成電壓，Vout = 時間*神經元/電容。在使用積分電容器方法之情況下，神經元縮放藉由可變電阻器5292及5203或可變積分時間及/或可變電容提供。
圖53描繪取樣及保持緩衝器5300，其可用於先前描述之輸入電路3514。具體而言，輸入電路3514可包含用於VMM陣列3507中之每一列之取樣及保持緩衝器5300的實例。取樣及保持緩衝器5300包含受控開關5301、電容器5302及緩衝器5303。緩衝器5303可為由運算放大器形成之單一緩衝器。在操作期間，開關5301閉合，此允許類比值(例如，來自DAC 3515)儲存於電容器5302中。彼值可接著自緩衝器5303輸出，該緩衝器5303驅動VMM陣列3507之列輸入。電容器5302可為實際電容器，或其可為見於電線中之本質電容器。
圖54描繪差分連續位址暫存器(successive address register；SAR)類比至數位轉換器(ADC) 5400，其可用於先前描述之ADC 3516。
差分連續位址暫存器類比至數位轉換器5400使用二元搜尋經由所有可能量化位準將類比輸入或差分類比輸入轉換成數位輸出，以識別適當數位輸出。
差分連續位址暫存器類比至數位轉換器5400包含二進位電容性數位至類比轉換器(CDAC) 5401、二進位CDAC 5402 (與CDAC 5401互補)、比較器5403，以及SAR邏輯及暫存器5404。
差分連續位址暫存器類比至數位轉換器5400接收差分電流輸入Vinp及Vinn。SAR邏輯及暫存器5404循環通過所有可能的數位位元組合，此又控制CDAC 5401及5402中之開關以將電壓源耦接至電容器。當比較器5403之輸出翻轉時，SAR邏輯及暫存器5404中之數位位元組合接著作為數位輸出(Digital Output)而輸出。選擇地，SAR邏輯及暫存器5404在數位輸出中產生額外1位元數位輸出DMAJ，該數位輸出在數位值中之大多數位元為「1」的情況下為「1」且在對應數位值中之大多數位元不為「1」的情況下為「0」。
圖55描繪基於參考電流之SAR ADC電路5500，其可用於先前描述之ADC 3516。具體而言，ADC 3516可包含ADC電路5500之一或多個實例，其中ADC電路5500將電流I-BL轉換成數位值數位輸出(Digital Output)。ADC電路5500包含二進位電流區塊5501、開關5502、比較器5503及SAR邏輯及暫存器5504。二進位電流區塊5501以二元搜尋方式提供二進位參考電流以與位元線輸入電流對照比較，意謂自MSB (最高有效位元)至LSB (最低有效位元)搜尋。
應注意，如本文中所使用，術語「在...上方」及「在...上」兩者包括「直接在...上」(其間未裝設有中間材料、元件或空間)及「間接地在...上」(其間裝設有中間材料、元件或空間)。同樣地，術語「鄰近」包括「直接鄰近」(其間未裝設有中間材料、元件或空間)及「間接鄰近」(其間裝設有中間材料、元件或空間)，「安裝至」包括「直接安裝至」(其間未裝設有中間材料、元件或空間)及「間接安裝至」(其間裝設有中間材料、元件或空間)，且「電耦接」包括「直接電耦接至」(其間無將元件電連接在一起的中間材料或元件)及「間接電耦接至」(其間具有將元件電連接在一起的中間材料或元件)。舉例而言，「在基板上方」形成元件可包括直接在基板上形成元件而其間無中間材料/元件，以及間接地在基板上形成元件而其間具有一或多種中間材料/元件。
12:半導體基板 14:源極區 16:汲極區 18:通道區 20:浮動閘極 22:字元線端子/選擇閘極 24,I-BL:位元線 28:控制閘極 30:抹除閘極 31,3515:數位至類比轉換器 32,32a,32b,32c,32d,32e:向量矩陣乘法陣列 33:非揮發性記憶體胞元陣列 34:抹除閘極及字元線閘極解碼器 35:控制閘極解碼器 36:位元線解碼器 37:源極線解碼器 38:差分求和器/求和運算放大器 39,1602,1702,2002,2102:激活函數區塊 210,310,410,510,710:記憶體胞元 900,1000,1100,1200,1300,2200,2300,2400,2500,2600,2700,2800,2900,3000:神經元VMM陣列 901,1003,1103,1203,1303:記憶體陣列 902,1001,1002,1101,1102,1201,1202,1301,1302:參考陣列 903:控制閘極線 904:抹除閘極線 1014,1212,1314:二極體連接式貫穿多工器 1204:串疊電晶體 1205,1709,1710,2104:多工器 1400:VMM陣列/LSTM 1401,1402,1403,1404,1801,1802,1803,1804,4101mn,4102mn:胞元 1500,1600,1700:LSTM胞元 1501,1502,1503,1901,1902:S型函數構件 1504,1505,1903:雙曲正切構件 1506,1507,1508,1703,1904,1905,1906,2103:乘法器構件 1509,1708,1907,2105:加法構件 1601,1701,2001,2101,3401,3507,3557,3507-1,3507-2:VMM陣列 1704,1705,1706,1707,2106,2107,2108:暫存器 1800:閘控遞迴單元 1900,2000,2100:GRU胞元 1908,2109:互補構件 2701-1,2701-2,2701-(N-1),2701-N:位元線控制閘極 3100,3210,3300,3400:VMM系統 3101,3102,3213,3303,3304,3305,3306,3307,3308:求和電路 3211:第一陣列 3212:第二陣列 3301,3302:陣列 3402:列解碼器 3403,3508,3714:高電壓解碼器 3404:行解碼器 3405:位元線驅動器 3406,3514:輸入電路 3407:輸出電路 3408:控制邏輯 3409:偏壓產生器 3410:高電壓產生區塊 3411:電荷泵 3412:電荷泵調節器 3413:高電壓類比精度位準產生器 3414:演算法控制器 3415,3512:類比電路系統 3416:控制引擎 3417:測試控制邏輯 3500,3600,3700,3750,3800,3900,3950,3980,4000,4100,4200,4300,4400,4500,4600,4700,4800:3D VMM系統 3501,3502,3503,3504,3505,3506,3601,3602,3603,3604,3605,3606,3701,3702,3703,3704,3705,3706,3707,3708,3709,3710,3711,3712,3758,3801,3802,3803,3804,3805,3806,3807,3808,3809,3810,3811,3812,3901,3902,3903,3904,3905,3906,3907,3908,3951,3952,3953,3954,3955,3956,3957,3958,3981,3982,3983 3984,3985,3986,4001,4002,4003,4004,4005,4006,4007,4008,4501,4502,4503,4504,4505,4506,4507,4508,4601,4602,4603,4604,4605,4606,4607,4608,4609,4610,4701,4702,4703,4704,4705,4706,4707,4708,4709,4710:晶粒 3509:輸入多工器 3510,4900,5000,5200:神經元電路 3511:高電壓產生器 3513:溫度補償電路 3516:類比至數位轉換器 3517:數位電路 3518:靜態隨機存取記憶體 3519:暫存器 3520:實體I/O連接 3521:垂直介面/數位加速器 3522,3622:封裝 3523:列緩衝器 3524:位址解碼電路/位址解碼器/列暫存器 3525:列暫存器 3531:數位加速器 3608:高電壓多工器 3610:行多工器 3713:位址解碼電路/位址解碼器 3715:網路單晶片 3716:水平介面 3729,4029:陣列輸入 3990:輸入區塊 3991:高電壓區塊 3992:輸出區塊 3993:類比區塊 4801:連接器 4901:p通道金屬氧化物半導體電晶體 4902,5003,5103,5201:運算放大器 5001,5104,5105,5106,5107,5204,5205,5206,5207,5301:受控開關 5002:參考記憶體胞元 5100:驅動電路 5101,5102:節點 5202,5203:可變積分電阻器 5208,5209:取樣及保持電容器 5300:取樣及保持緩衝器 5302:電容器 5303:緩衝器 5400:差分連續位址暫存器類比至數位轉換器 5401:二進位電容性數位至類比轉換器 5402:二進位CDAC 5403,5503:比較器 5404,5504:SAR邏輯及暫存器 5500:基於參考電流之SAR ADC電路 5501:二進位電流區塊 5502:開關 BL0,BL1,BL2,BL3,BLn,BLN:位元線 BLR0,BLR1,BLR2,BLR3:端子 BLw+,BLw-:差分電流 c 0,c 1,c 2, c(t-1),c(t):胞元狀態向量 C1,C2,C3,S1,S2,S3:層 CB1,CB2,CB3,CB4:突觸 CG0,CG1,CG2,CG3,CG M-1,CG M,CGm,CGn:電壓輸入/控制閘極電壓 DMAJ:額外1位元數位輸出 Doutx:數位輸出位元集合 EG0,EG1:抹除閘極/EG線 h 0, h 1,h 2,h 3,h(t-1),h(t):輸出向量 INPUT 0,INPUT 1,INPUT N-1,INPUT N,INPUT M-1,INPUT M:輸入 OUTPUT 0,OUTPUT 1,OUTPUT 2,OUTPUT 3,OUTPUT 4,OUTPUT N-1,OUTPUT N:輸出 P1,P2:激活函數 S0:輸入層 SL0,SL1,SL 2,SL 3:源極線 V_IBL,VNEUOUT,VOUT,Vout+,Vout-,VREF:電壓 VIN:輸入電壓 Vinp,Vinn:差分電流輸入 VOUTFB:反相輸入 Vth:臨限電壓 WL,WL0,WL1,WL2,WL3,WL4,WL5,WL6,WL7,WL M-1,WL M,WLA0,WLA1,WLA2,WLA3,WLB0,WLB1,WLB2,WLB3:字元線 x 0,x 1,x 2,x 3,x(t):輸入向量
圖1為例示人工神經網路之圖。
圖2描繪先前技術分離閘極快閃記憶體胞元。
圖3描繪另一先前技術分離閘極快閃記憶體胞元。
圖4描繪另一先前技術分離閘極快閃記憶體胞元。
圖5描繪另一先前技術分離閘極快閃記憶體胞元。
圖6為例示利用一或多個非揮發性記憶體陣列之實例人工神經網路的不同層級之圖。
圖7為例示VMM系統之方塊圖。
圖8為例示利用一或多個VMM系統之實例人工神經網路的方塊圖。
圖9描繪VMM系統之另一實例。
圖10描繪VMM系統之另一實例。
圖11描繪VMM陣列之另一實例。
圖12描繪VMM系統之另一實例。
圖13描繪VMM系統之另一實例。
圖14描繪先前技術長短期記憶體系統。
圖15描繪用於長短期記憶體系統中之實例胞元。
圖16描繪圖15之胞元之實例實施。
圖17描繪圖15之胞元之另一實例實施。
圖18描繪先前技術閘控遞迴單元系統。
圖19描繪用於閘控遞迴單元系統中之實例胞元。
圖20描繪圖19之胞元的實例實施。
圖21描繪圖19之胞元之另一實例實施。
圖22描繪VMM系統之另一實例。
圖23描繪VMM系統之另一實例。
圖24描繪VMM系統之另一實例。
圖25描繪VMM系統之另一實例。
圖26描繪VMM系統之另一實例。
圖27描繪VMM系統之另一實例。
圖28描繪VMM系統之另一實例。
圖29描繪VMM系統之另一實例。
圖30描繪VMM系統之另一實例。
圖31描繪VMM系統之另一實例。
圖32描繪VMM系統之另一實例。
圖33描繪VMM系統之另一實例。
圖34描繪2D VMM系統之實例。
圖35描繪3D VMM系統之實例。
圖36描繪3D VMM系統之實例。
圖37A及圖37B描繪3D VMM系統之實例。
圖38描繪3D VMM系統之實例。
圖39A、圖39B及圖39C描繪3D VMM系統之實例。
圖40描繪3D VMM系統之實例。
圖41描繪3D VMM系統之實例。
圖42描繪3D VMM系統之實例。
圖43描繪3D VMM系統之實例。
圖44描繪3D VMM系統之實例。
圖45描繪3D VMM系統之實例。
圖46描繪3D VMM系統之實例。
圖47描繪3D VMM系統之實例。
圖48描繪3D VMM系統之實例。
圖49描繪神經元電路之實例。
圖50描繪神經元電路之實例。
圖51描繪驅動電路之實例。
圖52描繪差分神經元電路之實例。
圖53描繪取樣保持緩衝器之實例。
圖54描繪ADC電路之實例。
圖55描繪ADC電路之實例。
C1:層
C2:層
C3:層
CB1:突觸
CB2:突觸
CB3:突觸
CB4:突觸
P1:激活函數
P2:激活函數
S1:層
S2:層
S3:層

Claims (53)

  1. 一種用於一人工神經網路中之三維積體電路，其包含： 一第一晶粒，其包含一第一向量矩陣乘法陣列及一第一輸入多工器，該第一晶粒位於一第一垂直層上； 一第二晶粒，其包含一輸入電路，該第二晶粒位於不同於該第一垂直層之一第二垂直層上；及 一或多個垂直介面，其耦接該第一晶粒及該第二晶粒； 其中在一讀取操作期間，該輸入電路經由該一或多個垂直介面中之至少一者將一輸入信號提供至該第一輸入多工器，該第一輸入多工器將該輸入信號施加至該第一向量矩陣乘法陣列中之一或多個列，且該第一向量矩陣乘法陣列產生一輸出。
  2. 如請求項1之三維積體電路，其中，該第二晶粒包含用於將一數位輸入轉換成提供至該輸入電路作為該輸入信號之一類比輸入的一數位至類比轉換器。
  3. 如請求項1之三維積體電路，其中，該第一晶粒包含用於緩衝該輸出之一神經元電路。
  4. 如請求項1之三維積體電路，其中，該第一晶粒包含用於經由該一或多個垂直介面中之至少一者將該輸出發送至該第二晶粒或一第三晶粒的一行多工器。
  5. 如請求項1之三維積體電路，其包含： 一第三晶粒，其包含用以將來自該第一晶粒之該輸出轉換成一數位輸出的一類比至數位轉換器，該第三晶粒位於不同於該第一垂直層及該第二垂直層之一第三垂直層上。
  6. 如請求項5之三維積體電路，其包含： 一第四晶粒，其包含一高電壓產生器、類比電路系統及一溫度補償電路，該第四晶粒位於不同於該第一垂直層、該第二垂直層及該第三垂直層之一第四垂直層上。
  7. 如請求項6之三維積體電路，其包含： 一第五晶粒，其包含一第二向量矩陣乘法陣列、一第二輸入多工器、一高電壓解碼器及一神經元電路，該第五晶粒位於不同於該第一垂直層、該第二垂直層、該第三垂直層及該第四垂直層之一第五垂直層上。
  8. 如請求項1之三維積體電路，其包含： 一第三晶粒，其包含一第二向量矩陣乘法陣列及一第二輸入多工器，該第三晶粒位於該第一垂直層上。
  9. 如請求項1之三維積體電路，其中，該向量矩陣乘法陣列包含複數個非揮發性記憶體胞元。
  10. 如請求項9之三維積體電路，其中，該複數個非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  11. 如請求項9之三維積體電路，其中，該複數個非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
  12. 一種方法，其包含： 經由一或多個垂直介面，藉由位於一第一晶粒上之一輸入電路將一輸入信號提供至位於一第二晶粒上之一輸入多工器； 藉由該輸入多工器將該輸入信號施加至一神經網路陣列中之一或多個列；及 藉由該神經網路陣列產生一輸出； 其中該第一晶粒及該第二晶粒位於不同垂直層上。
  13. 如請求項12之方法，其中，該神經網路陣列包含複數個非揮發性記憶體胞元。
  14. 如請求項13之方法，其中，該複數個非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  15. 如請求項13之方法，其中，該複數個非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
  16. 一種裝置，其包含： 一第一晶粒，其包含含有以列及行配置之複數個非揮發性記憶體胞元之一第一向量矩陣乘法陣列，該第一晶粒位於一第一垂直層上； 一第二晶粒，其包含含有以列及行配置之複數個非揮發性記憶體胞元之一第二向量矩陣乘法陣列，該第二晶粒位於不同於該第一垂直層之一第二垂直層上；及 一或多個垂直介面，其耦接該第一晶粒及該第二晶粒； 其中在一程式化操作期間，第一陣列中之一或多個非揮發性記憶體胞元能夠儲存 i個位元，且第二陣列中之一或多個非揮發性記憶體胞元能夠儲存 j個位元，其中 i≠ j。
  17. 如請求項16之裝置，其中，該第一晶粒根據一第一半導體製程製造，且該第二晶粒根據不同於該第一半導體製程之一第二半導體製程製造。
  18. 如請求項16之裝置，其包含： 一第一位元線集合，其耦接至該第一向量矩陣乘法陣列；及 一第二位元線集合，其不同於該第一位元線集合，耦接至該第二向量矩陣乘法陣列。
  19. 如請求項18之裝置，其包含： 一第一控制閘極線集合，其耦接至該第一向量矩陣乘法陣列；及 一第二控制閘極線集合，其不同於該第一控制閘極線集合，耦接至該第二向量矩陣乘法陣列。
  20. 如請求項19之裝置，其中，該第一控制閘極線集合藉由一各別垂直介面耦接至該第二控制閘極線集合。
  21. 如請求項18之裝置，其中，該第一位元線集合藉由一各別垂直介面耦接至該第二位元線集合。
  22. 如請求項21之裝置，其包含： 一第一控制閘極線集合，其耦接至該第一向量矩陣乘法陣列；及 一第二控制閘極線集合，其耦接至該第二向量矩陣乘法陣列。
  23. 如請求項22之裝置，其中，該第一控制閘極線集合藉由一各別垂直介面耦接至該第二控制閘極線集合。
  24. 如請求項16之裝置，其中，該第一晶粒中之該複數個非揮發性記憶體胞元及該第二晶粒中之該複數個非揮發性記憶體胞元分別包含堆疊閘極快閃記憶體胞元。
  25. 如請求項16之裝置，其中，該第一晶粒中之該複數個非揮發性記憶體胞元及該第二晶粒中之該複數個非揮發性記憶體胞元分別包含分離閘極快閃記憶體胞元。
  26. 一種方法，其包含： 將包含一非揮發性記憶體胞元中之 i個位元之一值儲存於一第一晶粒中之一第一神經網路陣列中；及 將包含一非揮發性記憶體胞元中之 i個位元之一值儲存於一第二晶粒中之一第二神經網路陣列中，其中 i≠ y； 其中該第一晶粒及該第二晶粒位於不同垂直層上。
  27. 一種裝置，其包含： 一第一晶粒，其包含含有以列及行配置之各別複數個非揮發性記憶體胞元之一第一向量矩陣乘法陣列，該第一晶粒位於一第一垂直層上； 一第二晶粒，其包含含有以列及行配置之各別複數個非揮發性記憶體胞元之一第二向量矩陣乘法陣列，該第二晶粒位於不同於該第一層之一第二垂直層上；及 一第三晶粒，其包含一數位至類比轉換器及一類比至數位轉換器中之一或多者。
  28. 如請求項27之裝置，其中，該類比至數位轉換器為一基於電容器之連續近似暫存器類比至數位轉換器。
  29. 如請求項27之裝置，其中，該類比至數位轉換器為一基於參考電流之連續近似暫存器類比至數位轉換器。
  30. 如請求項27之裝置，其中，該第一向量矩陣乘法陣列及該第二向量矩陣乘法陣列中之該各別複數個非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  31. 如請求項27之裝置，其中，該第一向量矩陣乘法陣列及該第二向量矩陣乘法陣列中之該各別複數個非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
  32. 一種裝置，其包含： 一第一晶粒，其包含含有以列及行配置之複數個非揮發性記憶體胞元之一第一向量矩陣乘法陣列，該第一晶粒位於一第一垂直層上； 一第二晶粒，其包含含有以列及行配置之複數個非揮發性記憶體胞元之一第二向量矩陣乘法陣列，該第二晶粒位於不同於該第一垂直層之一第二垂直層上；及 一第三晶粒，其包含一神經元電路。
  33. 如請求項32之裝置，其中，該神經元電路包含： 一p通道金屬氧化物半導體電晶體，其包含耦接至一電壓源之一第一端子、一閘極及耦接至該閘極及一神經元之一第二端子；及 一運算放大器，其包含耦接至該等p通道金屬氧化物半導體電晶體之該第二端子及該閘極之一非反相輸入、一反相輸入及耦接至該反相輸入以回應於來自該神經元之電流而產生一電壓輸出之一輸出。
  34. 如請求項32之裝置，其中，該神經元電路包含： 一開關； 一參考記憶體胞元，其包含耦接至一神經元之一位元線端子、一源極線端子及一控制閘極端子；及 一運算放大器，其包含耦接至一參考電壓之一反相輸入、耦接至該參考記憶體胞元之該位元線端子的一非反相輸入及經由該開關可切換地耦接至該參考記憶體胞元之該控制閘極端子之一輸出。
  35. 如請求項32之裝置，其中，該神經元電路包含： 一運算放大器，其包含一反相輸入、一非反相輸入及耦接至一第一輸出節點之第一輸出及耦接至一第二輸出節點之一第二輸出； 一第一可變積分電阻器，其經由一第一開關可切換地耦接於該第一輸出節點與該運算放大器之該反相輸入之間； 一第二可變積分電阻器，其經由一第二開關可切換地耦接於該第二輸出節點與該運算放大器之該非反相輸入之間； 一第一電容器，其經由一第三開關可切換地耦接於來自一位元線之一第一輸入電流與該第一輸出節點之間；及 一第二電容器，其經由一第四開關可切換地耦接於來自一位元線之一第二輸入電流與該第二輸出節點之間。
  36. 如請求項35之裝置，其中，該第一輸入電流及該第二輸入電流為一差分電流信號，且該第一輸出節點及該第二輸出節點含有一差分電壓信號。
  37. 如請求項36之裝置，其中，該第一輸入電流係自一W+位元線接收，且該第二輸入電流係自一W-位元線接收。
  38. 如請求項36之裝置，其包含一類比至數位轉換器以將該差分電壓信號轉換成一數位輸出位元集合。
  39. 如請求項32之裝置，其中，該第一向量矩陣乘法陣列及該第二向量矩陣乘法陣列中之該複數個非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  40. 如請求項32之裝置，其中，該第一向量矩陣乘法陣列及該第二向量矩陣乘法陣列中之該複數個非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
  41. 一種裝置，其包含： 一第一晶粒，其包含含有以列及行配置之各別複數個非揮發性記憶體胞元之一第一向量矩陣乘法陣列，該第一晶粒位於一第一垂直層上； 一第二晶粒，其包含含有以列及行配置之各別複數個非揮發性記憶體胞元之一第二向量矩陣乘法陣列，該第二晶粒位於不同於該第一垂直層之一第二垂直層上；及 一第三晶粒，其包含含有一微控制器、數位邏輯或一單一指令多資料處理器中之一或多者之數位電路。
  42. 如請求項41之裝置，其中，該第三晶粒包含一數位加速器。
  43. 如請求項41之裝置，其中，該第三晶粒包含一靜態隨機存取記憶體。
  44. 如請求項41之裝置，其中，該第三晶粒包含實體輸入/輸出連接。
  45. 如請求項41之裝置，其中，該第三晶粒包含暫存器。
  46. 如請求項41之裝置，其中，該第一向量矩陣乘法陣列中之該各別複數個非揮發性記憶體胞元及該第二向量矩陣乘法陣列中之該各別複數個非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  47. 如請求項41之裝置，其中，該第一向量矩陣乘法陣列中之該各別複數個非揮發性記憶體胞元及該第二向量矩陣乘法陣列中之該各別複數個非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
  48. 一種裝置，其包含： 一第一垂直層，其包含：一第一向量矩陣乘法陣列，其包含以列及行配置之各別複數個非揮發性記憶體胞元；及一第二向量矩陣乘法陣列，其包含以列及行配置之各別複數個非揮發性記憶體胞元； 一或多個各別水平介面，其耦接該第一向量矩陣乘法陣列及該第二向量矩陣乘法陣列； 一第二垂直層，其包含：一第三向量矩陣乘法陣列，其包含以列及行配置之各別複數個非揮發性記憶體胞元；及一第四向量矩陣乘法陣列，其包含以列及行配置之各別複數個非揮發性記憶體胞元；及 一或多個各別水平介面，其耦接該第三向量矩陣乘法陣列及該第四向量矩陣乘法陣列。
  49. 如請求項48之裝置，其中，該第一向量矩陣乘法陣列位於一第一晶粒上，該第二向量矩陣乘法陣列位於一第二晶粒上，該第三向量矩陣乘法陣列位於一第三晶粒上且該第四向量矩陣乘法陣列位於一第四晶粒上。
  50. 如請求項49之裝置，其中，該第一晶粒與該第三晶粒垂直地對準，且該第二晶粒與該第四晶粒垂直地對準。
  51. 如請求項49之裝置，其中，該第一晶粒及該第二晶粒係與該第三晶粒及該第四晶粒垂直地交錯。
  52. 如請求項48之裝置，其中，該第一向量矩陣乘法陣列、該第二向量矩陣乘法陣列、該第三向量矩陣乘法陣列及該第四向量矩陣乘法陣列中之該各別複數個非揮發性記憶體胞元包含堆疊閘極快閃記憶體胞元。
  53. 如請求項48之裝置，其中，該第一向量矩陣乘法陣列、該第二向量矩陣乘法陣列、該第三向量矩陣乘法陣列及該第四向量矩陣乘法陣列中之該各別複數個非揮發性記憶體胞元包含分離閘極快閃記憶體胞元。
TW112108853A 2022-04-06 2023-03-10 包含三維積體電路的人工神經網路、其操作方法以及包含三維積體電路的裝置 TWI853488B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202263328126P 2022-04-06 2022-04-06
US63/328,126 2022-04-06
US17/848,371 2022-06-23
US17/848,371 US20230325645A1 (en) 2022-04-06 2022-06-23 Artificial neural network comprising a three-dimensional integrated circuit
WOPCT/US22/37644 2022-07-19
PCT/US2022/037644 WO2023196001A1 (en) 2022-04-06 2022-07-19 Artificial neural network comprising a three-dimensional integrated circuit

Publications (2)

Publication Number Publication Date
TW202407579A true TW202407579A (zh) 2024-02-16
TWI853488B TWI853488B (zh) 2024-08-21

Family

ID=83689130

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112108853A TWI853488B (zh) 2022-04-06 2023-03-10 包含三維積體電路的人工神經網路、其操作方法以及包含三維積體電路的裝置

Country Status (5)

Country Link
EP (1) EP4505360A1 (zh)
JP (1) JP2025514878A (zh)
KR (1) KR20240133999A (zh)
TW (1) TWI853488B (zh)
WO (1) WO2023196001A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117708040A (zh) * 2023-12-13 2024-03-15 北京知存科技有限公司 存算一体芯片架构、封装方法以及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US9928460B1 (en) * 2017-06-16 2018-03-27 Google Llc Neural network accelerator tile architecture with three-dimensional stacking
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10552510B2 (en) * 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays

Also Published As

Publication number Publication date
KR20240133999A (ko) 2024-09-05
EP4505360A1 (en) 2025-02-12
WO2023196001A1 (en) 2023-10-12
JP2025514878A (ja) 2025-05-12
TWI853488B (zh) 2024-08-21

Similar Documents

Publication Publication Date Title
TWI848411B (zh) 具有源極線下拉機制之非揮發性記憶體系統
TWI814383B (zh) 深度學習人工神經網路中類比神經記憶體的輸出電路
CN115485774A (zh) 人工神经网络中包括逻辑单元和改进的编程机制的模拟神经存储器阵列
US20230325645A1 (en) Artificial neural network comprising a three-dimensional integrated circuit
JP7733207B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力回路
TWI885266B (zh) 深度學習人工神經網路中類比神經記憶體的分離陣列架構
TWI853488B (zh) 包含三維積體電路的人工神經網路、其操作方法以及包含三維積體電路的裝置
TWI870797B (zh) 包含ｉ－ｖ斜率組構的參考陣列之人工神經網路
TW202349276A (zh) 利用類比輸入的向量矩陣乘法陣列
TWI903748B (zh) 用以從向量矩陣乘法陣列產生數位輸出的系統及方法
TWI834397B (zh) 包含類比陣列及數位陣列的人工神經網路
TWI871592B (zh) 有關於利用類比輸出的向量矩陣乘法陣列之系統
CN118922840A (zh) 包括三维集成电路的人工神经网络
TW202324211A (zh) 可配置為以類比形式或數位形式儲存神經記憶體權重資料的混合記憶體系統
TW202445417A (zh) 用於深度學習人工神經網路中類比神經記憶體的分離陣列架構
TW202509817A (zh) 用於向量矩陣乘法陣列的輸入區塊
TW202522259A (zh) 用以從向量矩陣乘法陣列產生數位輸出的σ-δ類比至數位轉換器
TW202445421A (zh) 神經網路中執行運算之類比記憶體中計算引擎及數位記憶體中計算引擎
KR20250123877A (ko) 공통 모드 회로를 포함하는 전류-전압 변환기
CN118613807A (zh) 包括模拟阵列和数字阵列的人工神经网络
CN117751406A (zh) 可配置为以模拟形式或数字形式存储神经存储器权重数据的混合存储器系统
CN120937081A (zh) 掩蔽神经网络阵列中的稀疏输入和输出
CN117716427A (zh) 用于深度学习人工神经网络中的模拟神经存储器的输入电路