[go: up one dir, main page]

TWI661428B - 神經形態權重單元及其形成的方法以及人工神經網路 - Google Patents

神經形態權重單元及其形成的方法以及人工神經網路 Download PDF

Info

Publication number
TWI661428B
TWI661428B TW107102760A TW107102760A TWI661428B TW I661428 B TWI661428 B TW I661428B TW 107102760 A TW107102760 A TW 107102760A TW 107102760 A TW107102760 A TW 107102760A TW I661428 B TWI661428 B TW I661428B
Authority
TW
Taiwan
Prior art keywords
resistors
flash memory
neural network
artificial neural
neuromorphic
Prior art date
Application number
TW107102760A
Other languages
English (en)
Other versions
TW201837917A (zh
Inventor
博爾納 J. 奧布拉多維奇
喬治 A. 凱特爾
萊恩 海雀
提塔許 瑞許特
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201837917A publication Critical patent/TW201837917A/zh
Application granted granted Critical
Publication of TWI661428B publication Critical patent/TWI661428B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B20/00—Read-only memory [ROM] devices
    • H10B20/27—ROM only
    • H10B20/40—ROM only having the source region and drain region on different levels, e.g. vertical channel
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/20—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by three-dimensional arrangements, e.g. with cells on different height levels
    • H10B41/23—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by three-dimensional arrangements, e.g. with cells on different height levels with source and drain on different levels, e.g. with sloping channels
    • H10B41/27—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by three-dimensional arrangements, e.g. with cells on different height levels with source and drain on different levels, e.g. with sloping channels the channels comprising vertical portions, e.g. U-shaped channels
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00—Solid-state devices having no potential barriers, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/20—Multistable switching devices, e.g. memristors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0069—Writing or programming circuits or methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/70—Manufacture or treatment of devices consisting of a plurality of solid state components formed in or on a common substrate or of parts thereof; Manufacture of integrated circuit devices or of parts thereof
    • H01L21/71—Manufacture of specific parts of devices defined in group H01L21/70
    • H01L21/76—Making of isolation regions between components
    • H01L21/762—Dielectric regions, e.g. EPIC dielectric isolation, LOCOS; Trench refilling techniques, SOI technology, use of channel stoppers
    • H01L21/7624—Dielectric regions, e.g. EPIC dielectric isolation, LOCOS; Trench refilling techniques, SOI technology, use of channel stoppers using semiconductor on insulator [SOI] technology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Semiconductor Memories (AREA)

Abstract

一種神經形態權重單元及其形成的方法以及人工神經網路。神經形態權重單元(NWC)包括：電阻器梯，包括串聯連接的多個電阻器；以及多個分流非暫時性記憶體(NVM)元件，所述多個分流非暫時性記憶體元件中的每一者並聯耦合到所述多個電阻器中的一個對應的電阻器。

Description

神經形態權重單元及其形成的方法以及人工神經網路
本公開的一些實施例大體來說涉及深度學習神經網路，且特別涉及一種神經形態權重單元及其形成的方法以及人工神經網路。本申請主張在2017年4月14日提出申請的美國臨時專利申請第62/485,867號的優先權及權利、以及在2017年8月15日提出申請的美國非臨時專利申請第15/678,050號的優先權及權利，所述美國臨時專利申請及美國非臨時專利申請的內容全文併入本申請供參考。
神經網路及深度學習對在人工圖像及語音辨識中、以及在自然語言處理中、以及可被視為分類任務(classification task)的許多其他任務中出現的問題提供了改善的解決方案。神經網路體現了相對於電腦編程的先前形式的範式移位(paradigm shift)。
在傳統的電腦編程中，通過將一個或多個大問題分解成可由電腦操作的較小的各別任務來向電腦給出關於如何回應於特定輸入的明確指令。相比之下，在神經網路中，不會明確地指示 經編程的電腦如何解決一般問題。而是，電腦能夠基於觀測資料進行自學，從而潛在地確定對輸入到電腦的一般問題的未經編程的解決方案。
對於視覺模式識別(visual pattern recognition)、語音辨識(speech recognition)及自然語言處理(natural language processing)來說，能夠進行深度學習的現代深度神經網路已超出了傳統計算的性能。因此，越來越多地大規模佈署神經網路來執行之前僅可由人類實現的任務。
作為實例，從數億年的進化發展而來的人類視覺系統能夠將手寫數位序列識別為由手寫數位表示的數。這部分地是由人類大腦的初級視覺皮層(primary visual cortex)來實現的，人類大腦的初級視覺皮層包括數以千萬計的神經元(neuron)或突觸(synapse)，在所述神經元或突觸之間具有數以百億計的連接。因此，當嘗試以算術形式來表示初級視覺皮層的功能時，將電腦編程成具有相似的識別手寫數位的能力可極其複雜。
可向人工神經網路或突觸網路饋送大量的訓練實例，每一訓練實例表示以不同方式表示的手寫數位(handwritten digits)。 神經網路能夠從訓練實例進行學習來產生規則，或者實質上自己編程，以一般性地識別未作為訓練實例中的一者被包括在內的其他手寫數位。儘管神經網路的準確率可取決於訓練實例的反覆運算次數，然而更準確來說，經訓練的神經網路的準確性取決於被標記的資料集(訓練實例)的大小。也就是說，儘管準確率也取 決於用於訓練網路的反覆運算次數，然而“經充分訓練的”網路可達到通過附加反覆運算無法再進一步改善的性能級別。
圖1繪示假想人工神經網路(artificial neural network，ANN)的實例。
參照圖1，人工神經網路一般由多層神經元/突觸組成。 儘管本實例繪示具有僅三個層的人工神經網路100，在每一層中具有僅少數的神經元110，然而典型人工神經網路可具有數以千計的層，每一層具有數以千計的神經元。每一層的神經元110中的每一個神經元110的輸出通常連接到下一層的神經元110的所有輸入。本實例的人工神經網路100相對簡單，且具有僅一個隱藏層130，隱藏層130是指人工神經網路100的既不是輸入層120也不是輸出層140的層。
人工神經網路100的輸入層120被配置成接收多個輸入，輸入層120中的每一個神經元110接收相應的輸入。輸入表示例如圖像的一小部分或語音的小片段。舉例來說，每一個輸入可表示對應圖元的灰度值(greyscale value)，所述對應圖元表示欲由人工神經網路100識別及歸類的圖像的所述一小部分。然而應注意，作為另外一種選擇，輸入可表示能夠被分解成整體的多個小部分的任何事物的一部分，每一部分表示其中一個輸入。
基於所述輸入，可通過人工神經網路100的一個或多個層執行數學運算。在人工神經網路100的輸出層140處，一般來說可存在用於單個具體輸出150的高激活(high activation)及用 於所有其他輸出150中的每一者的低激活(low activation)。這是因為人工神經網路100的目的是例如將輸入圖像分類成多個類別(例如，貓、狗、飛機等)中的一者，每一類別由輸出150中的單個輸出150表示。也就是說，人工神經網路100可將進入到輸入層的所述多個輸入分類成共同表示屬於單個類別或類目的圖像。
對於人工神經網路100的單個神經元/突觸110(例如，隱藏層130中的神經元110)來說，神經元110可具有多個輸入(例如，多個二進位輸入)及單個輸出(例如，單個二進位輸出)。另外，可根據輸入在確定輸出值(例如，輸出值為0或1)時的重要程度或值來向每一個輸入指派相應的權重或突觸權重。也就是說，各神經元110之間的每一連接均具有與此連接相關聯的突觸權重。每一相應的神經元110的激活是通過對神經元110的輸入執行加權求和以及將線性組合饋送到閾限激活函數(thresholding activation function)中來計算。
因此，如果存在被賦予足夠高/足夠大的權重的足夠數目的高輸入(例如，二進位輸入1)，則對應的神經元110將被激活(神經元一般來說被激活為低的或被激活為高的，但是在高與低之間可存在平滑過渡)。神經元110的變化的激活水準因此最終確定輸出層140將如何對多個輸入進行分類，且人工神經網路100可被訓練成通過對權重中的一個或多個權重進行調整或最優化來提高類別的準確性。
因此，人工神經網路100的計算元件將一組輸入信號與一組權重相乘，然後進行求和。權重在本質上是矩陣，其與對應的輸入向量相乘以生成輸出向量，所述輸出向量接著進入非線性閾限中。也就是說，人工神經網路100最終基於輸入到神經元110的輸入信號的線性組合來確定每一個神經元110的每一個輸出的值，所述值接著由比較器來進行閾限。
本公開的一些實施例提供一種由包括非暫時性記憶體(nonvolatile memory，NVM)元件及電阻器的電路製成的可調整類比單片多位元式權重單元以及使用所述單元來實施神經形態/突觸形態計算的方法。
根據一些實施例，提供一種神經形態權重單元(neuromorphic weight cell，NWC)，所述神經形態權重單元包括：電阻器梯，包括串聯連接的多個電阻器；以及多個分流非暫時性記憶體(NVM)元件，所述多個分流非暫時性記憶體元件中的每一者並聯耦合到所述多個電阻器中的對應的一個電阻器。
所述多個電阻器中位於所述電阻器梯的頂部處的第一電阻器可具有所述多個電阻器中的最低電阻值，且所述多個電阻器中的每一下一電阻器的電阻值可為所述多個電阻器中緊接著的前一電阻器的電阻值的兩倍。
所述多個分流非暫時性記憶體元件中的每一者可具有第一電阻狀態及第二電阻狀態，所述第一電阻狀態大於所述第一 電阻器的所述電阻值，且所述第二電阻狀態小於所述第一電阻器的所述電阻值。
所述多個分流非暫時性記憶體元件中的每一者的端子可為能夠分別定址的。
所述多個分流非暫時性記憶體元件中的每一者可包括雙端子式憶阻器，其中所述多個電阻器包括多個經摻雜多晶層的垂直堆疊。
根據一些實施例，提供一種人工神經網路，所述人工神經網路包括多個層，所述多個層中的每一者包括多個神經節點，其中所述多個神經節點中的一者的輸入被配置成由實施在硬體中的神經形態權重單元(NWC)以可調整方式進行加權，所述神經形態權重單元包括電阻器梯以及多個分流非暫時性記憶體(NVM)元件，所述電阻器梯包括串聯連接的多個電阻器，所述多個分流非暫時性記憶體元件中的每一者並聯耦合到所述多個電阻器中的對應的一個電阻器，其中所述多個神經節點中的所述一者的所述輸入被配置成通過選擇性地操作所述多個分流非暫時性記憶體元件中的一者或多者來被以可調整方式進行加權。
所述多個分流非暫時性記憶體元件可各自包括快閃記憶體電晶體。
所述多個分流非暫時性記憶體元件中的每一者的閘極可連接到共用閘極端子。
所述神經形態權重單元可被配置成通過以下方式被作 為權重進行讀取：使所述快閃記憶體電晶體的所有源極連接及汲極連接浮動；以及對所述共用閘極端子施加共用電壓。
所述神經形態權重單元的單元權重可被配置成通過對所述多個快閃記憶體電晶體分別進行編程來被編程，其中所述多個快閃記憶體電晶體中的經編程的快閃記憶體電晶體包括被設定成地電壓的源極端子及被設定成高電壓的汲極端子，其中高於所述經編程的快閃記憶體電晶體的所述多個快閃記憶體電晶體的所有源極端子及汲極端子被設定成地電壓，其中低於所述經編程的快閃記憶體電晶體的所述多個快閃記憶體電晶體的所有源極端子及汲極端子被設定成所述高電壓，且其中所有所述多個快閃記憶體電晶體的閘極被設定成所述高電壓。
所述神經形態權重單元的單元權重可被配置成通過以下方式被擦除：將所有所述多個快閃記憶體電晶體的所有源極端子及汲極端子接地並將所述共用閘極端子設定成遂穿電壓，或者通過將所述共用閘極端子設定成地電壓並將所有所述多個快閃記憶體電晶體的所有所述源極端子及所述汲極端子設定成遂穿電壓。
所述多個快閃記憶體電晶體可被實施成位於共用多晶矽溝道上的垂直堆疊，且其中所述多個電阻器被實施成單獨的垂直堆疊。
所述多個電阻器的電阻值可通過原位摻雜來設定，且所述多個電阻器的摻雜濃度可分別以2倍的因數變化。
所述多個快閃記憶體電晶體的源極及汲極可包括多個經重摻雜的矽層且可與所述多個電阻器的相應的多個接觸件耦合，且所述多個經重摻雜的矽層的摻雜濃度可比所述多個電阻器中的被摻雜最重的一個電阻器的摻雜濃度高至少一個數量級。
所述多個經重摻雜的矽層可分別被多個溝槽接觸件接觸。
所述多個快閃記憶體電晶體的層的數目可大於或等於二。
所述神經形態權重單元可被配置成通過使所述多個快閃記憶體電晶體的所有所述源極及所述汲極浮動、並通過在所述神經形態權重單元的輸入端子上施加讀取電壓來被讀取。
根據一些實施例，提供一種形成神經形態權重單元(NWC)的方法，所述神經形態權重單元包括電阻器梯及多個分流非暫時性記憶體(NVM)元件，所述電阻器梯包括串聯連接的多個電阻器，所述多個分流非暫時性記憶體元件中的每一者並聯耦合到所述多個電阻器中的對應的一個電阻器，所述方法包括：在絕緣基板上沉積共用多晶矽溝道；在所述共用多晶矽溝道上沉積第一間隔件材料層；在所述第一間隔件材料層上沉積絕緣材料作為犧牲閘極；在所述絕緣材料上沉積第二間隔件材料層；在所述共用多晶矽溝道上形成多個快閃記憶體電晶體作為第一垂直堆疊；以及在所述共用多晶矽溝道上形成多個電阻器作為第二垂直堆疊。
所述方法還可包括對所述第二垂直堆疊的區域進行選擇性原位摻雜，以設定所述多個電阻器的不同電阻值。
所述方法還可包括執行蝕刻及沉積來形成多個溝槽接觸件以用於分別接觸所述多個快閃記憶體電晶體的源極接觸件及汲極接觸件。
因此，所闡述的實施例提供一種用於神經形態/突觸形態計算的模擬單片多位元式權重單元。
100‧‧‧人工神經網路
110‧‧‧神經元/突觸
120‧‧‧輸入層
130‧‧‧隱藏層
140‧‧‧輸出層
150、452‧‧‧輸出
300‧‧‧權重單元/神經形態權重單元/突觸形態權重單元
310‧‧‧電阻器
320‧‧‧電阻器
330‧‧‧電阻器
312、322、332‧‧‧快閃記憶體裝置/非暫時性記憶體元件/標準非暫時性記憶體元件
342、344、346、348、450、542、544、546、548、550、642、644、648‧‧‧輸入
350‧‧‧輸入/電壓線/權重單元輸入
352‧‧‧輸出/神經元線/權重單元輸出
360‧‧‧電阻器梯/固定值電阻器堆疊/電阻器堆疊
370‧‧‧分流非暫時性記憶體堆疊
400‧‧‧權重單元
410‧‧‧電阻器
412‧‧‧快閃記憶體電晶體
420‧‧‧電阻器
422‧‧‧快閃記憶體電晶體
430‧‧‧電阻器
432‧‧‧快閃記憶體電晶體
442‧‧‧源極端子
444‧‧‧源極端子/汲極端子
446、448‧‧‧汲極端子
454‧‧‧共用閘極端子
460‧‧‧電阻器梯
470‧‧‧快閃記憶體電晶體堆疊
500‧‧‧權重單元
510、520、530‧‧‧電阻器
512、522、532‧‧‧憶阻器源極
560、660‧‧‧電阻器堆疊
570‧‧‧憶阻器元件堆疊
654‧‧‧共用閘極
670‧‧‧快閃記憶體堆疊
680‧‧‧基板
682‧‧‧內部間隔件
684‧‧‧閘極介電質
686‧‧‧浮動閘極
Iout‧‧‧電流值/輸出電流值
R、R0、R1、R2‧‧‧電阻值
S7010、S7020、S7030、S7040、S7050、S7060、S7070、S7080、S7090、S7100、S7110、S7120、S7130、S7140、S7150‧‧‧步驟
V1‧‧‧電壓值/輸入電壓值
V2‧‧‧電壓值/輸入電壓值
V3‧‧‧電壓值/輸入電壓值
Vout‧‧‧電壓值/輸出電壓值
Vg‧‧‧閘極電壓值
Vin‧‧‧電壓值/輸入電壓/輸入電壓值
結合附圖閱讀以下說明可更詳細地理解一些實施例，在附圖中：圖1繪示假想人工神經網路(ANN)的實例。
圖2繪示用於將手寫數識別為人工神經網路(ANN)的隱藏神經元的數目的函數及在人工神經網路中使用的位元的數目的函數的人工神經網路的性能。
圖3繪示根據本公開實施例的包括非暫時性記憶體(NVM)元件的人工神經網路(ANN)的類比神經形態權重單元。
圖4繪示根據本公開實施例的包括快閃記憶體電晶體的人工神經網路(ANN)的類比神經形態權重單元。
圖5繪示根據本公開實施例的包括雙端子式非暫時性記憶體元件的人工神經網路(ANN)的類比神經形態權重單元。
圖6繪示根據本公開實施例的神經形態權重單元的層的二維 表示形式。
圖7繪示根據本公開實施例的用於圖6所示神經形態權重單元的快閃記憶體與電阻器堆疊的概念性的製程流程。
通過參照對實施例及附圖的以下詳細說明，可更容易地理解本發明概念的特徵及其實現方法。在下文中，將參照附圖更詳細地闡述實施例，在所有的附圖中，相同的參考編號指代相同的元件。然而，本發明可被實施為各種不同形式，而不應被視為僅限於本文中所例示的實施例。確切來說，提供這些實施例作為實例是為了使本公開將透徹及完整，並將向所屬領域中的技術人員全面傳達本發明的各個方面及特徵。因此，可不再闡述對於所屬領域的普通技術人員完整地理解本發明的各個方面及特徵而言並非必需的製程、元件及技術。除非另外注明，否則在所有附圖及書面說明通篇中相同的參考編號表示相同的元件，且因此，將不再對其予以重複說明。在圖式中，為清晰起見，可誇大各元件、各層及各區的相對大小。
在以下說明中，出於解釋目的，闡述各種具體細節來提供對各種實施例的透徹理解。然而，顯而易見的是，可不使用這些具體細節或者使用一種或多種等效配置來實踐各種實施例。在其他實例中，以方塊圖形式示出眾所周知的結構及裝置以避免不必要地混淆各種實施例。
應理解，儘管本文中可能使用用語“第一(first)”、 “第二(second)”、“第三(third)”等來闡述各種元件、元件、 區、層及/或區段，然而這些元件、元件、區、層及/或區段不應受這些用語限制。這些用語用於區分各個元件、元件、區、層或區段。因此，在不背離本發明的精神及範圍的條件下，以下所述第一元件、元件、區、層或區段也可被稱為第二元件、元件、區、層或區段。
為易於解釋，本文中可使用例如“在…之下(beneath)”、“在…下麵(below)”、“下部的(lower)”、“在…下方(under)”、“在…上方(above)”、“上部的(upper)”等空間相對性用語來闡述圖中所示一個元件或特徵與另一(其他)元件或特徵的關係。應理解，空間相對性用語旨在除圖中所繪示的取向外還囊括裝置在使用或操作中的不同取向。舉例來說，若圖中所示裝置被翻轉，則被描述為位於其他元件或特徵“下面”或“之下”或者“下方”的元件此時將被取向為位於所述其他元件或特徵“上方”。因此，示例性用語“在…下面”及“在…下方”可囊括“上方”及“下方”兩種取向。裝置可具有其他取向(例如，旋轉90度或處於其他取向)且本文中使用的空間相對性描述語應相應地進行解釋。
應理解，當稱一元件、層、區或元件位於另一元件、層、區或元件“上(on)”、“連接到(connected to)或“耦合到(coupled to)”另一元件、層、區或元件時，所述元件、層、區或元件可直接位於所述另一元件、層、區或元件上、直接連接到 或直接耦合到所述另一元件、層、區或元件，抑或可存在一個或多個中間元件、層、區或元件。然而，“直接連接/直接耦合(directly connected/directly coupled)”則是指一個元件與另一個元件直接連接或直接耦合，而不具有中間元件。另外，還應理解，當稱一元件或層“位於”兩個元件或層“之間(between)”時，所述元件或層可為所述兩個元件或層之間的唯一元件或層，抑或也可存在一個或多個中間元件或層。
出於本公開的目的，“X、Y及Z中的至少一者”及“選自由X、Y及Z組成的群組中的至少一者”可被視為僅X、僅Y、僅Z或X、Y及Z中的兩者或多者的任何組合，例如，舉例來說，XYZ、XYY、YZ及ZZ。在通篇中相同的編號指代相同的元件。 本文所用用語“及/或(and/or)”包括相關列出項中的一個或多個項的任意及所有組合。
在以下實例中，x軸、y軸及z軸並非僅限於矩形座標系的三個軸，且可被解釋為更廣泛的意義。舉例來說，x軸、y軸及z軸可彼此垂直，或者可表示不彼此垂直的不同方向。
本文所用術語僅是出於闡述特定實施例的目的而並非旨在限制本發明。除非上下文清楚地另外指明，否則本文所用單數形式“一(a及an)”旨在也包括複數形式。還應理解，當在本說明書中使用用語“包括(comprises、comprising、includes及including)”時，是指明所陳述特徵、整數、步驟、操作、元件及/或元件的存在，但不排除一個或多個其他特徵、整數、步驟、 操作、元件、元件及/或其群組的存在或添加。本文所用用語“及/或”包括相關列出項中的一個或多個項的任意及所有組合。當例如“...中的至少一個(at least one of)”等表達位於一系列元件之後時，是修飾整個系列的元件而非修飾所述一系列元件中的各別元件。
本文所用用語“大體上(substantially)”、“大約(about)”及類似用語用作近似用語、而並非作為程度用語，並且旨在考慮到所屬領域的普通技術人員將知的測量值或計算值的固有偏差。另外，在闡述本發明的實施例時使用“可(may)”是指“本發明的一個或多個實施例”。本文所用用語“使用(use)”、“正使用(using)”及“被使用(used)”可被視為分別與用語“利用(utilize)”、“正利用(utilizing)”及“被利用(utilized)”同義。另外，用語“示例性(exemplary)”旨在指實例或例示。
當某一實施例可被以不同方式實施時，特定製程次序可與所闡述的次序不同地執行。舉例來說，兩個連續闡述的製程可實質上同時執行或以與所闡述的次序相反的次序執行。
另外，本文所公開的及/或本文所述的任何數值範圍均旨在包括歸入所述範圍內的相同數值精度的所有子範圍。舉例來說，“1.0到10.0”的範圍旨在包括所述最小值1.0與所述最大值10.0之間(且包含所述最小值1.0與所述最大值10.0在內)的所有子範圍，即，具有等於或大於1.0的最小值以及等於或小於10.0 的最大值，例如(舉例來說)2.4至7.6。本文所述任何最大數值限制旨在包括歸入其中的所有更低的數值限制，並且本說明書中所述的任何最小數值限制旨在包括歸入其中的所有更高的數值限制。因此，申請人保有對本說明書(包括權利要求書)進行修訂的權利，以明確地陳述歸入本文中所明確陳述的範圍內的任何子範圍。所有這些範圍均旨在在本說明書中固有地闡述以使得進行修訂來對將遵循3wU.S.C.§ 112(a)及35 U.S.C.§ 132(a)的要求的任何這些子範圍進行明確地陳述。
在本文中參照剖視圖闡述各種實施例，所述剖視圖為實施例及/或中間結構的示意性例示。因此，預期會因例如製造技術及/或容差而導致相對於例示形狀的變化。因此，本文所公開的實施例不應被視為僅限於各個區的特定例示形狀，而是應包含由例如製造引起的形狀偏差。舉例來說，被例示為矩形的植入區通常應具有圓形特徵或曲線特徵及/或在其邊緣存在植入濃度的梯度而非從植入區到非植入區為二元變化。同樣地，通過植入而形成的隱埋區可在所述隱埋區與在進行植入時所經過的表面之間的區中引起一些植入。因此，圖式中所例示的區為示意性的且其形狀並非旨在例示裝置的區的實際形狀且並非旨在進行限制。
根據本文所述本發明的實施例的電子裝置或電裝置及/或任何其他相關裝置或元件可利用任何適合的硬體、韌體(例如，應用專用積體電路(application-specific integrated circuit))、軟體或軟體、韌體及硬體的組合來實施。舉例來說，可將這些裝置的 各種元件形成在一個積體電路(integrated circuit，IC)晶片上或單獨的積體電路晶片上。此外，可將這些裝置的各種元件實施在柔性印刷電路膜(flexible printed circuit film)、載帶封裝(tape carrier package，TCP)、印刷電路板(printed circuit board，PCB)上或形成在一個基板上。此外，這些裝置的各種元件可為在一個或多個計算裝置中由一個或多個處理器運行、執行電腦程式指令並與用於執行本文所述各種功能性的其他系統元件進行交互的過程或執行緒(thread)。電腦程式指令存儲在可在使用例如(舉例來說)隨機存取記憶體(random access memory，RAM)等標準記憶體裝置的計算裝置中實施的記憶體中。電腦程式指令也可存儲在例如(舉例來說)壓縮磁碟唯讀記憶體(compact disc read only memory，CD-ROM)、快閃記憶體驅動器(flash drive)或類似元件等其他非暫時性電腦可讀媒體中。另外，所屬領域中的技術人員應知，在不背離本發明示例性實施例的精神及範圍的條件下，可將各種計算裝置的功能性組合或整合成單一的計算裝置，或者可使一特定計算裝置的功能性跨越一個或多個其他計算裝置分佈。
除非另外定義，否則本文所用所有用語(包括技術及科學用語)的含義均與本發明所屬領域中的普通技術人員所通常理解的含義相同。還應理解，用語(例如在常用字典中所定義的用語)應被解釋為具有與其在相關技術的上下文及/或本說明書中的含義一致的含義，且除非在本文中明確定義，否則不應將其解釋 為具有理想化或過於正式的意義。
如上所述，人工神經網路可基於被輸入到神經元的輸入信號的線性組合來確定每一個神經元的每一個輸出的值，所述值接著由比較器進行閾限。傳統來說，在將一組輸入信號乘以一組權重之後進行求和的計算是由人工神經網路使用專用圖形處理單元(graphic processing unit，GPU)以向量化(例如，單指令多資料(single instruction multiple data，SIMD))方式執行。通過人工神經網路進行的向量化可為將矩陣轉換成行向量(column vector)的線性變換。儘管由人工神經網路執行的向量化將極大地加快與順序性中央處理器風格計算(sequential CPU-style computation)相關的計算，然而這種向量化通常涉及大量的門(gate)以及每一計算迴圈涉及明顯的能量消耗。
作為另外一種選擇，可利用緊湊型類比電路來實施乘法-加法計算。可使用導電性“被記憶(memorized)”的非暫時性記憶體(NVM)元件作為權重來應用乘法-加法計算。然而，使用類比權重需要進行晶片上學習，這是由於將確切的類比權重值從晶片外訓練轉移到類比非暫時性記憶體可因積體電路製程變化性及模擬編程隨機性而為困難的或不可能實現的。另外，晶片上類比學習顯著地增大了表示人工神經網路的晶片的複雜性，且實際實施可能並非總是可能的。
使用類比乘法-加法的人工神經網路的傳統硬體實施一般來說對權重使用兩種選項-硬體元件及多位元式數位元件 (multi-bit digital element)。硬體元件已用於純類比權重，且將類 比晶片上學習與複雜的週邊電路一起使用，從而引起權重飽和(weight saturation)及雜訊問題。對於權重的多位元式數位實施方式來說，可使用鎖存器、觸發器及/或靜態隨機存取記憶體單元來進行位元存儲。儘管這種數位實施方式具有編程簡單、不再需要晶片上學習、以及實現可轉移到陣列的線下學習的有益效果，然而這種實施方式可具有以下不利方面：具有暫時性、功率及性能降低、以及需要相對大的面積及大的能量(例如，因用於每一位元的數模(digital-to-analog，D/A)轉換器而造成)。
通過對權重進行本機存放區(即，在神經元之間的神經元-神經元連接本地)可實現高效的執行。理論上，每一權重是實數，且每一神經元的激活級別也是實數。因此，可使用類比記憶體元件來存儲權重，其中類比記憶體元件的電導(conductance)表示對應的權重(例如，電導越高，使用所述電導的輸入的影響越大)。
儘管這些配置提供了對具有實數權重的數學人工神經網路的文字硬體說明，然而這些人工神經網路的硬體設計可具有挑戰性問題。舉例來說，類比權重一般來說可能部分地因所涉及的元件(例如，快閃記憶體、相變記憶體(phase change memory，PCM)或憶阻器(memristor))的非線性性質而難以精確地編程。 另外，在非暫時性記憶體元件及/或編程電路中存在製程變化表明：每一元件可被編程在用於感測編程級別(即，“權重”)的 回饋環路(feedback loop)中。因此，通過晶片外編程簡單地轉移訓練/學習權重將未必得出準確的權重。最終，如果使用模擬權重，則可在晶片上實施用於人工神經網路編程的全反向傳播演算法(full backpropagation algorithm)來實現準確性，從而導致電路複雜性、大小及能量需求的明顯增大。因此，使晶片外學習(off-chip learned)神經網路(neural network，NN)權重轉移到神經網路的硬體實施方式、同時保持用於乘法-加法的類比方式的速度及能量優勢可為有益的。
本公開的實施例為類比神經形態單元/神經元/突觸提供一種多位元式數位權重。模擬神經元提供了一種快速且非常高效的方法來執行用於驅動人工神經網路(ANN)的乘法-加法運算以提供寬廣範圍的分類任務。
本公開的實施例利用多標數位權重(multi-bid digital weight)來取代完全類比權重。權重的多標數位表示形式(不同於對應的類比方式)使人工神經網路訓練或網路學習能夠在晶片外執行，且確切的權重可準確地轉移到多標數位網路。通過存儲多個位元(而非如傳統作法一樣存儲單個位元)，可實施更寬廣範圍的可能的神經網，從而使得能夠實現相對較高級別的複雜性。然而，由於多位元權重可使得能夠實現較高的權重精度，硬體網路的行為可因此與網路的軟體版本的行為更好地匹配。
因此，本公開的實施例可包括用於人工神經網路的給定節點的類比神經網路權重的多位元表示形式的緊湊記憶體單元 (compact memory cell)。所述單元基本上是類比的(例如，由電 阻值表示)，且可相對於類比輸入電壓信號及類比輸出電流來闡述。然而，權重值的可用範圍可為離散的並且由位元序列直接表示。
圖2繪示用於將手寫數識別為人工神經網路(ANN)的隱藏神經元的數目的函數及在人工神經網路中使用的位元的數目的函數的人工神經網路的性能。
參照圖2，可在考慮到權重精度與為達到給定程度的準確性而需要的神經元/突觸的數目之間存在強的折衷的同時確定將在給定的神經網路應用中使用的位元的數目。對人工神經網路的當前理解表明，使用僅三個位元便可良好地執行大部分分類任務。近來，已以僅單個位元的解析度成功實現了可被視為手寫數位識別基準的經修改的國家標準與技術研究所(Modified National Institute of Standards and Technology，MNIST)資料庫。
通常，為實現約95%的分類準確性，具有1位元解析度的人工神經網路一般使用比具有3位元解析度的人工神經網路(使用3位元神經元)多近似100倍的1位元神經元。也就是說，解析度越高，在人工神經網路中實現設定級別的準確性所需要的神經元的總數目越少。另外，一般人工神經網路的準確性可在三個位元左右飽和，使得在使用模擬權重時具有附加位元可帶來相對很小的附加有益效果。然而，應注意，本公開的其他實施例可使用不同數目的位元。舉例來說，以下闡述的實施例證明使用三個 位元可實現8個級別的權重。然而，對於4位元解析度來說，可實現16個級別的權重，對於5位元解析度來說，可實現32個級別的權重等。
因此，相對複雜的人工神經網路很少使用類比權重表示形式的多於三個位元的精度。因此，用於對神經節點輸入進行加權的權重單元可相對緊湊。由於存在逐位元的離散化(bit-wise discretization)，因此可使用軟體的確切匹配及在電腦中模擬的表示形式(in-silico representation)來將在晶片外學習的權重容易地轉移到神經網路硬體。由於權重單元支援完全類比輸入/輸出信號，因此可有望由完全類比神經網路實現明顯的時間及能量節約，而不需要進行晶片上學習。因此，以上闡述的實施例使得能夠在硬體而非軟體中實現人工神經網路中的加權。
圖3繪示根據本公開實施例的包括非暫時性記憶體(NVM)元件的人工神經網路(ANN)的類比神經形態權重單元。
參照圖3，根據本實施例，以上闡述的多位元量化電阻值可由權重單元(例如，神經形態權重單元(NWC))300來實現，權重單元300包括：電阻器梯360，包括多個串聯連接的電阻器310、320、330(在量化過程中每一位元一個電阻器或者n位元n個電阻器)；以及多個非暫時性記憶體元件312、322、332，每一個非暫時性記憶體元件被配置成對電阻器梯360的對應的電阻器進行分流。也就是說，針對每一個權重單元300可形成裝置的兩個垂直堆疊：固定值電阻器堆疊360及分流非暫時性記憶體堆疊 370。
因此，每一個電阻器310、320、330可通過作為分流裝置的對應非暫時性記憶體元件的操作而有效地被激活或去激活，從而提供人工神經網路的可調整的個別神經形態權重單元300。也就是說，每一個電阻器可被具有寬廣範圍的可用電阻狀態的非暫時性記憶體元件分流，以使得在非暫時性記憶體的“接通(ON)”狀態中，與非暫時性記憶體元件並聯的電阻器被完全分流(例如，非暫時性記憶體元件與電阻器的並聯組合的電阻值比電阻器310、320、330中的任意一者的電阻值小得多)。同樣地，在非暫時性記憶體元件的“關斷(OFF)”狀態中，非暫時性記憶體元件的電阻必須比電阻值R大得多，以使得非暫時性記憶體元件基本“斷開”，且因此導通電流可忽略不計。
在本實施例中，三位元神經網路可足以實現分類準確性的期望級別，因為人工神經網路可使用3位元量化(甚至利用更少位元的量化，此對一些人工神經網路而言足夠)良好地工作而不需要完全類比操作。由於電阻器梯360的結構，權重單元300可由經多位元量化的電阻值Rweight表示，如以下方程式所示：
由於電阻器310、320、330在電阻器梯360中串聯組合，因此對於每一下一電阻器來說，電阻器310、320、330的相應的電阻值R0、R1、R2以2的冪方式增大(例如，表示最高有效位元 (most significant bit)(或“位元0(Bit 0)”)的電阻器310的 電阻值可為1R，而電阻器320的電阻值可為2R，且在使用3位元量化的本實施例中表示最低有效位元(least significant bit)的電阻器330的電阻值可為4R)。也就是說，電阻器310、320、330的電阻值R0、R1、R2形成二進位幾何序列(例如，R、2R、4R等，其中R是電阻器梯360的基礎電阻值(base resistance value))。
由於每一個非暫時性記憶體(NVM)開關在理論上可對對應的電阻器進行完全分流，或者可完全斷開(以使得所有電流流經對應的電阻器)，因此電阻器的串聯組合提供電阻值(2n-1)R的n位元量化。也就是說，在本實例中，可通過作為開關工作的三個獨立的非暫時性記憶體元件312、322、332的變化的操作(例如，通過改變與輸入350、342、344、346及348對應的電壓值Vin、V1、V2、V3及Vout)來實現電阻值0R、1R、2R、3R、4R、5R、6R及7R。
在其他實施例中，非暫時性記憶體元件可具有接觸源極及汲極(source and drain，SD)區、以及閘極(例如，非暫時性記憶體元件可為三端子式非暫時性記憶體元件)。使用非暫時性記憶體元件312、322、332的各種接觸件，非暫時性記憶體元件312、322、332可分別被編程為接通狀態或關斷狀態，從而使得能夠實現電阻值的從近似0到(2n-1)R(在使用n個電阻器及n個非暫時性記憶體元件時，n是自然數)的n位元量化。非暫時性記憶體元件312、322、332不需要被編程為高程度的準確性。而是，非暫 時性記憶體元件312、322、332可在被操作成強“接通”或強“關斷”時充分工作，其中強度是按照電阻器310、320、330中具有最低電阻的電阻器310的電阻值R的尺度衡量的。然而，確切的值無關緊要，從而極大地簡化編程。
因此，可使用多個快閃記憶體裝置/非暫時性記憶體元件312、322、332及電阻器310、320、330來表示單個神經形態/突觸形態權重單元300。每一個權重單元300的權重對應於連接在電壓線/權重單元輸入350與神經元線/權重單元輸出352之間的電阻器梯360的電導。非暫時性記憶體元件312、322、332可以數位模式被編程(例如，被強編程或被強擦除)。
與權重單元300的權重對應的矩陣是電阻器梯360的結構的一組電導，且被饋送到權重單元300中的向量是被輸入到權重單元300的輸入350的一組電壓。另外，在權重單元300的輸出352處生成的一組電流是電導矩陣乘以電壓向量的乘積。因此，可使用所繪示的結構通過將權重單元300的輸入改變成電壓值以及將權重單元300的輸出改變成電流值來獲得近似矩陣向量乘積。
本實施例將電阻器梯360看作由標準CMOS元件(電阻器310、320、330)與標準非暫時性記憶體元件312、322、332形成的電路，所述電路可在現有的COMS製程中實施。本實施例的電路佈局使用與權重表示形式的位元的數目成比例的空間量。 電阻器堆疊360可通過垂直多晶矽柱的選擇性原位摻雜形成。如果各層之間的間距不是恒定的，則可對電阻器摻雜濃度進行選擇 以使得電阻器序列的總電阻仍為1R、2R、4R等。適合的摻雜值可介於1e18/cm^3到1e19/cm^3範圍內。
不同于傳統方式，本公開的實施例與標準數模轉換基本的不同之處在于，權重單元300的電性輸入及輸出是模擬的，而僅權重表示形式是多位元數字(multi-bit digital)的。儘管針對本實施例闡述了非暫時性記憶體元件312、322、332，然而如以下將論述，可使用各種選項作為對其他實施例的權重單元的電阻器梯的電阻器進行分流的分流開關。
圖4繪示根據本公開實施例的包括快閃記憶體電晶體的人工神經網路(ANN)的類比神經形態權重單元。
參照圖4，可使用或非快閃記憶體元件(例如，快閃記憶體電晶體)作為非暫時性記憶體分流元件。因此，本實施例的權重單元400使用包括多個快閃記憶體電晶體412、422、432的快閃記憶體電晶體堆疊470而非在前一實施例的權重單元300中使用的分流非暫時性記憶體堆疊370。
本實施例的權重單元400提供具有多個數量級的大的動態範圍的分流電阻值。因此，分流器(例如，快閃記憶體電晶體412、422、432中的一者)的最大電阻可比電阻器410的電阻值R0大得多(比電阻值R大得多)，從而實現優異的斷開。另外，分流器可實現的最小電阻可小於或近似等於電阻器410的電阻值R0，此可在電阻器410的電阻值R0不充分大的條件下引起串聯電阻的一些變化性。
另外，電阻器410的電阻值R0與耦合到權重單元400的輸出452的求和放大器(summing amplifier)的輸入處的電容值的乘積可小於實施權重單元400的系統的時鐘週期。
在本實施例中，快閃記憶體電晶體412、422、432中的每一者可在共用閘極端子454處接收相同的閘極電壓值Vg，但可通過使快閃記憶體電晶體412、422、432中的每一者的對應的輸入電壓及輸出電壓變化來分別得到控制。
舉例來說，與電阻器410並聯的快閃記憶體電晶體412可具有源極端子442及汲極端子444，源極端子442具有電壓值V1，汲極端子444具有電壓值V2。與電阻器420並聯的快閃記憶體電晶體422可具有電壓值與快閃記憶體電晶體412的汲極端子444的電壓值(例如，V2)相等的源極端子444，且在汲極端子446處可具有與快閃記憶體電晶體432的源極端子的電壓值V3相等的電壓值V3。與電阻器430並聯的快閃記憶體電晶體432可具有汲極端子448，汲極端子448具有電壓值Vout。
因此，從權重單元400的輸出452輸出到求和/積分放大器且與權重單元400的輸入450處的電壓值Vin對應的電流值Iout可通過改變閘極電壓值Vg及與不同的快閃記憶體電晶體412、422、432對應的輸入/輸出電壓值V1、V2、V3及Vout來操縱。也就是說，基於權重單元400的輸入450的輸入電壓值Vin的權重單元400的輸出(即，輸出電流值Iout)可通過快閃記憶體電晶體412、422、432的各別操作來以各種方式進行加權。因此，權重單元400 可如下所述被編程。
使用與電阻器420及快閃記憶體電晶體422對應的第二位元“位元1(Bit 1)”作為實例，可通過將閘極電壓值Vg、快閃記憶體電晶體422的汲極端子446的電壓值V3、及快閃記憶體電晶體432的汲極端子448的電壓值Vout設定成高電壓(例如，VHIGH)以及通過將快閃記憶體電晶體412的源極端子442的電壓值V1及快閃記憶體電晶體422的源極端子444的電壓值V2設定成低電壓(例如，GND)來實現高電阻(例如，使用熱載流子注入(hot-carrier injection，HCI))。
可通過將閘極電壓值Vg設定成隧道電壓值“-VTUNNEL”以及通過將電壓值V1、V2、V3、及Vout設定成GND來實現低電阻(使用隧穿，所有位元)，從而對電阻器梯460進行分流，以使得電子通過隧穿穿過閘極氧化物而從浮動多晶(floating poly)移動到溝道。權重單元400的輸入450的輸入電壓值Vin可被設定成電壓值VLIN。
權重單元400可通過以下方式進行讀取：將閘極電壓值Vg設定成VHIGH、將電壓值V1、V2、V3、及Vout設定成具有高阻抗、以及將權重單元400的輸入450的電壓值Vin設定成VLIN或對於性能來說足夠高但明顯小於VHIGH的某個其他電壓值。另外，通過對共用閘極端子施加共用電壓，快閃記憶體電晶體以線性模式工作，而不論施加到神經形態權重單元的信號電壓的值如何。另外，不會通過對應的閘極氧化物發生遂穿，且不會發生向 浮動多晶的熱載流子注入(HCI)，從而避免讀取擾動(read disturb)。
在形成快閃記憶體電晶體412、422、432時，快閃記憶體電晶體412、422、432的層的數目可大於或等於2，但可與製程能力所允許的一樣高(例如，至少三層以實現最好的性能)。
圖5繪示根據本公開實施例的包括雙端子式非暫時性記憶體元件的人工神經網路(ANN)的類比神經形態權重單元。
參照圖5，根據本實施例，在權重單元500中，可使用憶阻器元件(例如，憶阻器元件512、522、532)作為非暫時性記憶體分流元件，而非前述實施例的權重單元300的非暫時性記憶體元件312、322、332及權重單元400的快閃記憶體電晶體412、422、432。因此，可與電阻器堆疊560並聯使用憶阻器元件堆疊570。
所使用的憶阻器元件512、522、532的類型可為包括以下的若干類型中的一者：相變記憶體(如在本實施例中一樣)、導電橋接隨機存取記憶體(conductive-bridging random access memory，CBRAM)或任何其他雙端子式非暫時性電阻器。本實施例提供有限的但可接受的動態範圍(例如，兩個數量級)。如同前面的實施例的分流元件一樣，針對電阻器堆疊560的電阻器510、520、530中的每一者且與電阻器堆疊560的電阻器510、520、530中的每一者並聯地提供非暫時性記憶體元件。因此，通過分別操作不同的憶阻器元件512、522、532，可在類比電路中實施權重/ 電阻的範圍。
對本實施例的權重單元500進行的編程可如下所述來實現。
目標非暫時性記憶體元件可通過將非暫時性記憶體元件的源極電壓設定成GND及將非暫時性記憶體元件的汲極電壓設定成VHIGH_P來進行編程，其中VHIGH_P的值依賴於所使用的憶阻器元件512、522、532的類型，且可處於1.5V到2.5V範圍內。憶阻器上的位元於被編程的憶阻器上方的所有輸入端子可被設定成GND，而憶阻器上的位元於被編程的憶阻器下方的所有輸入端子可被設定成VHIGH_P。
舉例來說，在對第二位元“位元1(Bit 1)”進行編程以實現高電阻時，可將輸入542的電壓值V1及輸入544的電壓值V2設定成GND，且可將輸入546的輸入電壓值V3及輸入548的輸出電壓值Vout設定成相對極高的電壓(例如，V_XHIGH，其中V_XHIGH比V_HIGH高得多)。
相似地，可通過對權重單元500的各別的憶阻器元件512、522、532進行復位來擦除權重單元500。對權重單元500的重定可通過與用於對權重單元500進行編程的方法相似的方法來完成，但反而可使用電壓準位VHIGH_E而非VHIGH_P(其中，VHIGH_E比VHIGH_P大，但是電壓準位的具體值可依賴於所選擇的憶阻器的類型)。舉例來說，VHIGH_P的值可低達1.5V，或高達10V。
因此，且仍使用第二位元“位元1(Bit 1)”作為實例，為實現低電阻，可將電壓值V1及電壓值V2設定成GND，且可將電壓值V3及輸出電壓值Vout設定成高電壓(例如，V_HIGH)。
為對權重單元500進行讀取，可將電壓值V1、V2、V3、及Vout設定成高阻抗，可將權重單元500的輸入550的電壓值Vin設定成VLIN(例如，對於性能而言足夠高，但比VHIGH小得多)。
然而，作為輸入電壓Vin向權重單元500的輸入550施加的合適的讀取電壓準位可依賴於所使用的讀取元件的具體類型，且應比所述元件的編程電壓低。示例性的合適的電壓可為0.7V，但也高達1.5V。
圖6繪示根據本公開實施例的神經形態權重單元的層的二維表示形式。
參照圖6，不同于前面相對於圖3至圖5所論述的實施例，本實施例繪示具有2位元解析度(而非3位元解析度)的權重單元。
權重單元可通過提供基板680且接著在基板680上沉積矽層來形成。之後，可在矽層上形成間隔件層(例如，SiO2)。在間隔件層的頂部上，可在多晶矽垂直溝道的各個側上在快閃記憶體堆疊670的快閃記憶體元件中形成閘極介電質684(例如，IL+Hi-K、SiO2)及浮動閘極686(例如，多晶矽)。另外，可在電阻器堆疊660中在間隔件層的頂部上執行摻雜以對電阻器的電阻值進行設定。之後，可沉積附加間隔件層。
可接著在附加間隔件層的頂部上沉積另一個矽層，且可在矽層中形成共用閘極654的內部間隔件682。接著，可沉積另一個間隔件層，且可與電阻器堆疊660中的附加電阻器一起形成在快閃記憶體堆疊670中包括另一個快閃記憶體元件的附加層。附加電阻器可被摻雜成初始電阻器的兩倍重，以由此具有為初始電阻器的電阻值的近似兩倍的電阻值。之後，可沉積另一個間隔件層、之後沉積矽層及再一個間隔件層。
在沉積各個層之後，可對各個層進行選擇性蝕刻及填充以形成快閃記憶體堆疊670中的兩個快閃記憶體元件的共用閘極654及各個輸入642、644、648。
圖7繪示根據本公開實施例的用於圖6所示神經形態權重單元的快閃記憶體與電阻器堆疊的概念性的製程流程。
參照圖7，首先，可在絕緣基板上沉積經n+摻雜的多晶矽(S7010)。接著，可沉積SiO2或一些其他間隔件材料(S7020)。 接著，可沉積α-碳或某種其他絕緣材料來作為犧牲閘極(S7030)。接著，可沉積間隔件材料(S7040)。接著可重複操作S7010至S7040直到所有期望層均已被沉積為止(例如，依賴于在目標權重單元中實施的位元的數目)。
之後，可將溝道溝槽向下蝕刻到絕緣基板(S7050)。接著，可在溝槽中外延生長多晶溝道(S7060)，且可適當地應用原位摻雜在溝槽中外延生長多晶電阻器柱(S7070)。
之後，可對犧牲閘極材料進行選擇性蝕刻，且可生長熱 氧化物以得到閘極介電質(S7080)。接著，可沉積未經摻雜的多晶矽(用於浮動多晶閘極)，且可使用多個沉積蝕刻步驟(S7090)。
接著，可沉積頂部閘極介電質(S7100)，且可沉積功函數(workfunction,WF)金屬。接著，可使用遮罩來蝕刻接觸開口(S7120)，且可使用另一個遮罩來蝕刻閘極接觸件(S7130)。接著，可在閘極接觸件上形成內部間隔件(S7140)，且可利用接觸金屬來填充接觸開口(S7150)。
因此，本公開的實施例提供一種用於神經形態/突觸形態計算的由包括非暫時性記憶體元件及電阻器的電路製成的可調整類比單片多位元式權重單元。

Claims (20)

  1. 一種神經形態權重單元，包括：電阻器梯，包括串聯連接的多個電阻器；以及多個分流非暫時性記憶體元件，所述多個分流非暫時性記憶體元件中的每一者並聯耦合到所述多個電阻器中的對應的一個電阻器。
  2. 如申請專利範圍第1項所述的神經形態權重單元，其中所述多個電阻器中位於所述電阻器梯的頂部處的第一電阻器具有所述多個電阻器中的最低電阻值，且其中所述多個電阻器中的每一下一電阻器的電阻值是所述多個電阻器中緊接著的前一電阻器的電阻值的兩倍。
  3. 如申請專利範圍第2項所述的神經形態權重單元，其中所述多個分流非暫時性記憶體元件中的每一者具有第一電阻狀態及第二電阻狀態，所述第一電阻狀態大於所述第一電阻器的電阻值，且所述第二電阻狀態小於所述第一電阻器的電阻值。
  4. 如申請專利範圍第1項所述的神經形態權重單元，其中所述多個分流非暫時性記憶體元件中的每一者的端子是能夠分別定址的。
  5. 如申請專利範圍第1項所述的神經形態權重單元，其中所述多個分流非暫時性記憶體元件中的每一者包括雙端子式憶阻器，其中所述多個電阻器包括多個經摻雜多晶層的垂直堆疊。
  6. 一種人工神經網路，所述人工神經網路包括多個層，所述多個層中的每一者包括多個神經節點，其中所述多個神經節點中的一者的輸入被配置成由實施在硬體中的神經形態權重單元以可調整方式進行加權，所述神經形態權重單元包括：電阻器梯，包括串聯連接的多個電阻器；以及多個分流非暫時性記憶體元件，所述多個分流非暫時性記憶體元件中的每一者並聯耦合到所述多個電阻器中的對應的一個電阻器，其中所述多個神經節點中的所述一者的所述輸入被配置成通過選擇性地操作所述多個分流非暫時性記憶體元件中的一者或多者來被以可調整方式進行加權。
  7. 如申請專利範圍第6項所述的人工神經網路，其中所述多個分流非暫時性記憶體元件包括多個快閃記憶體電晶體，且所述多個分流非暫時性記憶體元件各自包括一個快閃記憶體電晶體。
  8. 如申請專利範圍第7項所述的人工神經網路，其中所述多個分流非暫時性記憶體元件中的每一者的閘極連接到共用閘極端子。
  9. 如申請專利範圍第8項所述的人工神經網路，其中所述神經形態權重單元被配置成通過以下方式被作為權重進行讀取：使所述多個快閃記憶體電晶體的所有源極連接及汲極連接浮動；以及對所述共用閘極端子施加共用電壓。
  10. 如申請專利範圍第9項所述的人工神經網路，其中所述神經形態權重單元的單元權重被配置成通過對所述多個快閃記憶體電晶體分別進行編程來被編程，其中所述多個快閃記憶體電晶體中的經編程的快閃記憶體電晶體包括被設定成地電壓的源極端子及被設定成高電壓的汲極端子，其中高於所述經編程的快閃記憶體電晶體的所述多個快閃記憶體電晶體的所有源極端子及汲極端子被設定成所述地電壓，其中低於所述經編程的快閃記憶體電晶體的所述多個快閃記憶體電晶體的所有源極端子及汲極端子被設定成所述高電壓，且其中所有所述多個快閃記憶體電晶體的閘極被設定成所述高電壓。
  11. 如申請專利範圍第8項所述的人工神經網路，其中所述神經形態權重單元的單元權重被配置成通過以下方式被擦除：將所有所述多個快閃記憶體電晶體的所有源極端子及汲極端子接地並將所述共用閘極端子設定成遂穿電壓，或者通過將所述共用閘極端子設定成地電壓並將所有所述多個快閃記憶體電晶體的所有所述源極端子及所述汲極端子設定成所述遂穿電壓。
  12. 如申請專利範圍第8項所述的人工神經網路，其中所述多個快閃記憶體電晶體被實施成位於共用多晶矽溝道上的垂直堆疊，且其中所述多個電阻器被實施成單獨的垂直堆疊。
  13. 如申請專利範圍第12項所述的人工神經網路，其中所述多個電阻器的電阻值是通過原位摻雜來設定，且其中所述多個電阻器的摻雜濃度分別以2倍的因數變化。
  14. 如申請專利範圍第13項所述的人工神經網路，其中所述多個快閃記憶體電晶體的源極及汲極包括多個經重摻雜的矽層且與所述多個電阻器的相應的多個接觸件耦合，且其中所述多個經重摻雜的矽層的摻雜濃度比所述多個電阻器中的被摻雜最重的一個電阻器的摻雜濃度高至少一個數量級。
  15. 如申請專利範圍第14項所述的人工神經網路，其中所述多個經重摻雜的矽層分別被多個溝槽接觸件接觸。
  16. 如申請專利範圍第15項所述的人工神經網路，其中所述多個快閃記憶體電晶體的層的數目大於或等於二。
  17. 如申請專利範圍第16項所述的人工神經網路，其中所述神經形態權重單元被配置成通過使所述多個快閃記憶體電晶體的所有所述源極及所述汲極浮動、並通過在所述神經形態權重單元的輸入端子上施加讀取電壓來被讀取。
  18. 一種形成神經形態權重單元的方法，所述神經形態權重單元包括電阻器梯及多個分流非暫時性記憶體元件，所述電阻器梯包括串聯連接的多個電阻器，所述多個分流非暫時性記憶體元件中的每一者並聯耦合到所述多個電阻器中的對應的一個電阻器，所述方法包括：在絕緣基板上沉積共用多晶矽溝道；在所述共用多晶矽溝道上沉積第一間隔件材料層；在所述第一間隔件材料層上沉積絕緣材料作為犧牲閘極；在所述絕緣材料上沉積第二間隔件材料層；在所述共用多晶矽溝道上形成多個快閃記憶體電晶體作為第一垂直堆疊；以及在所述共用多晶矽溝道上形成多個電阻器作為第二垂直堆疊。
  19. 如申請專利範圍第18項所述的方法還包括：對所述第二垂直堆疊的區域進行選擇性原位摻雜，以設定所述多個電阻器的不同電阻值。
  20. 如申請專利範圍第18項所述的方法還包括：執行蝕刻及沉積來形成多個溝槽接觸件以用於分別接觸所述多個快閃記憶體電晶體的源極接觸件及汲極接觸件。
TW107102760A 2017-04-14 2018-01-25 神經形態權重單元及其形成的方法以及人工神經網路 TWI661428B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762485867P 2017-04-14 2017-04-14
US62/485,867 2017-04-14
US15/678,050 US10909449B2 (en) 2017-04-14 2017-08-15 Monolithic multi-bit weight cell for neuromorphic computing
US15/678,050 2017-08-15

Publications (2)

Publication Number Publication Date
TW201837917A TW201837917A (zh) 2018-10-16
TWI661428B true TWI661428B (zh) 2019-06-01

Family

ID=63790167

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102760A TWI661428B (zh) 2017-04-14 2018-01-25 神經形態權重單元及其形成的方法以及人工神經網路

Country Status (4)

Country Link
US (2) US10909449B2 (zh)
KR (1) KR102519293B1 (zh)
CN (1) CN108734271B (zh)
TW (1) TWI661428B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI715289B (zh) * 2019-11-14 2021-01-01 新加坡商鴻運科股份有限公司 產品印刷參數設定裝置、方法及電腦可讀取存儲介質

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180136202A (ko) * 2017-06-14 2018-12-24 에스케이하이닉스 주식회사 컨볼루션 신경망 및 컨볼루션 신경망을 가진 신경망 시스템
US11461620B2 (en) 2017-07-05 2022-10-04 Samsung Electronics Co., Ltd. Multi-bit, SoC-compatible neuromorphic weight cell using ferroelectric FETs
US11354562B2 (en) * 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US11403529B2 (en) * 2018-04-05 2022-08-02 Western Digital Technologies, Inc. Noise injection training for memory-based learning
US20200104635A1 (en) * 2018-09-28 2020-04-02 Konica Minolta Laboratory U.S.A., Inc. Invertible text embedding for lexicon-free offline handwriting recognition
KR102221763B1 (ko) * 2018-11-19 2021-02-26 포항공과대학교 산학협력단 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치
US11133059B2 (en) 2018-12-06 2021-09-28 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
US12393845B2 (en) 2018-12-06 2025-08-19 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
EP3789925B8 (en) * 2018-12-06 2024-09-11 Sandisk Technologies, Inc. Non-volatile memory die with deep learning neural network
US11074318B2 (en) 2018-12-14 2021-07-27 Western Digital Technologies, Inc. Hardware accelerated discretized neural network
US11270763B2 (en) * 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
GB201907685D0 (en) 2019-02-06 2019-07-17 Cirrus Logic Int Semiconductor Ltd Multi-level memristor elements
US11182686B2 (en) 2019-03-01 2021-11-23 Samsung Electronics Co., Ltd 4T4R ternary weight cell with high on/off ratio background
US11699070B2 (en) * 2019-03-05 2023-07-11 Samsung Electronics Co., Ltd Method and apparatus for providing rotational invariant neural networks
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
US11520521B2 (en) 2019-06-20 2022-12-06 Western Digital Technologies, Inc. Storage controller having data augmentation components for use with non-volatile memory die
CN112183734B (zh) * 2019-07-03 2025-02-14 财团法人工业技术研究院 神经元电路
US12353846B2 (en) * 2019-07-09 2025-07-08 MemryX Matrix data reuse techniques in multiply and accumulate units of processing system
CN114207724B (zh) * 2019-07-30 2025-08-22 Ihw有限公司 控制突触元件中电阻逐渐变化的装置和方法
US10726331B1 (en) 2019-08-26 2020-07-28 International Business Machines Corporation Neural network circuits providing early integration before analog-to-digital conversion
US11101320B2 (en) * 2019-10-22 2021-08-24 Samsung Electronics Co., Ltd System and method for efficient enhancement of an on/off ratio of a bitcell based on 3T2R binary weight cell with spin orbit torque MJTs (SOT-MTJs)
KR20210052059A (ko) * 2019-10-31 2021-05-10 에스케이하이닉스 주식회사 반도체장치
CN112801328B (zh) * 2019-11-14 2023-10-31 富联精密电子(天津)有限公司 产品印刷参数设定装置、方法及计算机可读存储介质
KR102782076B1 (ko) 2019-12-13 2025-03-18 삼성전자주식회사 스위칭 소자와 저항 소자를 포함하는 3차원 뉴로모픽 장치
KR102419201B1 (ko) * 2019-12-27 2022-07-08 포항공과대학교 산학협력단 멀티 비트 특성을 갖는 뉴로모픽 시냅스 소자 및 이의 동작 방법
US12050886B2 (en) * 2020-03-25 2024-07-30 Samsung Electronics Co., Ltd. Neuromorphic device and driving method thereof
US11855641B2 (en) * 2020-07-07 2023-12-26 Infineon Technologies LLC Integrated resistor network and method for fabricating the same
KR102885869B1 (ko) * 2020-08-11 2025-11-12 삼성전자주식회사 프로세싱 장치 및 이를 포함하는 전자 시스템
US11397544B2 (en) * 2020-11-10 2022-07-26 International Business Machines Corporation Multi-terminal neuromorphic device
CN113311702B (zh) * 2021-05-06 2022-06-21 清华大学 一种基于Master-Slave神经元的人工神经网络控制器
US11514981B1 (en) 2021-06-04 2022-11-29 International Business Machines Corporation Programming devices and weights in hardware
US11782642B2 (en) * 2021-06-14 2023-10-10 Western Digital Technologies, Inc. Systems and methods of determining degradation in analog compute-in-memory (ACIM) modules
US12086461B2 (en) * 2021-06-14 2024-09-10 SanDisk Technologies, Inc. Systems and methods of compensating degradation in analog compute-in-memory (ACIM) modules
US12417390B2 (en) 2021-06-16 2025-09-16 SanDisk Technologies, Inc. Enhanced digital signal processor (DSP) NAND flash
CN115543257B (zh) * 2021-06-29 2025-12-12 财团法人工业技术研究院 存储器内的可配置运算单元
TWI795967B (zh) * 2021-06-29 2023-03-11 財團法人工業技術研究院 記憶體內的可配置運算單元
CN113553293B (zh) * 2021-07-21 2024-09-03 清华大学 存算一体装置及其校准方法
JP7209068B1 (ja) * 2021-10-19 2023-01-19 ウィンボンド エレクトロニクス コーポレーション 半導体記憶装置
CN114580630B (zh) * 2022-03-01 2024-05-31 厦门大学 用于ai芯片设计的神经网络模型训练方法及图形分类方法
CN115019854B (zh) * 2022-04-28 2024-07-05 深圳市金和思锐科技有限公司 基于忆阻器的存算一体存算单元和存算阵列
US20240249132A1 (en) * 2023-01-23 2024-07-25 Brisk Computing LLC Multi-resistor unit cell configuration for impementaiton in analog neuromorphic circuits
KR102695856B1 (ko) * 2023-09-13 2024-08-16 (주)웨이비스 칩 좌표 정보가 표시된 웨이퍼

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4950917A (en) * 1988-07-27 1990-08-21 Intel Corporation Semiconductor cell for neural network employing a four-quadrant multiplier
US5004932A (en) * 1988-07-01 1991-04-02 Hitachi, Ltd. Unit circuit for constructing a neural network and a semiconductor integrated circuit having the same
US5222193A (en) * 1990-12-26 1993-06-22 Intel Corporation Training system for neural networks and the like
US5268320A (en) * 1990-12-26 1993-12-07 Intel Corporation Method of increasing the accuracy of an analog circuit employing floating gate memory devices
US5336937A (en) * 1992-08-28 1994-08-09 State University Of New York Programmable analog synapse and neural networks incorporating same
US6157751A (en) * 1997-12-30 2000-12-05 Cognex Corporation Method and apparatus for interleaving a parallel image processing memory

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3104358A (en) * 1959-10-05 1963-09-17 Jr William J Heacock Memory circuit with positive and negative limiters
US4874963A (en) * 1988-02-11 1989-10-17 Bell Communications Research, Inc. Neuromorphic learning networks
US4884070A (en) * 1988-04-04 1989-11-28 California Institute Of Technology Method and apparatus for multiplexing switch signals
US5101361A (en) * 1989-09-29 1992-03-31 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Analog hardware for delta-backpropagation neural networks
JP2724374B2 (ja) * 1989-10-11 1998-03-09 株式会社鷹山 データ処理装置
US5247606A (en) 1990-12-26 1993-09-21 Intel Corporation Adaptively setting analog weights in a neural network and the like
US5293148A (en) * 1992-07-13 1994-03-08 Honeywell Inc. High resolution resistor ladder network with reduced number of resistor elements
WO2001061865A1 (en) * 2000-02-14 2001-08-23 Koninklijke Philips Electronics N.V. Current-to-voltage converter with controllable gain, and signal processing circuit comprising such converter
US6628216B2 (en) * 2002-02-13 2003-09-30 Intersil Americas Inc. Calibration of resistor ladder using difference measurement and parallel resistive correction
US6781186B1 (en) * 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US7524722B2 (en) * 2006-10-12 2009-04-28 Macronix International Co., Ltd. Resistance type memory device and fabricating method and operating method thereof
US8633537B2 (en) * 2007-05-25 2014-01-21 Cypress Semiconductor Corporation Memory transistor with multiple charge storing layers and a high work function gate electrode
CN101971166B (zh) 2008-03-14 2013-06-19 惠普开发有限公司 神经形态电路
US8250011B2 (en) 2008-09-21 2012-08-21 Van Der Made Peter A J Autonomous learning dynamic artificial neural computing device and brain inspired system
US7884747B2 (en) * 2009-06-12 2011-02-08 Analog Devices, Inc. Digital to analog converters having circuit architectures to overcome switch losses
US8275727B2 (en) * 2009-11-13 2012-09-25 International Business Machines Corporation Hardware analog-digital neural networks
JP5568370B2 (ja) * 2010-05-10 2014-08-06 株式会社日立製作所 半導体装置
US8331127B2 (en) * 2010-05-24 2012-12-11 Macronix International Co., Ltd. Nonvolatile memory device having a transistor connected in parallel with a resistance switching device
US8515885B2 (en) * 2010-10-29 2013-08-20 International Business Machines Corporation Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation
KR20120059023A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 저항 소자 및 이를 이용한 디지털-아날로그 컨버터
FR2968808A1 (fr) 2010-12-08 2012-06-15 Commissariat Energie Atomique Circuit électronique a architecture neuromorphique
US8860597B2 (en) * 2011-07-06 2014-10-14 Qualcomm Incorporated Digital to-analog converter circuitry with weighted resistance elements
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
JP5684081B2 (ja) * 2011-09-22 2015-03-11 株式会社東芝 アナログ／デジタル変換器
JP5722180B2 (ja) * 2011-09-26 2015-05-20 株式会社日立製作所 不揮発性記憶装置
FR2983664B1 (fr) 2011-12-05 2013-12-20 Commissariat Energie Atomique Convertisseur analogique-numerique et circuit neuromorphique utilisant un tel convertisseur
CN102543172B (zh) * 2012-02-27 2014-09-24 北京大学 一种适用于神经元电路的阻变忆阻器的控制方法
US9542643B2 (en) * 2013-05-21 2017-01-10 Qualcomm Incorporated Efficient hardware implementation of spiking networks
JP2015026901A (ja) * 2013-07-24 2015-02-05 株式会社東芝 リコンフィギュラブル論理回路
TW201528439A (zh) * 2013-10-07 2015-07-16 Conversant Intellectual Property Man Inc 用於非揮發性半導體記憶體裝置具有可製造選擇閘極的胞元陣列
US10055434B2 (en) 2013-10-16 2018-08-21 University Of Tennessee Research Foundation Method and apparatus for providing random selection and long-term potentiation and depression in an artificial network
US20150324691A1 (en) * 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
WO2016018218A1 (en) * 2014-07-28 2016-02-04 Hewlett-Packard Development Company, L.P. Memristor programming error reduction
US9760533B2 (en) 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
WO2016072964A1 (en) * 2014-11-03 2016-05-12 Hewlett Packard Enterprise Development Lp Device with multiple resistance switches with different switching characteristics
US10885429B2 (en) 2015-07-06 2021-01-05 University Of Dayton On-chip training of memristor crossbar neuromorphic processing systems
CN105095967B (zh) 2015-07-16 2018-02-16 清华大学 一种多模态神经形态网络核
US11120884B2 (en) * 2015-09-30 2021-09-14 Sunrise Memory Corporation Implementing logic function and generating analog signals using NOR memory strings
US9514818B1 (en) * 2016-05-04 2016-12-06 Tower Semiconductor Ltd. Memristor using parallel asymmetrical transistors having shared floating gate and diode
US11308382B2 (en) * 2017-08-25 2022-04-19 International Business Machines Corporation Neuromorphic synapses
US11586884B2 (en) * 2018-02-08 2023-02-21 University Of Massachusetts Artificial neurons using diffusive memristor
US10790002B2 (en) * 2018-06-21 2020-09-29 Samsung Electronics Co., Ltd. Giant spin hall-based compact neuromorphic cell optimized for differential read inference
US10643119B2 (en) * 2018-07-24 2020-05-05 Sandisk Technologies Llc Differential non-volatile memory cell for artificial neural network
US10528643B1 (en) * 2018-08-01 2020-01-07 Sandisk Technologies Llc Vector-matrix multiplication using non-volatile memory cells
US10534840B1 (en) * 2018-08-08 2020-01-14 Sandisk Technologies Llc Multiplication using non-volatile memory cells

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5004932A (en) * 1988-07-01 1991-04-02 Hitachi, Ltd. Unit circuit for constructing a neural network and a semiconductor integrated circuit having the same
US4950917A (en) * 1988-07-27 1990-08-21 Intel Corporation Semiconductor cell for neural network employing a four-quadrant multiplier
US5222193A (en) * 1990-12-26 1993-06-22 Intel Corporation Training system for neural networks and the like
US5268320A (en) * 1990-12-26 1993-12-07 Intel Corporation Method of increasing the accuracy of an analog circuit employing floating gate memory devices
US5336937A (en) * 1992-08-28 1994-08-09 State University Of New York Programmable analog synapse and neural networks incorporating same
US6157751A (en) * 1997-12-30 2000-12-05 Cognex Corporation Method and apparatus for interleaving a parallel image processing memory

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI715289B (zh) * 2019-11-14 2021-01-01 新加坡商鴻運科股份有限公司 產品印刷參數設定裝置、方法及電腦可讀取存儲介質

Also Published As

Publication number Publication date
US20180300618A1 (en) 2018-10-18
US20210117769A1 (en) 2021-04-22
CN108734271B (zh) 2024-04-02
US12260324B2 (en) 2025-03-25
CN108734271A (zh) 2018-11-02
US10909449B2 (en) 2021-02-02
TW201837917A (zh) 2018-10-16
KR20180116094A (ko) 2018-10-24
KR102519293B1 (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
TWI661428B (zh) 神經形態權重單元及其形成的方法以及人工神經網路
US9934463B2 (en) Neuromorphic computational system(s) using resistive synaptic devices
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
US11348002B2 (en) Training of artificial neural networks
US12079708B2 (en) Parallel acceleration method for memristor-based neural network, parallel acceleration processor based on memristor-based neural network and parallel acceleration device based on memristor-based neural network
US11620505B2 (en) Neuromorphic package devices and neuromorphic computing systems
US11461620B2 (en) Multi-bit, SoC-compatible neuromorphic weight cell using ferroelectric FETs
US12111878B2 (en) Efficient processing of convolutional neural network layers using analog-memory-based hardware
CN111433792B (zh) 可编程可重置人工神经网络的基于计数器的电阻处理单元
US11087204B2 (en) Resistive processing unit with multiple weight readers
US11055608B2 (en) Convolutional neural network
US20210125045A1 (en) Stacked neuromorphic devices and neuromorphic computing systems
US20100220523A1 (en) Stochastic synapse memory element with spike-timing dependent plasticity (stdp)
TWI699711B (zh) 記憶體裝置及其製造方法
US12050997B2 (en) Row-by-row convolutional neural network mapping for analog artificial intelligence network training
CN115699028B (zh) 模拟人工智能网络推理的逐行卷积神经网络映射的高效瓦片映射
Merrikh-Bayat et al. Memristor crossbar-based hardware implementation of the IDS method
CN108154225B (zh) 一种使用模拟计算的神经网络芯片
CN108229669A (zh) 神经网络阵列的自学习
US11195089B2 (en) Multi-terminal cross-point synaptic device using nanocrystal dot structures
CN113592081A (zh) 数据处理装置及数据处理方法
Manem et al. An extendable multi-purpose 3D neuromorphic fabric using nanoscale memristors
Cai et al. Feature extraction and analysis using memristor networks
Lu et al. NVMLearn: a simulation platform for non-volatile-memory-based deep learning hardware
US20240037394A1 (en) System and method for neural network multiple task adaptation