JP5659361B1 - ニューラルネットワーク回路、およびその学習方法 - Google Patents

Abstract

ニューロン数が多くてもパルスタイミングによる学習動作を適切に行うことができるニューラルネットワーク回路およびその学習方法を提供する。ニューロン回路(30)は、アナログパルス電圧(VPOST1)と、他のニューラルネットワーク回路素子(40)に第１入力信号(VPRE)として入力するためのスイッチングパルス電圧(VPOST2)とを生成する波形発生回路(33)を備え、シナプス回路(20)は、他のニューラルネットワーク回路素子(40)からの第１入力信号(VPRE)における入力許容期間、当該シナプス回路(20)と同じニューロン回路(30)で生成されたアナログパルス電圧(VPOST1)を当該シナプス回路(20)における抵抗変化素子(10)の第３端子(15)に入力するように構成され、入力許容期間におけるアナログパルス電圧(VPOST1)の大きさに依存して生じる第１端子(13)と第３端子(15)との間の電位差によって、抵抗変化素子(10)の抵抗値を変化させる。

Description

本開示は、ニューラルネットワーク回路、およびその学習方法に関する。

現在、生体の脳の情報処理方式を模倣したコンピュータの研究が行われている。この処理モデルの最も基本となるものがニューラルネットワーク（neural network）である。特許文献１には、パルス密度を用いて情報を表現するモデル（パルス密度モデル）が開示されている。特許文献１によれば、パルスを用いるモデルは、パルスを用いない従来のモデルよりも高い演算性能を有することが開示されている。また、特許文献２にはパルスタイミングを用いて情報を表現するモデル（パルスタイミングモデル）が開示されている。

さらに、パルスタイミングによる学習動作をより少ない数の素子の構成で実現することができるニューラルネットワーク回路として、非特許文献１のような構成が提案されている。

特開平７−１１４５２４号公報 特開２０１０−１４６５１４号公報

Ｙ．Ｎｉｓｈｉｔａｎｉ ｅｔ ａｌ．、"Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ｓｙｎａｐｓｅ ｄｅｖｉｃｅ ｗｉｔｈ ｂｒａｉｎ−ｌｉｋｅ ｌｅａｒｎｉｎｇ ｆｕｎｃｔｉｏｎ：Ａｎａｌｏｇ ｃｏｎｄｕｃｔａｎｃｅ ｃｏｎｔｒｏｌ ｉｎ ａ ｆｅｒｒｏｅｌｅｃｔｒｉｃ−ｇａｔｅ ｆｉｅｌｄ−ｅｆｆｅｃｔ ｔｒａｎｓｉｓｔｏｒ ｂａｓｅｄ ｏｎ ｔｈｅ ｔｉｍｉｎｇ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｔｗｏ ｐｕｌｓｅｓ、"Ｅｘｔｅｎｄｅｄ Ａｂｓｔｒａｃｔｓ ｏｆ ｔｈｅ ２０１２ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｅｖｉｃｅｓ ａｎｄ Ｍａｔｅｒｉａｌｓ、 Ｊ−４−３、 ｐｐ．１１４０−１１４１、 ２０１２．

しかしながら、特許文献２のようなパルスタイミングモデルを実現するニューラルネットワーク回路では、複数のニューラルネットワーク素子同士を相互接続した際に、両ニューラルネットワーク素子間においてアナログ信号（電圧パルス信号Ｖ_ＰＲＥ１）を伝送する必要がある。

ニューラルネットワークでは、一般にニューロンの数が多いほど演算能力が向上するため、ハードウェアにおいても多くのニューロンを実装することで高い演算能力が得られる。一方で、プロセス上の制限により、ひとつの半導体チップに実装できるニューロンの数には上限がある。そのため、その上限以上の数のニューロンを含むニューラルネットワークを構築する場合、複数の半導体チップを接続する必要が生じる。したがって、非特許文献１に記載されたようなニューラルネットワーク回路を用いた場合には、複数の半導体チップ間でアナログ信号を伝送する必要が生じる。

そのため、非特許文献１のようなニューラルネットワーク回路では、ひとつの半導体チップに実装できるニューロンの数よりも多い数のニューロンを含むニューラルネットワークを構築する場合、複数の半導体チップ間において伝送されるアナログ電圧がノイズによって変化するおそれがあり、学習を適切に行うことができない場合があるという課題を有する。

限定されない、例示的な一の実施形態は、ニューロンの数が多くてもパルスタイミングによる学習動作を適切に行うことができるニューラルネットワーク回路およびその学習方法を提供することである。

一の典型的な態様において、ここで開示する技術は、ニューラルネットワーク回路であって、複数のニューラルネットワーク回路素子が接続されて構成されるニューラルネットワーク回路であって、前記複数のニューラルネットワーク回路素子のそれぞれは、他のニューラルネットワーク回路素子の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路と、前記少なくとも１つのシナプス回路の出力信号が入力される１つのニューロン回路と、を具備し、前記シナプス回路は、抵抗変化素子を具備し、前記抵抗変化素子は、第１端子、第２端子、および第３端子を具備し、前記第１端子と前記第３端子との間の電位差に応じて前記第１端子と前記第２端子との間の抵抗値が変化するように構成され、前記ニューロン回路は、同じニューラルネットワーク回路素子に含まれる前記シナプス回路に出力するための所定の波形を有するアナログパルス電圧と、所定の時間幅を定める波形を有し、他のニューラルネットワーク回路素子のシナプス回路に前記第１入力信号として入力するためのスイッチングパルス電圧とを生成する波形発生回路を備え、前記シナプス回路は、他のニューラルネットワーク回路素子からの前記第１入力信号における前記所定の時間幅を有する期間（入力許容期間）、当該シナプス回路と同じニューロン回路で生成された前記アナログパルス電圧を当該シナプス回路における前記抵抗変化素子の前記第３端子に入力するように構成され、前記入力許容期間における前記アナログパルス電圧の大きさに依存して生じる前記第１端子と前記第３端子との間の電位差によって、前記抵抗変化素子の抵抗値を変化させるものである。

開示される実施形態のさらなる利益および利点は、明細書および図面から明らかにされる。利益および／または利点は、明細書および図面が開示する様々な実施形態および特徴によって個別に提供されてもよく、一または複数の利益および／または利点を得るためにすべてを備える必要はない。

本開示によれば、ニューロン数が多くてもパルスタイミングによる学習動作を適切に行うことができる。

図１は本開示の第１の実施の形態におけるニューラルネットワーク回路を構成するニューラルネットワーク回路素子の概略構成を示すブロック図である。 図２は図１に示すニューラルネットワーク回路素子を用いて構成されるニューラルネットワーク回路の構成例を示すブロック図である。 図３は図１に示すアナログ積分回路の具体例を示す回路図である。 図４Ａは図１に示すニューラルネットワーク回路素子において用いられる非対称形のアナログパルス電圧の波形例を示す図である。 図４Ｂは図１に示すニューラルネットワーク回路素子において用いられる対称形のアナログパルス電圧の波形例を示す図である。 図４Ｃは図１に示すニューラルネットワーク回路素子において用いられるスイッチングパルス電圧の波形例を示す図である。 図５は図１に示すニューラルネットワーク回路素子のニューロン回路における波形発生回路の例を示すブロック図である。 図６は図１に示す第１スイッチの具体例を示す回路図である。 図７は図４Ａに示す双極性ノコギリ形パルス電圧をアナログパルス電圧とし、図４Ｃに示す方形波パルス電圧をスイッチングパルス電圧として用いた場合の、各パルス電圧のタイミングチャートである。 図８は図４Ｂに示すメキシカンハット形パルス電圧をアナログパルス電圧とし、図４Ｃに示す方形波パルス電圧をスイッチングパルス電圧として用いた場合の、各パルス電圧のタイミングチャートである。 図９Ａは図１に示すニューラルネットワーク回路素子の抵抗変化素子の具体例を示す断面模式図である。 図９Ｂは図９Ａに示す抵抗変化素子の回路記号を示す図である。 図１０は強誘電体メモリスタを用いた検証用シナプス回路の構成例を示すブロック図である。 図１１は非対称形ＳＴＤＰにおけるシナプス回路の検証結果を示すグラフである。 図１２は強誘電体メモリスタを用いたニューラルネットワーク回路素子の一部を示すブロック図である。 図１３は非対称形ＳＴＤＰにおける積分動作の検証結果を示すグラフである。 図１４は対称形ＳＴＤＰにおけるシナプス回路および積分動作の検証結果を示すグラフである。 図１５Ａは本開示の第２の実施の形態におけるシナプス回路の抵抗変化素子として用いられる浮遊ゲートトランジスタを示す断面模式図である。 図１５Ｂは図１５Ａに示す浮遊ゲートトランジスタの回路記号を示す図である。 図１６は浮遊ゲートトランジスタを用いた検証用シナプス回路の構成例を示すブロック図である。 図１７Ａは図１６に示す検証用シナプス回路に入力されるアナログパルス電圧の波形を示すグラフである。 図１７Ｂは図１６に示す検証用シナプス回路に入力されるスイッチングパルス電圧の波形を示すグラフである。 図１８は図１７Ａに示すアナログパルス電圧をアナログパルス電圧とし、図１７Ｂに示す方形波パルス電圧をスイッチングパルス電圧として用いた場合の、各パルス電圧のタイミングチャートである。 図１９は図１６に示す検証用シナプス回路を用いたシナプス回路の検証結果を示すグラフである。 図２０Ａは、階層型ニューラルネットワークを示す概略図である。 図２０Ｂは、相互結合型ニューラルネットワークを示す概略図である。 図２１は、一般的なニューロンを示す模式図である。 図２２は、２つの入力端子を有するニューロン部における各値の時間的変化を示すグラフである。 図２３Ａは、ＳＴＤＰを説明するための模式図である。 図２３Ｂは、非対称型ＳＴＤＰの特性を示す波形図である。 図２３Ｃは、対称型ＳＴＤＰの特性を示す波形図である。 図２４は、非特許文献１に開示された従来のニューラルネットワーク回路素子を示す回路図である。

［ニューラルネットワークの説明］
まず、本開示の実施の形態の前提となるニューラルネットワークおよびこれを実現するための従来におけるニューラルネットワーク回路の課題について詳しく説明する。上述したように、ニューラルネットワークは生体の神経回路網を模したものである。ニューラルネットワークは、神経回路網における機能単位である神経細胞を模したニューロンを機能単位とし、複数のニューロンをネットワーク状に配置して情報処理を行う。例えば、図２０Ａに示すようにニューロン１００を階層状に接続した階層型ニューラルネットワークや、図２０Ｂに示すようにニューロン１００同士を相互に接続した相互結合型ニューラルネットワーク（ホップフィールドネットワーク）がある。

ニューラルネットワークは、大きく２つの機能を有する。１つ目は、入力から出力を得る「処理」機能であり、２つ目は、ニューラルネットワーク全体の入出力の関係を所望のものに設定する「学習」機能である。

[処理機能］
ここでは階層型ニューラルネットワークを例に、情報処理の動作について説明する。図２０Ａに示した階層型ニューラルネットワークは、入力層４００、中間層５００、および出力層６００の３つの層を備えている。各層には少なくとも１つのニューロン１００が含まれる。入力層４００の各ニューロン１００は中間層５００の各ニューロン１００と接続され、同様に、中間層５００の各ニューロン１００は出力層の各ニューロン１００と接続されている。入力信号２００は入力層４００へ入力され、中間層５００、出力層６００と順に伝播し、出力層６００から出力される。ニューロン１００では、入力値に対して後述する所定の演算が行われ、その出力値を次の層のニューロンへ伝播する。従って、出力層６００からの出力値が、ニューラルネットワークの最終出力３００となる。この一連の動作がニューラルネットワークの情報処理であり、中間層５００に含まれるニューロンを十分多くすると、任意の入出力が実現される。図２０Ａに示した階層型ニューラルネットワークは３つの層を備えているが、中間層５００を複数備えることもできる。

続いて、ニューラルネットワークの構成単位であるニューロンについて説明する。図２１は、一般的なニューロンを示す模式図である。ニューロン１００は、シナプス（synapse）部１２１，１２２とニューロン部１３０を備えている。なお、シナプス部の数は前段
に接続されたニューロンの数、つまり入力信号の数に等しい。シナプス部１２１，１２２は外部からの複数の入力信号１１１，１１２のそれぞれに対して重み付けを行う。重み付けの値（ｗ_１，ｗ_２）を結合荷重と呼ぶ。ニューロン部１３０は、シナプス部によって重み付けされた入力信号の和を計算し、和の値を非線形演算した値を出力する。ここで、外部からの入力信号をそれぞれｘ_ｉ（１，２，・・・，ｎ）と表すとする。ｎは入力信号の数に等しい。下記式（１）に示すように、シナプス部１２１，１２２は各入力信号に対して、対応する結合荷重の値ｗ_ｉ（１，２，・・・，ｎ）を乗算し、ニューロン部１３０はそれらの和Ｖ_ｎを計算する。

Ｖ_ｎ＝Σｗ_ｉｘ_ｉ （１）
ここで、Σはｉについての和記号である。

さらにニューロン部は、求めた和Ｖ_ｎに対して非線形関数ｆを用いた非線形演算を行った結果を出力ｙとする。したがって、ニューロンの出力ｙは下記式（２）のように表される。

ｙ＝ｆ（Ｖ_ｎ） （２）
非線形関数ｆには、飽和特性を持つ単調増加関数が用いられる。例えば、ステップ関数（階段関数）やシグモイド関数が用いられる。

ニューラルネットワーク回路は、複数のニューロン回路が同時に演算を行うことができるため、並列処理性を持つ。つまり、従来型コンピュータの逐次情報処理とは異なり、並列情報処理が可能であることが特長である。

［学習機能］
ニューラルネットワークの重要な特徴は、上述したように入力から出力を得る「処理」機能だけでなく、「学習」機能を備えている点である。ここで述べる学習とは、上述したシナプス部の結合荷重を更新することで、ニューラルネットワーク回路全体の入出力の関係を所望のものに設定することである。

［パルスニューロンモデル］
ここまでニューラルネットワークの処理機能と学習機能について詳述してきた。これまでの説明に用いたモデルにおいては、ニューロン間で伝播する信号は、電流や電位の値をアナログ値で表現したものであった。これに対して、生体の神経細胞では、ほぼ一定形状のパルス（スパイクパルス）をやり取りしていることがわかっている。そこで、生体の神経回路をより忠実に真似て、パルスを直接扱うモデル（スパイキングニューロンモデル）が、知られている。スパイキングニューロンモデルには、例えばある一定時間に伝播されるパルスの数を用いてアナログ情報を表現するモデル（パルス密度モデル）や、例えばパルスとパルスの時間的間隔を用いてアナログ情報を表現するモデル（パルスタイミングモデル）が含まれる。これらのスパイキングニューロンモデルは、シグモイド関数を用いた従来のニューラルネットワークよりも高い演算性能を得ることができる。また、スパイキングニューロンモデルではニューロン間でやり取りする信号が一定波形の信号であるため、後述するハードウェア化が容易であるという利点がある。

上述のような、パルスを用いた情報表現に適用できるニューロン部の動作モデルとして、積分発火モデルが提案されている。図２２は、２つの入力端子を有するニューロン部における各値の時間的変化を示すグラフである。

図２２に示すように、外部もしくは他のニューロン部から、シナプス部１２１に入力パルスｘ_１が入力され、シナプス部１２２に入力パルスｘ_２が入力されると、パルスが入力されたタイミングで、それぞれのシナプス部において単峰性の電圧変化が現れる。このようなシナプス部の電位をシナプス後電位（Post-synaptic potential、以下、「ＰＳＰ」と略記する）と呼ぶ。図２２には、シナプス部１２１およびシナプス部１２２におけるＰＳＰの時間変化Ｐ_１（ｔ）およびＰ_２（ｔ）が示されている。ＰＳＰの高さはシナプス結合荷重に比例する。ここでｔは時間を表す。

ニューロン部は、当該ニューロン部に接続されているすべてのシナプス部からのＰＳＰの総和を演算する。この総和は、ニューロン部の内部電位Ｖ_ｎ（ｔ）と呼ばれる。ニューロン部への入力端子が２つの場合、図２２に示すように、内部電位Ｖ_ｎ（ｔ）はＰ_１（ｔ）およびＰ_２（ｔ）の和となる。一般的に表すと、内部電位Ｖ_ｎ（ｔ）は下記式（３）のように表される。

Ｖ_ｎ（ｔ）＝ΣＰ_ｉ（ｔ） （３）
ここで、Ｐ_ｉはシナプス部ｉでのＰＳＰであり、Σはｉについての和記号である。

図２２に示すように、内部電位Ｖ_ｎ（ｔ）があらかじめ定められた閾値Ｖ_ｔｈを超えると、そのニューロン部はパルス信号の出力ｙを出力する。これをニューロン部の「発火」と呼ぶ。パルス信号の出力ｙはニューロン部から出力され、他のニューロン部に入力される。

パルスタイミングによる情報表現を用いる場合、学習動作におけるシナプス結合荷重の更新においてもパルスタイミングを利用することができる。特に、スパイクタイミングシナプス可塑性（Ｓｐｉｋｅ−ｔｉｍｉｎｇ ｄｅｐｅｎｄｅｎｔ ｓｙｎａｐｔｉｃ ｐｌａｓｔｉｃｉｔｙ、以下では「ＳＴＤＰ」と略記する）と呼ばれる性質を用いた学習動作が注目を浴びている。ＳＴＤＰとは、あるシナプス部１２１に着目したとき、シナプス部１２１に信号を送るニューロン(前ニューロン)が発火するタイミングと、シナプス部１２１に重み付けされた信号を受け取るニューロン(後ニューロン)が発火するタイミングに依存して、シナプス部１２１のシナプス結合荷重が変化する特徴である。実際の生物の神経細胞においても、いくつかの種類のＳＴＤＰが観測されている。

ここで図２３Ａを用いて、ＳＴＤＰについて説明する。図２３Ａに示すように、シナプス部１２０に接続された前ニューロンが発火するタイミングをｔ_ＰＲＥとし、後ニューロン発火するタイミングをｔ_ＰＯＳＴとする。ＳＴＤＰとは、このときのｔ_ＰＲＥとｔ_ＰＯＳＴとの時間差ｔ_ＰＯＳＴ−ｔ_ＰＲＥを関数として、シナプスの結合荷重ｗが変化する特性のことである。ＳＴＤＰには大きく分けて、２種類のものが知られている。図２３Ｂに示した特性が非対称形ＳＴＤＰであり、シナプス結合荷重の変化量Δｗが２つのパルスの時間差ｔ_ＰＯＳＴ−ｔ_ＰＲＥに加えて、両パルスの時間順序にも依存する。図２３Ｃに示した特性が対称形ＳＴＤＰであり、シナプス結合強度の変化量Δｗが２つのパルスの時間差ｔ_ＰＯＳＴ−ｔ_ＰＲＥだけの関数で決まり、パルスの順番に依存しない。

［集積回路化］
ここまででニューラルネットワークの概要について詳述したが、ニューラルネットワークを構成するにあたっては、上述したニューロンをどのようにして実現するかが問題となる。これまで、従来型コンピュータを用い、ソフトウェア処理にてニューロンの機能を実現する手法を用いることが多かった。しかし、この場合、複数のニューロンにおける処理をＣＰＵが時分割で実行することになるため、本来の並列情報処理がなされない。そのため、ハードウェアを用いてニューロンを構成し集積回路化することが必須である。

上述のように、パルスタイミングによる情報表現に基づくニューラルネットワークは高い性能を実現できることが示唆されている。また、ニューロン間でやり取りする信号が一定波形の信号であるため、ハードウェア化が容易である。そのため、近年ではＳＴＤＰを用いた学習機能を実装したニューラルネットワークのハードウェア化、すなわちニューラルネットワーク回路の実現に関する研究が盛んに行われている。

非特許文献１には、スパイキングニューロンモデルに基づいて動作するニューロンをハードウェアで実現する具体例(ニューラルネットワーク回路素子)が開示されている。図２４は、非特許文献１の図３（ａ）に開示された従来のニューラルネットワーク回路素子７００を示す。ニューラルネットワーク回路素子７００は、上述のニューロン１００に相当する。

図２４に示されるように、ニューラルネットワーク回路素子７００は、シナプス回路７２０と、ニューロン回路７３０と、を具備する。シナプス回路７２０は上述のシナプス部１２０に相当し、ニューロン回路７３０は上述のニューロン部１３０に相当する。シナプス回路７２０は、強誘電体メモリスタ７１０と、セレクタ回路７１１と、スイッチングトランジスタ７１２と、を具備する。強誘電体メモリスタ７１０は、その抵抗値をシナプス結合荷重として記憶する機能を持つ。

ニューロン回路７３０は、アナログ積分回路７３１と、比較回路７３２と、波形発生回路７３３と、を具備する。波形発生回路７３３はパルス電圧Ｖ_ＰＯＳＴを、同じニューラルネットワーク回路素子７００内のセレクタ回路７１１にフィードバック入力する。

このように、非特許文献１によれば、セレクタ回路７１１にフィードバック入力されるパルス電圧Ｖ_ＰＯＳＴを用いてセレクタ回路７１１を制御し、強誘電体メモリスタ７１０のゲート電極７４２に電圧パルス信号Ｖ_ＰＲＥ１を入力可能とするか否かを切り替えることで、ＳＴＤＰによる学習機能を実現する。

以上のように、非特許文献１に開示された従来のニューラルネットワーク回路では、図２４に示されるように、ニューラルネットワーク回路素子７００には２つの入力信号と２つの出力信号とがあり、ニューラルネットワーク回路素子７００同士を相互接続する場合、互いに２つのパルス信号を伝送する必要がある。２つのパルス信号のうちの一方はデジタル信号であり、他方はアナログ信号である。

ここで、ニューラルネットワーク回路素子７００に入力されるアナログ信号はアナログ波形を形成する電圧の大きさ（何ボルトであるか）が意味を持つ信号であり、デジタル信号は電圧の大小（ＨＩ状態とＬＯ状態のどちらであるか）が意味を持つ信号である。

このように、非特許文献１の構成においては、複数のニューラルネットワーク回路素子７００間の信号伝送において、アナログ信号を伝送する必要がある。したがって、非特許文献１に記載の従来のニューラルネットワーク回路を用いて、複数の半導体チップ上にニューラルネットワーク回路を構成した場合には、上述のように半導体チップ間でアナログ信号を伝送する必要がある。

しかしながら、半導体チップ間での電圧信号の伝送では、当該半導体チップ間の配線の抵抗成分または容量成分により、信号の減衰やひずみの影響が、チップ内での信号伝送に比べ顕著になるという問題がある。上述のように、ニューラルネットワーク回路素子で用いられるアナログ信号は、電圧の大きさに意味を持つため、減衰やひずみのようなノイズに弱い。

そのため、非特許文献１のようなニューラルネットワーク回路では、ひとつの半導体チップに実装できるニューロンの数よりも多い数のニューロンを含むニューラルネットワークを構築する場合、アナログ電圧がノイズによって変化するおそれがあり、学習を適切に行うことができない場合があるという課題を有する。

上記従来の課題に対して、本開示の発明者らは、鋭意研究の末、ニューロン数が多くてもパルスタイミングによる学習動作を適切に行うことができる、ニューラルネットワーク回路およびその学習方法として、以下のような態様を想到するに至った。

本開示の発明者らは、従来のニューラルネットワーク回路素子７００において、２つのパルスのタイミング差に応じてシナプス結合荷重を変更するための電圧信号を生成するために、他のニューラルネットワーク回路素子で生成される電圧パルス信号Ｖ_ＰＲＥ１をゲート電極に入力可能とするか否かを、当該電圧パルス信号Ｖ_ＰＲＥ１が入力されたニューラルネットワーク回路素子７００内で生成されるフィードバックパルス電圧Ｖ_ＰＯＳＴを用いて切り替えていることに着目した。そして、本開示の発明者らは、ＳＴＤＰ学習を実現するためには、互いに異なる２つのニューラルネットワーク回路素子で生成された２つのパルス信号が必要とされるが、当該２つのパルス信号のうちの一方はスイッチングを行い得る信号波形であればよく、スイッチングを行い得るような信号波形を有するパルス信号は、半導体チップ間を伝送してもノイズに影響が小さいという知見を得た。

その結果、本開示の発明者らは、ニューラルネットワーク回路素子内でアナログパルス信号をフィードバックさせるとともに、他のニューラルネットワーク回路素子から伝送させるパルス信号を、アナログパルス信号を抵抗変化素子に入力可能とするか否かを切り替える信号として用いることにより、ノイズによって影響を受けるアナログパルス信号を半導体チップ間で伝送させる必要をなくすことができる本開示を想到するに至った。

具体的には、本開示の一態様に係るニューラルネットワーク回路は、複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路であって、前記複数のニューラルネットワーク回路素子のそれぞれは、他のニューラルネットワーク回路素子の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、前記少なくとも１つのシナプス回路の出力信号が入力される１つのニューロン回路（３０）と、を具備し、前記シナプス回路は、抵抗変化素子（１０）を具備し、前記抵抗変化素子は、第１端子（１３）、第２端子（１４）、および第３端子（１５）を具備し、前記第１端子と前記第３端子との間の電位差に応じて前記第１端子と前記第２端子との間の抵抗値が変化するように構成され、前記ニューロン回路は、同じニューラルネットワーク回路素子に含まれる前記シナプス回路に出力するための所定の波形を有するアナログパルス電圧と、所定の時間幅を定める波形を有し、他のニューラルネットワーク回路素子のシナプス回路に前記第１入力信号として入力するためのスイッチングパルス電圧とを生成する波形発生回路（３３）を備え、前記シナプス回路は、他のニューラルネットワーク回路素子からの前記第１入力信号における前記所定の時間幅を有する期間（入力許容期間）、当該シナプス回路と同じニューロン回路で生成された前記アナログパルス電圧を当該シナプス回路における前記抵抗変化素子の前記第３端子に入力するように構成され、前記入力許容期間における前記アナログパルス電圧の大きさに依存して生じる前記第１端子と前記第３端子との間の電位差によって、前記抵抗変化素子の抵抗値を変化させるものである。

上記構成によれば、あるニューラルネットワーク回路素子で生成されたアナログパルス電圧および所定の時間幅を定めるスイッチングのためのパルス電圧のうち、スイッチングのためのパルス電圧を他のニューラルネットワーク回路素子に伝送する一方で、アナログパルス電圧は、当該アナログパルス電圧を生成したのと同じニューラルネットワーク回路素子で用いられる。したがって、複数のニューラルネットワーク回路素子間において、ノイズの影響を受け難いスイッチングのためのパルス電圧のみが伝送されるため、ニューロン数が多くてもパルスタイミングによる学習動作を適切に行うことができる。

前記複数のニューラルネットワーク回路素子は、複数のチップ（２）上に実装され、前記複数のチップは、一のチップに実装された少なくとも１つの前記ニューラルネットワーク回路素子の出力端子（５２）と、その他のチップに実装された少なくとも１つの前記ニューラルネットワーク回路素子の入力端子（５１）との間を接続するように構成されてもよい。これにより、複数のチップ間において、ノイズの影響を受け難いスイッチングのためのパルス電圧のみが伝送されるため、ニューラルネットワーク回路を構成する多数のニューラルネットワーク回路素子を、複数のチップにわたって実装する場合であっても、チップ間の信号伝送におけるノイズの影響を受け難くすることができる。したがって、１つのチップに実装可能なニューラルネットワーク回路素子の数が制限される場合においても、その数に制限されることなく、より多い数のニューラルネットワーク回路素子を有し、適切な学習動作を行うことができるニューラルネットワーク回路を実現することができる。

前記シナプス回路は、前記抵抗変化素子の前記第３端子と、前記ニューロン回路の前記アナログパルス電圧を出力する端子（４６）との間の接続または遮断を切り替える第１スイッチ（２１）を備え、前記第１スイッチは、前記他のニューラルネットワーク回路素子からの前記第１入力信号に基づいて前記接続または遮断を切り替えてもよい。これによれば、他のニューラルネットワーク回路素子からの第１入力信号は、第１スイッチの接続状態の切り替えのみに用いられる。したがって、第１入力信号は２値が区別できる程度の精度があればよいため、複数のニューラルネットワーク回路素子間の伝送において、第１入力信号のノイズによる影響を小さくすることができる。

前記抵抗変化素子は、強誘電体ゲートトランジスタ（７０）であってもよい。さらに、前記強誘電体ゲートトランジスタは、基板（７２）上に形成された制御電極（７３）と、前記制御電極が当接するように設けられる強誘電体層（７１）と、強誘電体層上に形成された半導体層（７４）と、半導体層上に設けられた第１電極（７５）および第２電極（７６）とを備え、前記第１電極と前記制御電極との間の電位差に応じて前記第１電極と前記第２電極との間の抵抗値が変化するよう構成されてもよい。これによれば、第３端子である制御電極と、第１端子である第１電極との間に電圧が印加されると、強誘電体層の分極方向に依存して、第１電極と第２端子である第２電極との間の抵抗値が不揮発かつ多階調に変化する。したがって、このような強誘電体ゲートトランジスタを抵抗変化素子として用いることにより、シナプス結合荷重の変化を多階調に記憶させることができる。

前記ニューロン回路（３０）は、前記シナプス回路（２０）の前記抵抗変化素子（１０）を流れる電流値を積分する積分回路（３１）と、前記積分回路（３１）で積分された電流値に応じた所定のパルス電圧を発生させる波形発生回路（３３）と、を具備してもよい。

前記シナプス回路（２０）は、一端が第１基準電圧源（２３）に接続され、他端が前記抵抗変化素子（１０）の前記第１端子（１３）に接続される第２スイッチ（２２）を備え、前記第２スイッチ（２２）は、他のニューラルネットワーク回路素子から入力されるパルス電圧が入力されている間、前記第１基準電圧源（２３）と前記第１端子（１３）とを接続するように構成されてもよい。

また、本開示の他の態様に係るニューラルネットワーク回路の学習方法は、複数のニューラルネットワーク回路素子（４０）が接続されて構成されるニューラルネットワーク回路の学習方法であって、前記複数のニューラルネットワーク回路素子（４０）のそれぞれは、他のニューラルネットワーク回路素子の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路（２０）と、前記少なくとも１つのシナプス回路の出力信号が入力される１つのニューロン回路（３０）と、を具備し、前記シナプス回路（２０）は、抵抗変化素子（１０）を具備し、前記抵抗変化素子（１０）は、第１端子（１１）、第２端子（１２）、および第３端子（１３）を具備し、前記第１端子と前記第３端子との間の電位差に応じて前記第１端子と前記第２端子との間の抵抗値が変化するように構成され、前記ニューロン回路（３０）は、同じニューラルネットワーク回路素子(４０）に含まれる前記シナプス回路（２０）に出力するための所定の波形を有するアナログパルス電圧と、所定の時間幅を定める波形を有し、他のニューラルネットワーク回路素子のシナプス回路に前記第１入力信号として入力するためのスイッチングパルス電圧とを生成する波形発生回路を備え、前記シナプス回路は、他のニューラルネットワーク回路素子からの前記第１入力信号における前記所定の時間幅を有する期間（入力許容期間）、当該シナプス回路と同じニューロン回路で生成された前記アナログパルス電圧を当該シナプス回路における前記抵抗変化素子の前記第３端子に入力するように構成され、前記入力許容期間における前記アナログパルス電圧の大きさに依存して生じる前記第１端子と前記第３端子との間の電位差によって、前記抵抗変化素子の抵抗値を変化させるものである。

以下、本開示の実施の形態によるニューラルネットワーク回路の学習方法を、図面を参照しながら説明する。

［第１の実施の形態］
まず、本開示の第１の実施の形態について説明する。図１は本開示の第１の実施の形態におけるニューラルネットワーク回路を構成するニューラルネットワーク回路素子４０の概略構成を示すブロック図であり、図２は図１に示すニューラルネットワーク回路素子４０を用いて構成されるニューラルネットワーク回路１の構成例を示すブロック図である。図１に示す本実施形態におけるニューラルネットワーク回路素子４０は、少なくとも１つの入力端子５１と、入力端子５１の数と同数のシナプス回路２０と、１つのニューロン回路３０と、１つの出力端子５２と、を備えている。また、図２に示すように、ニューラルネットワーク回路１は、複数のニューラルネットワーク回路素子４０が接続されることにより構成される。具体的には、ニューラルネットワーク回路素子４０の出力端子５２は、他のニューラルネットワーク回路素子４０の入力端子５１に接続される。

ニューラルネットワーク回路素子４０の入力端子５１は、シナプス回路２０の入力端子４１に接続されている。シナプス回路２０の出力端子４３は、ニューロン回路３０の入力端子４４に接続されている。ニューロン回路３０の第１出力端子４５は、ニューラルネットワーク回路素子４０の出力端子５２に接続されている。なお、図１には、図面の見易さのため、１つのニューロン回路３０および１つのシナプス回路２０のみが示されているが、実際には、図２に示すように、１つのニューロン回路３０に対して複数のシナプス回路２０が接続され得る。

ニューロン回路３０は、アナログ積分回路３１と、比較回路３２と、波形発生回路３３と、を備える。

ニューロン回路３０の入力端子４４は、アナログ積分回路３１に接続されている。アナログ積分回路３１は、ニューロン回路３０に接続されている複数のシナプス回路２０から流れ込む電流の和を演算する。図３は図１に示すアナログ積分回路３１の具体例を示す回路図である。図３に示す具体例において、アナログ積分回路３１は、オペアンプ３５、キャパシタ３６および抵抗素子３７を備えている。キャパシタ３６の容量値は例えば１ｐＦであり、抵抗素子３７の抵抗値は例えば１ＭΩである。オペアンプ３５の正極性入力端子（＋）はグランド電圧と等電位となるように構成され、オペアンプ３５の負極性入力端子（−）はニューロン回路３０の入力端子４４に接続される。オペアンプ３５の負極性入力端子（−）と出力端子との間には、キャパシタ３６および抵抗素子３７が並列に接続されている。

アナログ積分回路３１は、シナプス回路２０からニューロン回路３０に入力される電流を用いてキャパシタ３６を充電する。この動作によって、電流の時間積分の演算結果が積分電圧Ｖ_ｎとして出力される。また、オペアンプ３５は、出力信号が抵抗素子３７を介してオペアンプ３５の負極性入力端子（−）に戻るフィードバック機能を有している。これにより、オペアンプ３５の負極性入力端子（−）は仮想接地の状態となる。

オペアンプ３５の負極性入力端子（−）が仮想接地の状態となるため、シナプス回路２０の数やキャパシタ３６の積分電圧Ｖ_ｎに関わらず、直流電圧源２３の第１基準電圧Ｖ_ＤＤと抵抗変化素子１０の抵抗値によって決まる一定電流が、ニューロン回路３０へ入力され、蓄積される。

アナログ積分回路３１の演算値は、比較回路３２に伝えられる。比較回路３２は、演算値が所定の値を超えたときに、波形発生回路３３へ信号（トリガ信号）を出力する。

波形発生回路３３は、比較回路３２からの信号をトリガとして、所定の波形を有するアナログパルス電圧Ｖ_{ＰＯＳＴ１}および所定の時間幅を定める波形を有するスイッチングパルス電圧Ｖ_{ＰＯＳＴ２}を生成する。図４Ａおよび図４Ｂは図１に示すニューラルネットワーク回路素子４０において用いられるアナログパルス電圧Ｖ_{ＰＯＳＴ１}の波形例を示す図であり、図４Ｃは図１に示すニューラルネットワーク回路素子４０において用いられるスイッチングパルス電圧Ｖ_{ＰＯＳＴ２}の波形例を示す図である。

ここで、図４Ａに示したアナログパルス電圧を「双極性ノコギリ形パルス電圧」と呼ぶこととする。双極性ノコギリ形パルス電圧の特徴は、初めは０ボルトである電位が、時間経過と共に所定の正の電位まで上昇し、その後、所定の負の電位まで低下した後に、再び０ボルトに戻ることである。一方、図４Ｂに示したアナログパルス電圧を「メキシカンハット形パルス電圧」と呼ぶこととする。メキシカンハット形パルス電圧の場合は、初めは０ボルトである電位が、時間経過と共に所定の負の電位まで低下した後、所定の正の電位まで上昇する。その後、電位は、所定の負の値まで低下した後、再び０ボルトに戻る。アナログパルス電圧Ｖ_{ＰＯＳＴ１}は、図４Ａまたは図４Ｂに示した形状の他、例えば図４Ａまたは図４Ｂの波形の符号を反転させた波形が用いられ得る。スイッチングパルス電圧Ｖ_{ＰＯＳＴ２}には、ＨＩ状態およびＬＯ状態のいずれかを示し得る波形が用いられる。スイッチングパルス電圧Ｖ_{ＰＯＳＴ２}は、ＨＩ状態またはＬＯ状態の時間幅を定める波形であれば、デジタル波形であってもアナログ波形であってもよい。図４Ｃには、スイッチングパルス電圧Ｖ_{ＰＯＳＴ２}の例として、方形波パルス電圧が示されている。

波形発生回路３３は、アナログパルス電圧Ｖ_{ＰＯＳＴ１}およびスイッチングパルス電圧Ｖ_{ＰＯＳＴ２}を同じタイミングで生成する。具体的には、アナログパルス電圧Ｖ_{ＰＯＳＴ１}およびスイッチングパルス電圧Ｖ_{ＰＯＳＴ２}の時間的な中心点（図４Ａ，４Ｂ，４Ｃにおいてそれぞれｔ_０で示す）が一致するように出力する。

図５は図１に示すニューラルネットワーク回路素子４０のニューロン回路３０における波形発生回路３３の例を示すブロック図である。図５に示すように、波形発生回路３３は、比較回路３２からの出力信号Ｖ_Ｃをトリガとして駆動するデジタル／アナログコンバータ３３１と、アナログパルス電圧を生成するためのデジタル波形データが記憶されたデジタルメモリ３３２とを備えている。デジタル／アナログコンバータ３３１は、比較回路３２からの出力信号Ｖ_Ｃが入力されると、デジタルメモリ３３２からデジタル波形データを読み出し、これをアナログ波形に変換して第２出力端子４６に出力する。図１に示すように、第２出力端子４６から出力されたアナログパルス電圧Ｖ_{ＰＯＳＴ１}は、これを出力したニューロン回路３０と同じニューラルネットワーク回路素子４０内のすべてのシナプス回路２０にフィードバック入力される。なお、図２においては、ニューロン回路３０からシナプス回路２０にフィードバック入力するための配線は図示を省略している。

スイッチングパルス電圧Ｖ_{ＰＯＳＴ２}も波形発生回路３３で同様に生成され、第１出力端子４５から出力される。ニューロン回路３０の第１出力端子４５は、ニューラルネットワーク回路素子４０の出力端子５２に接続されている。したがって、スイッチングパルス電圧Ｖ_{ＰＯＳＴ2}はニューラルネットワーク回路素子４０の出力信号となる。そして、この出力信号が他のニューラルネットワーク回路素子４０におけるシナプス回路２０の入力端子５１に第１入力信号（すなわち、スイッチングパルス電圧Ｖ_ＰＲＥ）として入力される。

次に、本実施形態におけるシナプス回路２０について説明する。図１に示すように、シナプス回路２０は、第１スイッチ２１と、第２スイッチ２２と、抵抗変化素子１０と、所定の第１基準電圧（例えば電源電圧）Ｖ_ＤＤを出力する直流電圧源２３と、を備えている。図２に示すように、あるニューラルネットワーク回路素子４０におけるシナプス回路２０の第１入力端子４１は、所定の他のニューラルネットワーク回路素子４０の出力端子５２に接続されている。また、シナプス回路２０の第２入力端子４２は、同じニューラルネットワーク回路素子４０内にあるニューロン回路３０の第２出力端子４６に接続されている。

抵抗変化素子１０は、後述するように、第１端子１３、第２端子１４、および第３端子１５を具備し、第１端子１３と第３端子１５との間の電位差に応じて第１端子１３と第２端子１４との間の抵抗値が変化するように構成される。抵抗変化素子１０の第１端子１３は、第２スイッチ２２を介して直流電圧源２３に接続されている。抵抗変化素子１０の第２端子１４は、シナプス回路２０の出力端子４３に接続されている。シナプス回路２０の出力端子４３は、同じニューラルネットワーク回路素子４０のニューロン回路３０の入力端子４４に接続されている。

なお、抵抗変化素子１０としては、抵抗値がパルス電圧の印加を止めた後も変化しない、すなわち、不揮発特性を有する、抵抗変化素子を用いることとしてもよい。これにより抵抗変化素子１０への電圧供給遮断後も抵抗値を保持することができる。

第１スイッチ２１は、シナプス回路２０の第２入力端子４２に接続される第１端子２７と、抵抗変化素子１０の第３端子１５に接続される第２端子２８と、シナプス回路２０の第１入力端子４１に接続され、第１端子２７と第２端子２８との接続または遮断を切り替える制御端子２６とを備えている。

図６は図１に示す第１スイッチ２１の具体例を示す回路図である。図６に示す具体例において、第１スイッチ２１は、相補的動作をする少なくとも２つのトランジスタを用いて構成される。図６の例において、第１スイッチ２１は、２つのｎ型のＭＯＳＦＥＴ２１１，２１２と、１つのインバータ２１３とを備えている。一方のｎ型ＭＯＳＦＥＴ２１１のソース端子にはグランド電圧が与えられ、ドレイン端子は他方のｎ型ＭＯＳＦＥＴ２１２のソース端子に接続され、ゲート端子はインバータ２１３の出力端子に接続されている。他方のｎ型ＭＯＳＦＥＴ２１２のドレイン端子は、第１端子２７に接続され、ニューロン回路３０の第２出力端子４６から出力されたアナログパルス電圧Ｖ_{ＰＯＳＴ１}が入力される。ｎ型ＭＯＳＦＥＴ２１２のゲート端子およびインバータ２１３の入力端子は、制御端子２６に接続され、スイッチングパルス電圧Ｖ_ＰＲＥが入力される。２つのｎ型ＭＯＳＦＥＴ２１１，２１２間の共通端子は、第２端子２８に接続されている。なお、インバータ２１３を用いる代わりに２つのｎ型ＭＯＳＦＥＴ２１１，２１２のうちの一方（２１１）をｐ型のＭＯＳＦＥＴとすることとしてもよい。

このような構成において、制御端子２６に印加されるスイッチングパルス電圧Ｖ_ＰＲＥがＨＩ状態の期間には、ｎ型ＭＯＳＦＥＴ２１１、２１２がそれぞれ開状態（遮断状態）および閉状態（接続状態）となるので、アナログパルス電圧Ｖ_{ＰＯＳＴ１}の電圧値に応じた電圧値が第２端子２８における出力電圧となる。スイッチングパルス電圧Ｖ_ＰＲＥがＬＯ状態の期間には、ｎ型ＭＯＳＦＥＴ２１１，２１２がそれぞれ閉状態（接続状態）および開状態（遮断状態）となるので、第２端子２８における出力電圧は０（ｎ型ＭＯＳＦＥＴ２１１のソース端子に印加されるグランド電位と略同電位）のままとなる。

第２スイッチ２２は、直流電圧源２３と接続される第１端子１６と、抵抗変化素子１０の第１端子１３に接続される第２端子１７と、シナプス回路２０の入力端子４１に接続され、第１端子１６と第２端子１７との接続または遮断を切り替える制御端子１８とを備えている。第２スイッチ２２は、例えば電界効果トランジスタ（ＦＥＴ）等により実現できる。この場合、ＦＥＴのゲート端子が制御端子１８として機能する。

このようなシナプス回路２０において、第１入力端子４１には、他のニューラルネットワーク回路素子４０が出力するスイッチングパルス電圧Ｖ_{ＰＯＳＴ２}が、第１入力信号、すなわち、スイッチングパルス電圧Ｖ_ＰＲＥとして印加される。また、シナプス回路２０の第２入力端子４２には、同じニューラルネットワーク回路素子４０内のニューロン回路３０から出力されたアナログパルス電圧Ｖ_{ＰＯＳＴ１}が印加される。

ここで、本実施の形態のニューラルネットワーク回路素子４０の構成において重要な点は、アナログパルス電圧はすべて同じニューラルネットワーク回路素子４０の内部だけで伝送されることである。これによってニューロン回路３０の数が多くてもパルスタイミングによる学習動作を適切に行うことができる。

以下、ニューラルネットワーク回路素子４０の動作についてより詳細に説明する。

まず、処理動作について説明する。「処理」動作の間は、図示しないが、シナプス回路２０の第２入力端子４２に印加される電圧がグラウンド電圧と等電位となるようにニューラルネットワーク回路素子４０における接続が切り換えられる。また、第１スイッチ２１が開状態のときは、抵抗変化素子１０の第３端子１５が、図示しないグラウンド電圧と等電位の端子に接続される。そのため、第１スイッチ２１の状態に関わらず、抵抗変化素子１０の第３端子１５には所定の電圧が入力されない（ＨＩ状態にならない）ので、抵抗変化素子１０の抵抗値は変化しない。つまり学習動作は起こらない。

また、処理動作の間、第２スイッチ２２は、第１入力信号であるスイッチングパルス電圧Ｖ_ＰＲＥがシナプス回路２０に入力されている間、直流電圧源２３と抵抗変化素子１０の第１端子１３とを接続する。すなわち、他のニューラルネットワーク回路素子から、スイッチングパルス電圧Ｖ_ＰＲＥがシナプス回路２０へ入力されると、そのスイッチングパルス電圧Ｖ_ＰＲＥの値に応じて第２スイッチ２２が開閉される。例えば第２スイッチ２２は、スイッチングパルス電圧Ｖ_ＰＲＥが所定の電圧以上となるＨＩ状態の期間に閉状態（接続状態）となり、それ以外の期間に開状態（遮断状態）となる。また、シナプス回路２０の第２端子１４は、直流電圧源２３による第１基準電圧Ｖ_ＤＤと異なる所定の第２基準電圧（例えば、グランド電圧）と等電位となる。

第２スイッチ２２が閉状態になると、直流電圧源２３と抵抗変化素子１０の第１端子１３とが接続される。抵抗変化素子１０は、前述したように第１端子１３と第２端子１４との間の抵抗値が可変する特性を有している。第２スイッチ２２が閉状態になることにより、抵抗変化素子１０の第１端子１３と第２端子１４との間に第１基準電圧Ｖ_ＤＤが印加される。これにより、直流電圧源２３から抵抗変化素子１０に、当該抵抗変化素子１０の現時点における導電率（抵抗値の逆数）に比例した電流が流れる。この電流は、ニューロン回路３０に入力される。ニューロン回路３０に入力される電流の大きさは、シナプス結合荷重ｗに比例しており、図２２に示すようなＰＳＰ（Ｐ_１（ｔ），Ｐ_２（ｔ））に相当するものとなる。このように、本実施形態では、抵抗変化素子１０の導電率（抵抗値の逆数）がシナプス結合荷重ｗに相当することとなる。

複数のシナプス回路２０からニューロン回路３０に入力される電流は、複数の他のニューラルネットワーク回路素子から対応するシナプス回路２０を通じて非同期的に与えられる。アナログ積分回路３１は、複数のシナプス回路２０からの入力電流を時空間加算する。時空間加算によって生じる積分電圧は、前述したニューロンの内部電位Ｖ_ｎとみなせる。内部電位Ｖ_ｎが所定の閾値電圧Ｖ_ＴＨを超えると、波形発生回路３３がパルス電圧（Ｖ_{ＰＯＳＴ１}，Ｖ_{ＰＯＳＴ２}）を生成する。このうち、波形発生回路３３で生成されたスイッチングパルス電圧Ｖ_{ＰＯＳＴ２}は、他のニューラルネットワーク回路素子のシナプス回路の第１入力端子に第１入力信号電圧Ｖ_ＰＲＥとして印加される。

次に、学習動作、特にＳＴＤＰを利用した学習動作について説明する。「学習」動作時には、前述したように、ニューロン回路３０の波形発生回路３３は、スイッチングパルス電圧Ｖ_{ＰＯＳＴ２}と同じタイミングでアナログパルス電圧Ｖ_{ＰＯＳＴ１}を生成する。アナログパルス電圧Ｖ_{ＰＯＳＴ１}は、シナプス回路２０の第１スイッチ２１の第１端子２７に印加される。また他のニューラルネットワーク回路素子のスイッチングパルス電圧Ｖ_ＰＲＥが、第１入力信号としてシナプス回路２０の第１スイッチ２１の制御端子２６に印加される。シナプス回路２０は、スイッチングパルス電圧Ｖ_ＰＲＥの値に応じて、第１スイッチ２１を切り替える。第１スイッチ２１は、制御端子２６に所定の電圧以上の電圧が印加された場合に、第１端子２７および第２端子２８間を接続するように構成されている。スイッチングパルス電圧Ｖ_ＰＲＥは、所定の時間幅を有する期間（入力許容期間）、所定の電圧レベル以上（ＨＩ状態）となる波形を有している。したがって、スイッチングパルス電圧Ｖ_ＰＲＥに基づいて定めれる入力許容期間において、抵抗変化素子１０の第３端子１５と、ニューロン回路３０のアナログパルス電圧Ｖ_{ＰＯＳＴ１}を出力する第２出力端子４６との間が接続され、それ以外の期間は当該接続が遮断される。

次に、抵抗変化素子１０を具備するシナプス回路２０において、ＳＴＤＰを実現する方法について、図１を用いて説明する。例えば、スイッチングパルス電圧Ｖ_ＰＲＥがＨＩ状態の期間は、第１スイッチ２１によって、抵抗変化素子１０の第３端子１５と、シナプス回路２０の第２入力端子４２とが接続される場合を考える。すなわち、スイッチングパルス電圧Ｖ_ＰＲＥがＨＩ状態の期間、第１スイッチ２１が閉状態となることにより、シナプス回路２０の第２入力端子４２と抵抗変化素子１０の第３端子１５との間が導通可能となる。これによって、抵抗変化素子１０の第３端子１５にアナログパルス電圧Ｖ_{ＰＯＳＴ１}が第２入力信号電圧として入力可能な入力許容期間となる。この入力許容期間において第２入力端子４２に入力されたアナログパルス電圧Ｖ_{ＰＯＳＴ１}の一部が抵抗変化素子１０の第３端子１５に印加される。このように、アナログパルス電圧Ｖ_{ＰＯＳＴ１}のうちスイッチングパルス電圧Ｖ_ＰＲＥと時間的に重なる波形を有する（すなわち、所定の時間幅を有する）パルス電圧が、抵抗変化素子１０の第３端子１５に印加される。この所定の時間幅を有するパルス電圧によって抵抗変化素子１０の抵抗値が変更される。上述のとおり、本実施形態においては、抵抗変化素子１０の抵抗値の逆数（導電率）がシナプス結合荷重を表わしているので、その抵抗値の変化によりシナプス回路２０のシナプス結合強度を更新する「学習」動作が可能となる。

また、アナログパルス電圧Ｖ_{ＰＯＳＴ１}とスイッチングパルス電圧Ｖ_ＰＲＥとが印加されるタイミングによって、抵抗変化素子１０の第３端子１５に印加されるパルス電圧の波形は変化する。上述のように、抵抗変化素子１０の抵抗値変化の程度は、印加される電圧の大きさ、つまり電圧波形に依存することを特徴とする。２つのパルス電圧が印加されるタイミングに応じて抵抗変化素子１０の第３端子１５に印加されるパルス電圧の波形は、変化する。したがって、２つのパルス電圧が印加されるタイミングに応じて抵抗変化素子１０の抵抗値変化の程度も変化する。図４Ａに示す双極性ノコギリ形パルス電圧をアナログパルス電圧Ｖ_{ＰＯＳＴ１}として用いることで、図２３Ｂに示した非対称形のＳＴＤＰを実現することができ、図４Ｂに示すメキシカンハット形パルス電圧をアナログパルス電圧Ｖ_{ＰＯＳＴ１}として用いることで、図２３Ｃに示した対称形のＳＴＤＰを実現することができる。

図７は図４Ａに示す双極性ノコギリ形パルス電圧をアナログパルス電圧Ｖ_{ＰＯＳＴ１}とし、図４Ｃに示す方形波パルス電圧をスイッチングパルス電圧Ｖ_ＰＲＥとして用いた場合の、各パルス電圧のタイミングチャートである。図７においても、上述したようにスイッチングパルス電圧Ｖ_ＰＲＥがＨＩ状態の期間だけ、アナログパルス電圧Ｖ_{ＰＯＳＴ１}が抵抗変化素子１０の第３端子１５に印加される場合を考える。図７において、第１スイッチ２１の動作によって入力許容期間に第３端子１５に印加される電圧（以下、ゲート入力電圧）をＶ_{ｓａｍｐｌｅ}とする。また、アナログパルス電圧Ｖ_{ＰＯＳＴ１}とスイッチングパルス電圧Ｖ_ＰＲＥとの入力タイミング差ｔ_{ＰＯＳＴ１}−ｔ_ＰＲＥは、２つのパルス電圧の時間的な中間点（図４Ａおよび図４Ｃにおける時刻ｔ_０）を基準として、その基準点の時間差とする。図７には、２つのパルス電圧入力タイミング差の大きさを矢印で示している。

図７に示されるように、アナログパルス電圧Ｖ_{ＰＯＳＴ１}とスイッチングパルス電圧Ｖ_ＰＲＥとの入力タイミング差ｔ_{ＰＯＳＴ１}−ｔ_ＰＲＥが変化することにより、ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の波形が変化する。例えばｔ_{ＰＯＳＴ１}−ｔ_ＰＲＥ＜０のとき（アナログパルス電圧Ｖ_{ＰＯＳＴ１}がスイッチングパルス電圧Ｖ_ＰＲＥより早く入力されるとき）、アナログパルス電圧Ｖ_{ＰＯＳＴ１}とスイッチングパルス電圧Ｖ_ＰＲＥとが時間的に重なると、ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}は負方向の電圧となり、入力タイミング差がある程度小さくなるまでは、入力タイミング差が小さいほどゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の大きさが大きくなる。ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の大きさが負方向に大きくなるほど、抵抗変化素子１０の導電率(抵抗値の逆数)が大きく減少する。一方、ｔ_{ＰＯＳＴ１}−ｔ_ＰＲＥ＞０のとき（アナログパルス電圧Ｖ_{ＰＯＳＴ１}がスイッチングパルス電圧Ｖ_ＰＲＥより遅く入力されるとき）は、アナログパルス電圧Ｖ_{ＰＯＳＴ１}とスイッチングパルス電圧Ｖ_ＰＲＥとが時間的に重なると、ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}は、正方向の電圧となり、入力タイミング差がある程度小さくなるまでは、入力タイミング差が小さいほどゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の大きさが大きくなる。ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の大きさが正方向に大きくなるほど、抵抗変化素子１０の導電率(抵抗値の逆数)が大きく増加する。入力タイミング差ｔ_{ＰＯＳＴ１}−ｔ_ＰＲＥが０に近い所定の領域においては、ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}は、平均値が略０に近づく。

上述したように、双極性ノコギリ形パルス電圧の代わりにメキシカンハット形パルス電圧をアナログパルス電圧Ｖ_{ＰＯＳＴ１}として用いることもできる。図８は図４Ｂに示すメキシカンハット形パルス電圧をアナログパルス電圧Ｖ_{ＰＯＳＴ１}とし、図４Ｃに示す方形波パルス電圧をスイッチングパルス電圧Ｖ_ＰＲＥとして用いた場合の、各パルス電圧のタイミングチャートである。ここでも、スイッチングパルス電圧Ｖ_ＰＲＥがＨＩの期間だけ、アナログパルス電圧Ｖ_{ＰＯＳＴ１}が抵抗変化素子１０の第３端子１５に印加される場合を考える。

図８に示されるように、メキシカンハット形パルス電圧をアナログパルス電圧Ｖ_{ＰＯＳＴ１}として用いた場合においても、アナログパルス電圧Ｖ_{ＰＯＳＴ１}とスイッチングパルス電圧Ｖ_ＰＲＥとの入力タイミング差ｔ_{ＰＯＳＴ１}−ｔ_ＰＲＥが変化することにより、ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の波形が変化する。例えば、スイッチングパルス電圧Ｖ_ＰＲＥが印加されるタイミングにおいてアナログパルス電圧Ｖ_{ＰＯＳＴ１}が正の値をとると、ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}は、正方向の電圧となり、入力タイミング差が小さいほどゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の大きさが大きくなる。ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の大きさが正方向に大きくなるほど、抵抗変化素子１０の導電率(抵抗値の逆数)が大きく増加する。一方、スイッチングパルス電圧Ｖ_ＰＲＥが印加されるタイミングにおいてアナログパルス電圧Ｖ_{ＰＯＳＴ１}が負の値をとると、ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}は、負方向の電圧となる。ゲート入力電圧Ｖ_{ｓａｍｐｌｅ}の大きさが負方向に大きくなるほど、導電率(抵抗値の逆数)が大きく減少する。

このように、図７および図８の何れの例においても、スイッチングパルス電圧Ｖ_ＰＲＥを用いて第１スイッチ２１を切り替えることで、同じニューラルネットワーク回路素子４０内で生成されたアナログパルス電圧（第２入力信号電圧）Ｖ_{ＰＯＳＴ１}と他のニューラルネットワーク回路素子から入力されたスイッチングパルス電圧（第１入力信号電圧）Ｖ_ＰＲＥの入力タイミング差に基づいて、抵抗変化素子１０の第３端子１５に、当該入力タイミング差に依存したゲート入力電圧Ｖ_{ｓａｍｐｌｅ}が印加される。このようにして印加されたゲート入力電圧Ｖ_{ｓａｍｐｌｅ}によって、抵抗変化素子１０において入力タイミング差に依存した抵抗値の変調、つまりＳＴＤＰに基づく学習が実現される。

このように、上記構成によれば、あるニューラルネットワーク回路素子４０で生成された双極性ノコギリ形パルス電圧またはメキシカンハット形パルス電圧のようなアナログパルス電圧Ｖ_{ＰＯＳＴ１}および所定の時間幅を定めるスイッチングのためのパルス電圧Ｖ_{ＰＯＳＴ２}のうち、スイッチングのためのパルス電圧Ｖ_{ＰＯＳＴ２}を他のニューラルネットワーク回路素子４０に第１入力信号電圧Ｖ_ＰＲＥとして伝送する一方で、アナログパルス電圧Ｖ_{ＰＯＳＴ１}は、当該アナログパルス電圧Ｖ_{ＰＯＳＴ１}を生成したのと同じニューラルネットワーク回路素子４０で用いられる。複数のニューラルネットワーク回路素子４０間において伝送されるスイッチングパルス電圧Ｖ_{ＰＯＳＴ２}（Ｖ_ＰＲＥ）は、第１スイッチ２１の接続状態の切り替えのみに用いられる。このため、スイッチングパルス電圧Ｖ_ＰＲＥには２値が区別できる程度の精度があればよくノイズの影響を受け難い。

したがって、複数のニューラルネットワーク回路素子４０間において、ノイズの影響を受け難いスイッチングのためのパルス電圧のみが伝送される。この結果、複数のニューラルネットワーク回路素子４０間でアナログパルス電圧Ｖ_{ＰＯＳＴ１}を伝送する必要がなくなる。したがって、ニューロン数が多くてもパルスタイミングによる学習動作を適切に行うことができる。また、アナログ信号を伝送する際にノイズの影響を受け難くするための種々の対策が不要となるため、ニューラルネットワーク回路の回路面積を大きくすることなくより多い数のニューラルネットワーク回路素子４０を実装することができる。

また、他のニューラルネットワーク回路素子４０から伝送される信号の入力タイミングを明確にするために、ニューラルネットワーク回路素子４０の出力端子５２には図示しない遅延回路が接続され得る。非特許文献１の構成においては、一のニューラルネットワーク回路素子から出力される信号が２種類存在するため、遅延回路も２つ必要となる。これに対し、本実施形態のニューラルネットワーク回路１においては、一のニューラルネットワーク回路素子４０から出力される信号はスイッチングパルス電圧Ｖ_{ＰＯＳＴ２}（Ｖ_ＰＲＥ）のみであるため、遅延回路も１つで済む。この結果、遅延回路を含むニューラルネットワーク回路素子当たりのチップの占有面積を小さくすることができる。

また、図２に示すように、複数のニューラルネットワーク回路素子４０は、複数のチップ（半導体チップ）２上に実装され得る。この場合、複数の半導体チップ２は、一の半導体チップ２に実装された少なくとも１つのニューラルネットワーク回路素子４０の出力端子５２（すなわち、ニューロン回路３０の第１出力端子４５）と、その他の半導体チップ２に実装された少なくとも１つのニューラルネットワーク回路素子４０の入力端子５１（すなわち、シナプス回路２０の入力端子４１）との間を接続するように構成される。一の半導体チップ２に実装された、あるニューラルネットワーク回路素子４０の出力端子５２と、他の半導体チップ２に実装された、その他のニューラルネットワーク回路素子４０の入力端子５１との間が接続される場合、その間は、例えば基板配線等の配線部３により接続される。

配線部３は、半導体チップ２内の微細配線に比べて、抵抗成分または容量成分が大きくなる。このため、信号の減衰やひずみの影響が、半導体チップ２内での信号伝達に比べて大きくなる。しかしながら、本実施形態におけるニューラルネットワーク回路１において、複数の半導体チップ２間において配線部３を介して伝送される信号は、前述したようにノイズの影響を受け難いスイッチングのためのパルス電圧Ｖ_ＰＲＥのみである。このため、ニューラルネットワーク回路１を構成する多数のニューラルネットワーク回路素子４０を、複数の半導体チップ２にわたって実装する場合であっても、半導体チップ２間の信号伝送におけるノイズの影響を受け難くすることができる。したがって、１つの半導体チップ２に実装可能なニューラルネットワーク回路素子４０の数が制限される場合においても、その数に制限されることなく、より多い数のニューラルネットワーク回路素子４０を有し、適切な学習動作を行うことができるニューラルネットワーク回路１を実現することができる。例えば、１ｃｍ角の半導体チップ２に対して約１０００個のニューラルネットワーク回路素子４０が実装可能であるとすると、１０個の半導体チップ２を繋げることにより、簡単に１００００個のニューラルネットワーク回路素子４０を有するニューラルネットワーク回路１を実現することができる。

以下、本実施形態における抵抗変化素子１０の具体例について説明する。図９Ａは図１に示すニューラルネットワーク回路素子４０の抵抗変化素子１０の具体例を示す断面模式図であり、図９Ｂは図９Ａに示す抵抗変化素子１０の回路記号を示す図である。図９Ａに示す抵抗変化素子１０は、強誘電体メモリスタである（以下、強誘電体メモリスタには符号７０を付す）。

図９Ａに示すように、強誘電体メモリスタ７０は、強誘電体層７１をゲート絶縁層とする電界効果トランジスタ構造を有する。強誘電体メモリスタ７０は、基板７２上に形成されたゲート電極（制御電極）７３と、ゲート電極７３が当接するように設けられる強誘電体層７１と、強誘電体層７１上に形成された半導体層７４と、半導体層７４上に設けられたソース電極７５およびドレイン電極７６（第１電極および第２電極）とを備えている。強誘電体メモリスタ７０のソース電極７５、ドレイン電極７６およびゲート電極７３はそれぞれ、抵抗変化素子１０の第１端子１３、第２端子１４および第３端子１５に対応している。

半導体層７４は、例えば、ＺｎＯ、ＧａＮ、またはＩｎＧａＺｎＯ等により形成される。強誘電体層７１は、例えば、Ｐｂ（Ｚｒ，Ｔｉ）Ｏ_３、Ｓｒ（Ｂｉ，Ｔａ）Ｏ、またはＢｉ_１２ＴｉＯ_２０等により形成される。ソース電極７５、ドレイン電極７６およびゲート電極７３は、例えば、白金層およびチタン層を含む積層体等により構成される。

このような強誘電体メモリスタ７０において、ゲート電極７３と、ソース電極７５および／またはドレイン電極７６との間に電圧が印加されると、強誘電体層７１の分極方向（図９Ａにおいては矢印Ｑで示されている）に依存して、ソース電極７５とドレイン電極７６との間の抵抗値が不揮発に変化する。

より具体的に説明する。なお、以下では、ゲート電極７３から半導体層７４に向かう方向を上方向とし、半導体層７４からゲート電極７３へ向かう方向を下方向とする。図９Ａに示すように、強誘電体層７１の一部分が上方向の分極（図９Ａの矢印Ｑで示す方向の分極）を有する場合、当該強誘電体層７１の分極が生じた箇所の上方に積層されている半導体層７４は低い抵抗値を有する。一方、強誘電体層７１の一部分が下方向の分極（図９Ａの矢印Ｑで示す方向とは反対方向の分極）を有する場合、当該強誘電体層７１の分極が生じた箇所の上方に積層している半導体層７４は高い抵抗値を有する。ソース電極７５とドレイン電極７６との間の抵抗値は、半導体層７４においてソース電極７５とドレイン電極７５とに挟まれた領域の抵抗値となる。したがって、当該半導体層７４の領域の下方に位置する強誘電体層７１における分極の割合によって、ソース電極７５とドレイン電極７６との間の抵抗値が連続的に変化する。

このような強誘電体メモリスタ７０において、ソース電極７５とドレイン電極７６との間の抵抗値を制御するために、ソース電極７５および／またはドレイン電極７６とゲート電極７３との間の電位差を変化させることで、強誘電体層７１の分極方向を変化させる。例えば、ソース電極７５および／またはドレイン電極７６を基準として、ゲート電極７３に正の電圧を印加すると、強誘電体層７１の分極による電場の向きが上方向（半導体層７４側）に向きやすくなる。反対に、ゲート電極７３に負の電圧を印加すると、強誘電体層７１の分極による電場の向きが下方向（ゲート電極７３側）に向きやすくなる。また、印加する電圧の大きさ（絶対値）が大きいほど、強誘電体層７１における分極の変化量が大きくなる。したがって、ゲート電極７３に正の電圧を印加するとソース電極７５とドレイン電極７６との間の抵抗値は減少し、ゲート電極７３に負の電圧を印加するとソース電極７５とドレイン電極７６との間の抵抗値は増加する。また、電極７５，７６間の抵抗値の変化はゲート電極７３に印加される電圧の絶対値が大きいほど顕著になる。以上のように、強誘電体メモリスタ７０は、上述の抵抗変化素子１０と同等の動作を行い得る。

ここで、上述した強誘電体メモリスタ７０の製造方法について例示する。まず、例えばチタン酸ストロンチウム（ＳｒＴｉＯ_３）からなる（００１）配向の単結晶基板７２上に、ルテニウム酸ストロンチウム（ＳｒＲｕＯ_３）からなる酸化物導電体層を、パルスレーザデポジション（以下ＰＬＤ）法によって堆積する。酸化物導電体層の厚みは例えば３０ｎｍである。また、堆積時の基板７２の温度は７００℃である。酸化物導電体層の堆積後、フォトリソグラフィおよびイオンミリング法によってゲート電極７３を形成する。

さらに、基板７２の温度が７００℃である状態で、ＰＬＤ法を用いてゲート電極７３上にジルコニウム酸チタン酸鉛（Ｐｂ（Ｚｒ，Ｔｉ）Ｏ_３）からなる強誘電体層７０２を堆積する。ジルコニウム酸チタン酸鉛の厚みは例えば４５０ｎｍである。その後、基板７２の温度を４００℃まで下げ、酸化亜鉛（ＺｎＯ）からなる半導体層７４を堆積する。半導体層７４の厚みは例えば４５０ｎｍである。

堆積された半導体層７４上にパターニングされたレジストを形成する。その後、チタン層および白金層を、室温下で電子ビーム蒸着法によって堆積することにより、チタン層および白金層からなる積層体を形成する。チタン層の厚みは例えば５ｎｍであり、白金層の厚みは例えば３０ｎｍである。積層体の形成後、リフトオフ法によってソース電極７５およびドレイン電極７６を形成する。このようにして、強誘電体メモリスタ７０が得られる。

（非対称形ＳＴＤＰにおけるシナプス回路の評価）
ここで、上記のようにして得られた強誘電体メモリスタ７０を用いて検証用シナプス回路を構成し、図７に示したスイッチング動作が実際に実現できるかを検証した結果を以下に示す。図１０は強誘電体メモリスタ７０を用いた検証用シナプス回路２０Ａの構成例を示すブロック図である。図１０に示す検証用シナプス回路２０Ａは、抵抗変化素子１０として図９Ａに示す強誘電体メモリスタ７０が用いられている（図１０においては図９Ｂの回路記号で示されている）。さらに、検証用シナプス回路２０Ａは、図１に示すシナプス回路２０に対してスイッチング動作を検証する以外の構成が省略されている。具体的には、検証用シナプス回路２０Ａは、図１に示す第２スイッチ２２が省略されている。そのため、直流電圧源２３が電流計２９を介して強誘電体メモリスタ７０の第１端子１３に接続されている。また、検証用シナプス回路２０Ａの出力端子４３は接地されている。また、第１スイッチ２１としては、図６に示す回路が用いられている。直流電圧源２３の第１基準電圧Ｖ_ＤＤは例えば０．１Ｖである。

前述したように、第１スイッチ２１は、スイッチングパルス電圧Ｖ_ＰＲＥがＨＩ状態の期間（入力許容期間）において、アナログパルス電圧Ｖ_{ＰＯＳＴ１}が強誘電体メモリスタ７０のゲート電極７３に印加され、それ以外の期間は強誘電体メモリスタ７０のゲート電極７３は接地されるような動作を行う。

本検証においては、図４Ａに示す非対称形の波形を有する双極性ノコギリ形パルス電圧をアナログパルス電圧Ｖ_{ＰＯＳＴ１}とし、図４Ｃに示す波形を有する方形波パルス電圧をスイッチングパルス電圧Ｖ_ＰＲＥとしている。なお、本検証において用いられるアナログパルス電圧Ｖ_{ＰＯＳＴ１}の周期は４０μｓ（ある電圧０の時点から次の電圧０の時点までの期間がそれぞれ２０μｓ）であり、正の電圧および負の電圧の最大値はそれぞれ１．５Ｖである。また、本検証において用いられるスイッチングパルス電圧Ｖ_ＰＲＥのパルス幅は５μｓであり、正の電圧および負の電圧の最大値はそれぞれ２Ｖである。このような波形を用いて、印加するアナログパルス電圧Ｖ_{ＰＯＳＴ１}およびスイッチングパルス電圧Ｖ_ＰＲＥのタイミングを変えながら、両パルス電圧を印加する前後の導電率（電流計２９で得られる電流値）の測定を行った。

図１１は非対称形ＳＴＤＰにおけるシナプス回路の検証結果を示すグラフである。図１１は、図１０に示す検証用シナプス回路２０Ａから得られた２つのパルスの時間差に対する強誘電体メモリスタ７０の導電率の変化量を示している。図１１に示すように、図２３Ｂに示すような非対称形のＳＴＤＰ特性を有する波形が得られている。したがって、抵抗変化素子１０として強誘電体メモリスタ７０を用いることにより、両パルスのタイミング差に応じてＳＴＤＰに基づく学習動作を適切に実現できることが理解できる。

（非対称形ＳＴＤＰにおける積分動作の評価）
次に、強誘電体メモリスタ７０から出力された電流をアナログ積分回路３１に入力した場合に、アナログ積分回路３１から出力される電圧がニューロンの内部電位Ｖｎとみなせるか否かの評価を行った結果を示す。図１２は強誘電体メモリスタ７０を用いたニューラルネットワーク回路素子４０の一部を示すブロック図である。図１２に示す回路においても、抵抗変化素子１０として図９Ａに示す強誘電体メモリスタ７０が用いられ、第１スイッチ２１として図６に示す回路が用いられる。また、アナログ積分回路３１として図３に示す回路が用いられる。第２スイッチ２２としては電界効果トランジスタが用いられる。すなわち、電界効果トランジスタのゲート端子にスイッチングパルス電圧Ｖ_ＰＲＥが印加される。また、図１２に示す回路における電界効果トランジスは、スイッチングパルス電圧Ｖ_ＰＲＥがＨＩ状態のときに直流電圧源２３と強誘電体メモリスタ７０の第１端子１３とを接続（オン）し、それ以外では当該接続を遮断（オフ）する。電界効果トランジスタ２４のオン抵抗は強誘電体メモリスタ７０の抵抗値の１００分の１以下であるため、直流電圧源２３とアナログ積分回路３１のオペアンプ３５の負極性入力端子（−）との間の抵抗値は、強誘電体メモリスタ７０の抵抗値にほぼ等しいと言える。したがって、スイッチングパルス電圧Ｖ_ＰＲＥがＨＩ状態の期間において、強誘電体メモリスタ７０にパルス電流が流れる。パルス電流の大きさはおよそ強誘電体メモリスタ７０の抵抗値の逆数(導電
率)に比例する。

アナログ積分回路３１に入力されたパルス電流は、当該アナログ積分回路３１のキャパシタ３６を充電する。このため、時間積分結果が出力Ｖ_ｎとして出力される。ここでは、強誘電体メモリスタ７０にスッチングパルス電圧Ｖ_ＰＲＥが印加されてから２０マイクロ秒(μｓ）後の積分電圧Ｖ_ｎについて評価する。

本検証においても、スイッチングパルス電圧Ｖ_ＰＲＥおよびアナログパルス電圧Ｖ_{ＰＯＳＴ１}は検証用シナプス回路２０Ａを用いた検証と同じ波形が用いられる。このような波形を用いて、印加するアナログパルス電圧Ｖ_{ＰＯＳＴ１}およびスイッチングパルス電圧Ｖ_ＰＲＥのタイミングを変えながら、両パルス電圧を印加する前後の積分電圧Ｖ_ｎの測定を行った。

図１３は非対称形ＳＴＤＰにおける積分動作の検証結果を示すグラフである。図１３は、図１２に示すアナログ積分回路３１から得られた２つのパルスの時間差に対する積分電圧Ｖ_ｎの変化量を示している。図１３において積分電圧Ｖ_ｎは、白丸の点で示される。積分電圧Ｖ_ｎの目盛は左側の軸上に示される。さらに、図１３には、参考のため、図１１に示す導電率の変化量が、同じグラフ上に実線で示される。導電率の目盛は右側の軸上に示される。図１３によれば、積分電圧Ｖ_ｎの変化量は、導電率の変化量に対応した特性を示しており、強誘電体メモリスタ７０のＳＴＤＰ特性がアナログ積分回路３１の積分動作にも反映されていることが理解できる。したがって、アナログ積分回路３１から出力される積分電圧Ｖ_ｎは、ニューロンの内部電位とみなせることが理解できる。

（対称形ＳＴＤＰにおけるシナプス回路の評価）
上記検証と同様に、図１０の検証用シナプス回路２０Ａにおいて、アナログパルス電圧Ｖ_{ＰＯＳＴ１}として図４Ｂに示す対称形の波形を有するメキシカンハット形パルス電圧を用いた場合の検証の結果を以下に示す。本検証において用いられるアナログパルス電圧Ｖ_{ＰＯＳＴ１}の周期は３０μｓ（ある電圧０の時点から次の電圧０の時点までの期間がそれぞれ１０μｓ）であり、正の電圧および負の電圧の最大値がそれぞれ１．５Ｖである。スイッチングパルス電圧Ｖ_ＰＲＥについては非対称形の場合と同様である。その他、回路構成等は非対称形の場合と同様としている。そして、印加するアナログパルス電圧Ｖ_{ＰＯＳＴ１}およびスイッチングパルス電圧Ｖ_ＰＲＥのタイミングを変えながら、両パルス電圧を印加する前後の導電率（電流計２９で得られる電流値）の測定を行った。

図１４は対称形ＳＴＤＰにおけるシナプス回路および積分動作の検証結果を示すグラフである。図１４は図１０に示す検証用シナプス回路２０Ａから得られた２つのパルスの時間差に対する強誘電体メモリスタ７０の導電率の変化量を黒丸の点で示している。導電率の変化量の目盛は左側の軸上に示される。図１４に示すように、図２３Ｃに示すような対称形のＳＴＤＰ特性を有する波形が得られている。したがって、抵抗変化素子１０として強誘電体メモリスタ７０を用いることにより、両パルスのタイミング差に応じてＳＴＤＰに基づく学習動作を適切に実現できることが理解できる。

（対称形ＳＴＤＰにおける積分動作の評価）
次に、非対称形ＳＴＤＰの場合と同様に、対称形ＳＴＤＰの場合において、強誘電体メモリスタ７０から出力された電流をアナログ積分回路３１に入力した場合に、アナログ積分回路３１から出力される電圧がニューロンの内部電位Ｖ_ｎとみなせるか否かの評価を行った結果を示す。本検証においても、アナログパルス電圧Ｖ_{ＰＯＳＴ１}として図４Ｂに示す対称形の波形を有するメキシカンハット形パルス電圧を用いることを除いて、非対称形ＳＴＤＰの場合と同様の検証を行った。本検証で用いたアナログパルス電圧Ｖ_{ＰＯＳＴ１}もシナプス回路の評価の場合と同じものを使用している。

図１４は図１２に示すアナログ積分回路３１から得られた２つのパルスの時間差に対する積分電圧Ｖ_ｎの変化量を白四角の点で示している。積分電圧Ｖ_ｎの目盛は右側の軸上に示される。図１４によれば、非対称形ＳＴＤＰの場合と同様に、積分電圧Ｖ_ｎの変化量は、導電率の変化量に対応した特性を示しており、強誘電体メモリスタ７０のＳＴＤＰ特性がアナログ積分回路３１の積分動作にも反映されていることが理解できる。したがって、アナログ積分回路３１から出力される積分電圧Ｖ_ｎは、ニューロンの内部電位とみなせることが理解できる。

［第２の実施の形態］
次に、本開示の第２の実施の形態について説明する。図１５Ａは本開示の第２の実施の形態におけるシナプス回路の抵抗変化素子１０として用いられる浮遊ゲートトランジスタ８０を示す断面模式図である。図１５Ｂは図１５Ａに示す浮遊ゲートトランジスタ８０の回路記号を示す図である。本実施形態においても、ニューラルネットワーク回路の全体的な構成は図１および図２と同様である。本実施形態のニューラルネットワーク回路が第１の実施の形態と異なるのは、抵抗変化素子１０として浮遊ゲートトランジスタ８０が適用されることである。

図１５Ａに示すように、浮遊ゲートトランジスタ８０は、基板８１上に形成された半導体層８２と、半導体層８２上の一部に形成された第１誘電体層８３と、第１誘電体層８３上に形成された浮遊ゲート電極８４、第１誘電体層８３および浮遊ゲート電極８４上に形成された第２誘電体層８５と、半導体層８２上に形成されたドレイン電極８２５およびソース電極８２６と、第２誘電体層８５上に形成され、第２誘電体層８５によって浮遊ゲート電極８４と絶縁される制御ゲート電極８８と、を具備する。浮遊ゲートトランジスタ８０のドレイン電極８６、ソース電極８７および制御ゲート電極８８は、それぞれ、抵抗変化素子１０の第１端子１３、第２端子１４および第３端子１５に対応している。

浮遊ゲートトランジスタ８０は、制御ゲート電極８８に電圧パルスを印加することにより、ドレイン電極８６とソース電極８７との間の抵抗値が変化する。変化の程度は、制御ゲート電極８８に印加される電圧パルスの大きさに依存し、上述の抵抗変化素子１０として扱うことができる。

（浮遊ゲートトランジスタを用いたシナプス回路の評価）
上述した浮遊ゲートトランジスタ８０を用いて検証用シナプス回路を構成し、スイッチング動作が実際にできるかを検証した結果を以下にしめす。図１６は浮遊ゲートトランジスタ８０を用いた検証用シナプス回路２０Ｂの構成例を示すブロック図である。図１６に示す検証用シナプス回路２０Ｂは、図１０に示す検証用シナプス回路２０Ａにおける抵抗変化素子１０として用いた強誘電体メモリスタ７０の代わりに浮遊ゲートトランジスタ８０を用いた回路（図１６において、浮遊ゲートトランジスタ８０は、図１５Ｂの回路記号で示されている）であり、その他の構成は、同じである。

図１７Ａは図１６に示す検証用シナプス回路２０Ｂに入力されるアナログパルス電圧Ｖ_{ＰＯＳＴ１}の波形を示すグラフであり、図１７Ｂは図１６に示す検証用シナプス回路２０Ｂに入力されるスイッチングパルス電圧Ｖ_ＰＲＥの波形を示すグラフである。なお、本検証に用いられるアナログパルス電圧Ｖ_{ＰＯＳＴ１}は、図３Ｂに示すメキシカンハット形パルス電圧の極性を反転させた波形を有している。本検証において用いられるアナログパルス電圧Ｖ_{ＰＯＳＴ１}の周期は３００μｓ（ある電圧０の時点から次の電圧０の時点までの期間がそれぞれ１００μｓ）であり、正の電圧および負の電圧の最大値がそれぞれ１９Ｖである。また、本検証において用いられるスイッチングパルス電圧Ｖ_ＰＲＥのパルス幅は５μｓであり、正の電圧および負の電圧の最大値はそれぞれ２０Ｖである。そして、印加するアナログパルス電圧Ｖ_{ＰＯＳＴ１}およびスイッチングパルス電圧Ｖ_ＰＲＥのタイミングを変えながら、両パルス電圧を印加する前後の導電率（電流計２９で得られる電流値）の測定を行った。

図１８は図１７Ａに示すアナログパルス電圧をアナログパルス電圧Ｖ_{ＰＯＳＴ１}とし、図１７Ｂに示す方形波パルス電圧をスイッチングパルス電圧Ｖ_ＰＲＥとして用いた場合の、各パルス電圧のタイミングチャートである。また、図１９は図１６に示す検証用シナプス回路２０Ｂを用いたシナプス回路の検証結果を示すグラフである。図１９は、図１６に示す検証用シナプス回路２０Ｂから得られた２つのパルスの時間差に対する浮遊ゲートトランジスタ８０の導電率の変化量を示している。図１９に示すように、２つのパルス時間差に依存して導電率が変化する結果が得られている。したがって、抵抗変化素子１０として浮遊ゲートトランジスタ８０を用いることにより、両パルスのタイミング差に応じてＳＴＤＰに基づく学習動作を適切に実現できることが理解できる。

上記説明から、当業者にとっては、本開示の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本開示を実行する最良の態様を当業者に教示する目的で提供されたものである。本開示の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。

本開示は、ニューラルネットワーク回路およびその学習方法において、ニューロンの数が多くてもパルスタイミングによる学習動作を適切に行うために有用である。

１ ニューラルネットワーク回路
２ 半導体チップ
３ 配線部
１０ 抵抗変化素子
１３ 第１端子
１４ 第２端子
１５ 第３端子
２０ シナプス回路
２１ 第１スイッチ
２２ 第２スイッチ
２３ 直流電圧源（第１基準電圧源）
３０ ニューロン回路
３１ アナログ積分回路
３２ 比較回路
３３ 波形発生回路
４０ ニューラルネットワーク回路素子
７０ 強誘電体メモリスタ
８０ 浮遊ゲートトランジスタ
３３１ デジタル／アナログコンバータ
３３２ デジタルメモリ

Claims (8)

1. 複数のニューラルネットワーク回路素子が接続されて構成されるニューラルネットワーク回路であって、
   前記複数のニューラルネットワーク回路素子のそれぞれは、他のニューラルネットワーク回路素子の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路と、前記少なくとも１つのシナプス回路の出力信号が入力される１つのニューロン回路と、を具備し、
   前記シナプス回路は、抵抗変化素子を具備し、
   前記抵抗変化素子は、第１端子、第２端子、および第３端子を具備し、
   前記第１端子と前記第３端子との間の電位差に応じて前記第１端子と前記第２端子との間の抵抗値が変化し、
   前記ニューロン回路は、同じニューラルネットワーク回路素子に含まれる前記シナプス回路に出力するための所定の波形を有するアナログパルス電圧と、所定の時間幅を定める波形を有し、他のニューラルネットワーク回路素子のシナプス回路に前記第１入力信号として入力するためのスイッチングパルス電圧とを生成する波形発生回路を備え、
   前記シナプス回路は、他のニューラルネットワーク回路素子からの前記第１入力信号における前記所定の時間幅を有する期間（入力許容期間）、当該シナプス回路と同じニューロン回路で生成された前記アナログパルス電圧を当該シナプス回路における前記抵抗変化素子の前記第３端子に入力するように構成され、
   前記入力許容期間における前記アナログパルス電圧の大きさに依存して生じる前記第１端子と前記第３端子との間の電位差によって、前記抵抗変化素子の抵抗値を変化させる、ニューラルネットワーク回路。
2. 前記複数のニューラルネットワーク回路素子は、複数のチップ上に実装され、前記複数のチップは、一のチップに実装された少なくとも１つの前記ニューラルネットワーク回路素子の出力端子と、その他のチップに実装された少なくとも１つの前記ニューラルネットワーク回路素子の入力端子との間を接続するように構成される、請求項１に記載のニューラルネットワーク回路。
3. 前記シナプス回路は、前記抵抗変化素子の前記第３端子と、前記ニューロン回路の前記アナログパルス電圧を出力する端子との間の接続または遮断を切り替える第１スイッチを備え、
   前記第１スイッチは、前記他のニューラルネットワーク回路素子からの前記第１入力信号に基づいて前記接続または遮断を切り替える、請求項１または２に記載のニューラルネットワーク回路。
4. 前記抵抗変化素子が強誘電体ゲートトランジスタである、請求項１から３の何れかに記載のニューラルネットワーク回路。
5. 前記強誘電体ゲートトランジスタは、
   基板上に形成された制御電極と、前記制御電極が当接するように設けられる強誘電体層と、強誘電体層上に形成された半導体層と、半導体層上に設けられた第１電極および第２電極とを備え、
   前記第１電極と前記制御電極との間の電位差に応じて前記第１電極と前記第２電極との間の抵抗値が変化する、請求項４に記載のニューラルネットワーク回路。
6. 前記ニューロン回路は、
   前記シナプス回路の前記抵抗変化素子を流れる電流値を積分する積分回路と、 前記積分回路で積分された電流値に応じた所定のパルス電圧を発生させる波形発生回路と、を具備する、請求項１から５の何れかに記載のニューラルネットワーク回路。
7. 前記シナプス回路は、一端が第１基準電圧源に接続され、他端が前記抵抗変化素子の前記第１端子に接続される第２スイッチを備え、
   前記第２スイッチは、他のニューラルネットワーク回路素子から入力されるパルス電圧が入力されている間、前記第１基準電圧源と前記第１端子とを接続するように構成される、請求項１から６の何れかに記載のニューラルネットワーク回路。
8. 複数のニューラルネットワーク回路素子が接続されて構成されるニューラルネットワーク回路の学習方法であって、
   前記複数のニューラルネットワーク回路素子のそれぞれは、他のニューラルネットワーク回路素子の出力信号（以下、第１入力信号）が入力される少なくとも１つのシナプス回路と、前記少なくとも１つのシナプス回路の出力信号が入力される１つのニューロン回路と、を具備し、
   前記シナプス回路は、抵抗変化素子を具備し、
   前記抵抗変化素子は、第１端子、第２端子、および第３端子を具備し、
   前記第１端子と前記第３端子との間の電位差に応じて前記第１端子と前記第２端子との間の抵抗値が変化し、
   前記ニューロン回路は、同じニューラルネットワーク回路素子に含まれる前記シナプス回路に出力するための所定の波形を有するアナログパルス電圧と、所定の時間幅を定める波形を有し、他のニューラルネットワーク回路素子のシナプス回路に前記第１入力信号として入力するためのスイッチングパルス電圧とを生成する波形発生回路を備え、
   前記シナプス回路は、他のニューラルネットワーク回路素子からの前記第１入力信号における前記所定の時間幅を有する期間（入力許容期間）、当該シナプス回路と同じニューロン回路で生成された前記アナログパルス電圧を当該シナプス回路における前記抵抗変化素子の前記第３端子に入力するように構成され、
   前記入力許容期間における前記アナログパルス電圧の大きさに依存して生じる前記第１端子と前記第３端子との間の電位差によって、前記抵抗変化素子の抵抗値を変化させる、ニューラルネットワーク回路の学習方法。

Images