JP7708381B2 - ニューラルネットワークを具現化する装置及びその動作方法 - Google Patents

Description

本発明は、ニューラルネットワークを具現化する装置及びその動作方法に関する。

メモリ中心のニューラルネットワーク装置は、生物学的脳をモデリングしたコンピュータ科学的アーキテクチャ（computational architecture）を参照する。メモリ中心のニューラルネットワーク技術の発展により、多種の電子システムにおいて、メモリ中心のニューラルネットワークを活用して入力データを分析し、有効な情報を抽出する研究が活発に進められている。

従って、メモリ中心のニューラルネットワークを利用し、大量の入力データをリアルタイムで分析し、所望する情報を抽出するためには、演算を効率的に処理することができる技術が要求される。

米国特許出願第２０１７／０２８６８３０号明細書

本発明が解決しようとする課題は、ニューラルネットワークを利用し、化学構造を生成する装置及び方法を提供することである。また、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することである。解決すべき技術的課題は、前述のような技術的課題に限定されるものではなく、他の技術的課題が存在し得る。

前述の技術的課題を達成するための技術的手段として、本開示の第１側面は、ニューラルネットワークを具現化するニューラルモルフィック装置において、少なくとも１つのプログラムが保存されたメモリと、クロスバーアレイ回路を含むオンチップメモリ（on－chip memory）と、前記少なくとも１つのプログラムを実行することにより、ニューラルネットワークを駆動する少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、バイナリ加重値を、前記クロスバーアレイ回路に含まれるシナプス回路に保存し、前記メモリから入力フィーチャマップ（input feature map）を獲得し、前記入力フィーチャマップを時間ドメインバイナリベクトル（temporal domain binary vector）に変換し、前記時間ドメインバイナリベクトルを、前記クロスバーアレイ回路の入力値として提供し、前記バイナリ加重値と前記時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップ（output feature map）を出力するものであるニューラルモルフィック装置することができる。

本開示の第２側面は、ニューラルネットワークを具現化するニューラルネットワーク装置において、少なくとも１つのプログラムが保存されたメモリと、前記少なくとも１つのプログラムを実行することにより、ニューラルネットワークを駆動する少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、バイナリ加重値及び入力フィーチャマップを前記メモリから獲得し、前記入力フィーチャマップを時間ドメインバイナリベクトルに変換し、前記バイナリ加重値と前記時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力するものであるニューラルネットワーク装置を提供することができる。

本開示の第３側面は、ニューラルモルフィック装置において、ニューラルネットワークを具現化する方法において、バイナリ加重値をクロスバーアレイ回路に含まれるシナプス回路に保存する段階と、メモリから入力フィーチャマップを獲得する段階と、前記入力フィーチャマップを時間ドメインバイナリベクトルに変換する段階と、前記時間ドメインバイナリベクトルを、前記クロスバーアレイ回路の入力値として提供する段階と、前記バイナリ加重値と前記時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力する段階と、を含む方法を提供することができる。

本開示の第４側面は、ニューラルネットワーク装置において、ニューラルネットワークを具現化する方法において、バイナリ加重値及び入力フィーチャマップをメモリから獲得する段階と、前記入力フィーチャマップを時間ドメインバイナリベクトルに変換する段階と、前記バイナリ加重値と前記時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力する段階と、を含む方法を提供することができる。

本開示の第５側面は、第３側面及び第４側面の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供することができる。

前述の本開示の課題解決手段によれば、バイナリ加重値及び時間ドメインバイナリベクトルを利用することにより、モデルサイズ及び演算量を低減させることができる。

また、本開示の他の課題解決手段のうちの一つによれば、バイナリ加重値と時間ドメインバイナリベクトルとの時間軸ＸＮＯＲ演算を行うことにより、マルチビットデータを利用するニューラルネットワークと同様なレベルの学習性能及び最終分類／認識正確度を確保することができる。

生物学的ニューロンと、生物学的ニューロンの動作を模写した数学的モデルと、について説明するための図である。 一実施形態による、ニューラルモルフィック装置の動作方法について説明するための図である。 一実施形態による、ニューラルモルフィック装置の動作方法について説明するための図である。 一実施形態による、ベクトル・行列乗算と、クロスバーアレイで行われる演算とを比較するための図である。 一実施形態による、ベクトル・行列乗算と、クロスバーアレイで行われる演算とを比較するための図である。 一実施形態による、ニューラルモルフィック装置において、コンボリューション演算が行われる例示について説明するための図である。 一実施形態による、ニューラルネットワークで行われる演算について説明するための図である。 一実施形態による、初期加重値をバイナリ加重値に変換する例示について説明するための図である。 一実施形態による、初期加重値をバイナリ加重値に変換する例示について説明するための図である。 一実施形態による、初期加重値をバイナリ加重値に変換する例示について説明するための図である。 一実施形態による、入力フィーチャマップを時間ドメインバイナリベクトルに変換する例示について説明するための図である。 一実施形態による、入力フィーチャマップを時間ドメインバイナリベクトルに変換する例示について説明するための図である。 一実施形態による、バイナリ加重値と時間ドメインバイナリベクトルとをバッチ正規化過程に適用することについて説明するための図である。 一実施形態による、フォンノイマン（von Neumann）構造を利用するニューラルネットワーク装置のブロック図である。 一実施形態による、インメモリ構造を利用するニューラルモルフィック装置のブロック図である。 一実施形態による、ニューラルネットワーク装置において、ニューラルネットワークを具現化する方法について説明するためのフローチャートである。 一実施形態による、ニューラルモルフィック装置において、ニューラルネットワークを具現化する方法について説明するためのフローチャートである。 一実施形態による、ニューラルネットワーク装置のハードウェア構成を図示したブロック図である。 一実施形態による、ニューラルモルフィック装置のハードウェア構成を図示したブロック図である。

本明細書において、多様なところに記載されている「一部実施形態において」または「一実施形態において」という語句は、必ずしもいずれも同一である実施形態を示すものではない。

本開示の一部実施形態は、機能的なブロック構成、及び多様な処理段階によっても示される。そのような機能ブロックの一部または全部は、特定機能を遂行する多様な個数のハードウェア及び／又はソフトウェア構成によっても具現化される。例えば、本開示の機能ブロックは、１つ以上のマイクロプロセッサによって具現化されるか、あるいは所定機能のための回路構成によっても具現化される。また、例えば、本開示の機能ブロックは、多様なプログラミング言語またはスクリプティング言語によっても具現化される。該機能ブロックは、１つ以上のプロセッサで実行されるアルゴリズムによっても具現化される。また、本開示は、電子的な環境設定、信号処理及び／又はデータ処理などのために、従来技術を採用することができる。「メカニズム」、「要素」、「手段」、及び「構成」のような用語は、汎用され、機械的であって物理的な構成として限定されるものではない。

また、図面に図示された構成要素間の連結線または連結部材は、機能的な連結、及び／又は、物理的または回路的な連結を例示的に示しただけのものである。実際の装置においては、代替可能であったり、追加されたりする、多様な機能的連結、物理的連結または回路連結によっても構成要素間の連結が示される。

以下、添付された図面を参照して、本開示について詳細に説明する。

図１は、生物学的ニューロンと、生物学的ニューロンの動作を模写した数学的モデルと、について説明するための図面である。

該生物学的ニューロンは、ヒト神経系に存在する細胞を意味する。該生物学的ニューロンは、基礎的な生物学的計算個体の一つである。ヒト頭脳は、およそ１０００億個ほどの生物学的ニューロンと、生物学的ニューロンとの間の１００兆個ほどの連結（interconnect）を含んでいる。

図１を参照すれば、生物学的ニューロン１０は、単一細胞である。生物学的ニューロン１０は、細胞核（nucleus）、及び多様な細胞器官（organelles）を含む神経細胞体（neuronal cell body）を含む。多様な細胞器官は、ミトコンドリア、細胞体から放射される多数の樹状突起（dendrites）、及び多くの分岐拡張線（extension）で縦断する軸索突起を含む。

一般的に、軸索突起は、ニューロンから他のニューロンに信号を送信する機能を遂行し、樹状突起は、他のニューロンから信号を受信する機能を遂行する。例えば、互いに異なるニューロンが連結されている場合、ニューロンの軸索突起を介して伝達された信号は、他のニューロンの樹状突起によって受信され得る。そのとき、ニューロン間において信号は、シナプス（synapse）と称される特化された連結を介して伝達され、さまざまなニューロンが互いに連結され、神経網（neural network）を形成する。シナプスを基準に神経伝達物質（neurotransmitter）を分泌するニューロンは、シナプス前ニューロン（pre-synaptic neuron）と称され、神経伝達物質を介して伝達される情報を受けるニューロンは、シナプス後ニューロン（post-synaptic neuron）とも称される。

一方、人間の頭脳は、多数のニューロンが互いに連結されて形成される神経網を介し、多様な信号を伝達及び処理することにより、膨大な量の情報を学習して記憶することができる。人間の頭脳内のニューロン間の膨大な数の連結は、生物学的コンピューティングの巨大並列属性（massively parallel nature）に直接関連するが、人工神経網を模写し、膨大な量の情報を効率的に処理するための多様な試みがなされてきた。例えば、人工神経網をニューロンレベルで具現化するために設計されたコンピューティングシステムとして、ニューラルモルフィック装置が研究されている。

一方、生物学的ニューロン１０の動作は、数学的モデル１１にも模写される。生物学的ニューロン１０に対応する数学的モデル１１は、ニューラルモルフィック演算の一例として、多数のニューロンからの情報について、シナプス加重値（synaptic weight）を乗じる乗算演算、シナプス加重値が乗じられた値（ω０ｘ０，ω１ｘ１，ω２ｘ２）に係わる加算演算（Σ）、及び、加算演算結果について、特性関数（ｂ）及び活性関数（ｆ）を適用する演算を含む。ニューラルモルフィック演算によってニューラルモルフィック演算結果が提供され得る。ここで、ｘ０，ｘ１，ｘ２，…のような値は、アクソン値に該当し、ω０，ω１，ω２、…のような値は、シナプス加重値に該当する。

図２Ａ及び図２Ｂは、一実施形態による、ニューラルモルフィック装置の動作方法について説明するための図である。

図２Ａを参照すれば、ニューラルモルフィック装置は、クロスバーアレイ回路ユニットを含んでもよい。該クロスバーアレイ回路ユニットは、複数のクロスバーアレイ回路を含み、それぞれのクロスバーアレイ回路は、ＲＣＡ（resistive crossbar memory arrays）によっても具現化される。具体的には、それぞれのクロスバーアレイ回路は、シナプス前ニューロンに対応する入力ノード（input node）２１０、シナプス後ニューロンに対応するニューロン回路２２０、及び、入力ノード２１０とニューロン回路２２０との連結を提供するシナプス回路２３０を含んでもよい。

一実施形態において、ニューラルモルフィック装置のクロスバーアレイ回路は、４個の入力ノード２１０、４個のニューロン回路２２０、及び、１６個のシナプス回路２３０を含んでいるが、それら個数は、多様に変更され得る。入力ノード２１０の個数がＮ個（ここで、Ｎは、２以上の自然数である）であり、ニューロン回路２２０の個数がＭ個（ここで、Ｍは、２以上の自然数であり、Ｎと同じであっても、異なっていてもよい）である場合、Ｎ＊Ｍ個のシナプス回路２３０がマトリックス状にも配列される。

具体的には、入力ノード２１０と連結され、第１方向（例えば、横方向）に延びる配線２１と、ニューロン回路２２０と連結され、第１方向と交差する第２方向（例えば、縦方向）に延びる配線２２とが提供され得る。以下、説明の便宜のために、第１方向に延びる配線２１をロウ配線（row line）とし、第２方向に延びる配線２２をカラム配線（column line）とする。複数のシナプス回路２３０は、ロウ配線２１とカラム配線２２との交差点ごとに配され、対応するロウ配線２１と、対応するカラム配線２２とを互いに連結させることができる。

入力ノード２１０は、信号、例えば、特定データに該当する信号を生成し、ロウ配線２１に送る役割を行い、ニューロン回路２２０は、シナプス回路２３０を経たシナプス信号を、カラム配線２２を介して受信して処理する役割を遂行することができる。入力ノード２１０は、アクソンにも対応し、ニューロン回路２２０は、ニューロンにも対応する。しかし、シナプス前ニューロンであるか、またはシナプス後ニューロンであるかということは、他のニューロンとの相対的な関係によっても決定される。例えば、入力ノード２１０が他ニューロンとの関係において、シナプス信号を受信する場合、シナプス後ニューロンとして機能することができる。同様に、ニューロン回路２２０が、他ニューロンとの関係において信号を送る場合、シナプス前ニューロンとして機能することができる。

入力ノード２１０とニューロン回路２２０との連結は、シナプス回路２３０を介しても行われる。ここで、シナプス回路２３０は、両端に印加される電気的パルス、例えば、電圧または電流により、電気伝導度（electrical conductance）あるいは加重値（weight）が変わる素子である。

シナプス回路２３０は、例えば、可変抵抗素子を含んでもよい。該可変抵抗素子は、両端に印加される電圧または電流により、互いに異なる抵抗状態間においてスイッチングすることができる素子であり、複数の抵抗状態を有することができる多様な物質、例えば、遷移金属酸化物、ペロブスカイト（perovskite）系物質のような金属酸化物；カルコゲナイド（chalcogenide）系物質のような相変化物質；強誘電物質；強磁性物質などを含む単一膜構造または多重膜構造、を有することができる。可変抵抗素子及び／又はシナプス回路２３０が高抵抗状態から低抵抗状態に変わる動作をセット（set）動作と言い、低抵抗状態から高抵抗状態に変わる動作をリセット（reset）動作と言うことができる。

ニューラルモルフィック装置の動作について、図２Ｂを参照して説明すれば、次の通りである。説明の便宜のために、ロウ配線２１を、上側から順に、第１ロウ配線２１Ａ、第２ロウ配線２１Ｂ、第３ロウ配線２１Ｃ及び第４ロウ配線２１Ｄと称し、カラム配線２２を、左側から順に、第１カラム配線２２Ａ、第２カラム配線２２Ｂ、第３カラム配線２２Ｃ、及び第４カラム配線２２Ｄと称する。

図２Ｂを参照すれば、最初状態において、シナプス回路２３０全部は、伝導度が相対的に低い状態、すなわち、高抵抗状態にもある。一部シナプス回路２３０が低抵抗状態である場合、それらを高抵抗状態にする初期化動作が追加して必要にもなる。シナプス回路２３０それぞれは、抵抗及び／又は伝導度の変化に要求される所定臨界値を有することができる。さらに具体的には、各シナプス回路２３０の両端に、所定臨界値より小さい大きさの電圧または電流が印加されれば、シナプス回路２３０の伝導度は、変化せず、一方、シナプス回路２３０に所定臨界値より大きい電圧または電流が印加されれば、シナプス回路２３０の伝導度は、変化する。

この状態において、特定データを、特定カラム配線２２の結果として出力する動作を遂行するために、入力ノード２１０の出力に対応し、特定データに該当する入力信号がロウ配線２１にも入る。このとき、該入力信号は、ロウ配線２１それぞれに対する電気的パルスの印加としても示され得る。例えば、ロウ配線２１に、「００１１」のデータに該当する入力信号が入る場合、「０」に対応するロウ配線２１、例えば、第１ロウ配線２１Ａ及び第２ロウ配線２１Ｂには、電気的パルスが印加されず、「１」に対応するロウ配線２１、例えば、第３ロウ配線２１Ｃ及び第４ロウ配線２１Ｄにだけ電気的パルスが印加され得る。このとき、カラム配線２２は、出力のために、適切な電圧または電流によっても駆動される。

一例として、特定データを出力するカラム配線２２が既定である場合、そのカラム配線２２は、「１」に対応するロウ配線２１との交差点に位置するシナプス回路２３０がセット動作であるときに要求される電圧（以下、セット電圧）以上の大きさを有する電圧を印加されるように駆動され、残りのカラム配線２２は、残りのシナプス回路２３０がセット電圧より小さい大きさの電圧を印加されるようにも駆動される。例えば、該セット電圧の大きさがＶ_ｓｅｔであり、「００１１」のデータを出力するカラム配線２２が第３カラム配線２２Ｃと定められた場合、第３カラム配線２２Ｃと、第３ロウ配線２１Ｃ及び第４ロウ配線２１Ｃとの交差点に位置する第１シナプス回路２３０Ａ及び第２シナプス回路２３０Ｂに、Ｖ_ｓｅｔ以上の電圧が印加されるように、第３ロウ配線２１Ｃ及び第４ロウ配線２１Ｄに印加される電気的パルスの大きさは、Ｖ_ｓｅｔ以上でもあり、第３カラム配線２２Ｃに印加される電圧は、０Ｖでもある。それにより、第１シナプス回路２３０Ａ及び第２シナプス回路２３０Ｂは、低抵抗状態にもなる。低抵抗状態の第１シナプス回路２３０Ａ及び第２シナプス回路２３０Ｂの伝導度は、電気的パルスの個数が増加するほど、漸進的に上昇する。印加される電気的パルスの大きさ及び幅は、実質的に一定でもある。第１シナプス回路２３０Ａ及び第２シナプス回路２３０Ｂを除いた残りのシナプス回路２３０は、Ｖ_ｓｅｔより小さい電圧を印加されるように、残りのカラム配線、すなわち、第１カラム配線２２Ａ、第２カラム配線２２Ｂ、及び第４カラム配線２２Ｄに印加される電圧は、０ＶとＶ_ｓｅｔとの間の値、例えば、１／２Ｖ_ｓｅｔの値を有することができる。それにより、第１シナプス回路２３０Ａ及び第２シナプス回路２３０Ｂを除いた残りのシナプス回路２３０の抵抗状態は、変化しない。

他の一例として、特定データを出力するカラム配線２２が定められていない。そのような場合、特定データに該当する電気的パルスをロウ配線２１に印加しながら、カラム配線２２それぞれに流れる電流を測定し、最も先に所定臨界電流に逹するカラム配線２２、例えば、第３カラム配線２２Ｃが特定データを出力したカラム配線２２にもなる。

以上で説明した方式により、互いに異なるデータが、互いに異なるカラム配線２２にそれぞれ出力され得る。

図３Ａ及び図３Ｂは、一実施形態による、ベクトル・行列乗算と、クロスバーアレイで行われる演算とを比較するための図である。

まず、図３Ａを参照すれば、入力フィーチャマップ（input feature map）と加重値とのコンボリューション演算は、ベクトル・行列乗算（vector－matrix multiplication）を利用しても行われる。例えば、該入力フィーチャマップのピクセルデータは、行列Ｘ ３１０によっても表現され、該加重値は、行列Ｗ ３１１によっても表現される。出力フィーチャマップ（output feature map）のピクセルデータは、行列Ｘ ３１０と行列Ｗ ３１１との乗算演算結果値である行列Ｙ ３１２によっても表現される。

図３Ｂを参照すれば、クロスバーアレイの不揮発性メモリ素子を利用し、ベクトル乗算演算が行われる。図３Ａと比較して説明すれば、入力フィーチャマップのピクセルデータは、不揮発性メモリ素子の入力値としても受信され、該入力値は、電圧３２０でもある。また、加重値は、不揮発性メモリ素子のシナプス、すなわち、メモリセルにも保存され、該メモリセルに保存された加重値は、コンダクタンス３２１でもある。従って、不揮発性メモリ素子の出力値は、電圧３２０とコンダクタンス３２１との乗算演算結果値である電流３２２によっても表現される。

図４は、一実施形態による、ニューラルモルフィック装置において、コンボリューション演算が行われる例示について説明するための図面である。
該ニューラルモルフィック装置は、入力フィーチャマップ４１０のピクセルを提供され、該ニューラルモルフィック装置のクロスバーアレイ回路４００は、ＲＣＡによっても具現化される。

該ニューラルモルフィック装置は、デジタル信号形態の入力フィーチャマップを受信することができ、ＤＡＣ（digital analog converter）４２０を利用し、該入力フィーチャマップをアナログ信号形態の電圧に変換することができる。一実施形態において、該ニューラルモルフィック装置は、ＤＡＣ ４２０を利用し、該入力フィーチャマップのピクセル値を電圧に変換した後、該電圧を、クロスバーアレイ回路４００の入力値４０１として提供することができる。

また、該ニューラルモルフィック装置のクロスバーアレイ回路４００には、学習された加重値が保存される。該加重値は、クロスバーアレイ回路４００のメモリセルにも保存され、該メモリセルに保存された加重値は、コンダクタンス４０２でもある。このとき、該ニューラルモルフィック装置は、入力値４０１とコンダクタンス４０２とのベクトル乗算演算を行うことにより、出力値を算出することができ、該出力値は、電流４０３によっても表現される。すなわち、該ニューラルモルフィック装置は、クロスバーアレイ回路４００を利用し、入力フィーチャマップと加重値とのコンボリューション演算結果と同一結果値を出力することができる。

クロスバーアレイ回路４００から出力された電流４０３は、アナログ信号なので、電流４０３を、他のクロスバーアレイ回路の入力フィーチャマップとして使用するために、該ニューラルモルフィック装置は、ＡＤＣ（analog digital converter）４３０を利用することができる。該ニューラルモルフィック装置は、ＡＤＣ ４３０を利用し、アナログ信号である電流４０３を、デジタル信号に変換することができる。一実施形態において、該ニューラルモルフィック装置は、ＡＤＣ ４３０を利用して、電流４０３を入力フィーチャマップ４１０のピクセルと同一ビット数のデジタル信号に変換することができる。例えば、入力フィーチャマップ４１０が、ピクセルが４ビットのデータである場合、該ニューラルモルフィック装置は、ＡＤＣ ４３０を利用して、電流４０３を、４ビットのデータに変換することができる。

該ニューラルモルフィック装置は、活性化ユニット４４０を利用して、ＡＤＣ ４３０で変換されたデジタル信号に対して、活性化関数を適用することができる。該活性化関数としては、シグモイド（sigmoid）関数、Ｔａｎｈ関数及びＲｅＬＵ（rectified linear unit）関数を利用することができるが、デジタル信号に適用することができる活性化関数は、それらに制限されるものではない。

該活性化関数が適用されたデジタル信号は、他のクロスバーアレイ回路４５０の入力フィーチャマップとしても利用される。該活性化関数が適用されたデジタル信号が、他のクロスバーアレイ回路４５０の入力フィーチャマップとして利用される場合、前述の過程が、他のクロスバーアレイ回路４５０にも同様に適用される。

図５は、一実施形態による、ニューラルネットワークで行われる演算について説明するための図である。

図５を参照すれば、ニューラルネットワーク５００は、入力レイヤ、隠れ層、及び出力レイヤを含む構造を有し、受信される入力データ（例えば、Ｉ_１及びＩ_２）を基に演算を行い、遂行結果を基に、出力データ（例えば、Ｏ_１及びＯ_２）を生成することができる。

例えば、図５に示されているように、ニューラルネットワーク５００は、入力レイヤ（Layer １）、２個の隠れ層（Layer ２及びLayer ３）及び出力レイヤ（Layer ４）を含んでよい。ニューラルネットワーク５００は、有効な情報を処理することができるさらに多くのレイヤを含むので、ニューラルネットワーク５００は、シングルレイヤを有するニューラルネットワークより複雑なデータ集合を処理することができる。一方、ニューラルネットワーク５００は、４レイヤを含むように図示されているが、それは、例示に過ぎず、ニューラルネットワーク５００は、さらに少なかったり多かったりするレイヤを含むか、あるいは、さらに少なかったり多かったりするチャネルを含んでもよい。すなわち、ニューラルネットワーク５００は、図５に図示されたところとは異なる、多様な構造のレイヤを含んでもよい。

ニューラルネットワーク５００に含まれたレイヤそれぞれは、複数のチャネルを含んでもよい。該チャネルは、ニューロン、プロセッシングエレメント（ＰＥ：processing element）、ユニット、または、それと同様な用語によって知られた、複数の人工ノード（artificial node）にも該当する。例えば、図５に示されているように、Layer １は、２個のチャネル（ノード）、Layer ２及びLayer ３それぞれは、３個のチャネルを含んでもよい。ただし、それは、例示に過ぎず、ニューラルネットワーク５００に含まれたレイヤそれぞれは、多様な個数のチャネル（ノード）を含んでもよい。

ニューラルネットワーク５００のレイヤそれぞれに含まれたチャネルは、互いに連結され、データを処理することができる。例えば、１つのチャネルは、他のチャネルからデータを受信して演算することができ、演算結果を、さらに他のチャネルに出力することができる。

チャネルそれぞれの入力及び出力それぞれは、入力フィーチャマップ及び出力フィーチャマップとも称される。該入力フィーチャマップは、複数の入力アクティベーションを含み、該出力フィーチャマップは、複数の出力アクティベーションを含んでもよい。すなち、該フィーチャマップまたは該アクティベーションは、１チャネル一チャネルの出力であると同時に、次のレイヤに含まれたチャネルの入力に該当するパラメータでもある。

一方、チャネルそれぞれは、以前レイヤに含まれたチャネルから受信されたアクティベーション及び加重値に基づき、自体のアクティベーションを決定することができる。加重値は、各チャネルにおける出力アクティベーションを計算するために利用されるパラメータであり、チャネル間の連結関係に割り当られる値でもある。

チャネルそれぞれは、入力を受信し、出力アクティベーションを出力する演算ユニット（computational unit）またはプロセッシングエレメント（processing element）によっても処理され、チャネルそれぞれの入力・出力は、マッピングされる。例えば、σは、活性化関数（activation function）であり、ｗ^ｉ _j,kは、（ｉ－１）番目レイヤに含まれたｋ番目チャネルから、ｉ番目レイヤに含まれたｊ番目チャネルへの加重値であり、ｂ^ｉ _jは、ｉ番目レイヤに含まれたｊ番目チャネルのバイアス（bias）であり、ａ^ｉ _jは、ｉ番目レイヤのｊ番目チャネルのアクティベーションであるとするとき、アクティベーションａ^ｉ _jは、以下のような式１を利用しても計算される。

図５に示されているように、２番目レイヤ（Layer ２）の最初チャネルＣＨ１のアクティベーションは、ａ^２ _１とも表現される。また、ａ^２ _１は、式１により、ａ^２ _１＝σ（ｗ^２ _１,１×ａ^１ _１＋ｗ^２ _１,２×ａ^１ _２＋ｂ^２ _１）の値を有することができる。ただし、前述の式１は、ニューラルネットワーク５００においてデータを処理するために利用されるアクティベーション及び加重値について説明するための単なる例示に過ぎず、それに制限されるものではない。該アクティベーションは、以前レイヤから受信されたアクティベーションの和（sum）に、バッチ正規化（batch normalization）及び活性化関数（activation function）を適用することによって獲得された値でもある。

図６Ａないし図６Ｃは、一実施形態による、初期加重値をバイナリ加重値に変換する例示について説明するための図である。

図６Ａを参照すれば、入力レイヤ６０１、出力レイヤ６０２及び初期加重値Ｗ_１１，Ｗ_１２、…、Ｗ_３２、Ｗ_３３が図示されている。入力レイヤ６０１の３つのニューロンそれぞれには、３つの入力アクティベーションＩ_１、Ｉ_２、Ｉ_３が対応し、出力レイヤ６０２の３つのニューロンそれぞれには、３つの出力アクティベーションＯ_１、Ｏ_２、Ｏ_３が対応し得る。また、第ｎ番目入力アクティベーションＩ_ｎと第ｍ番目出力アクティベーションＯ_ｍは、初期加重値Ｗ_ｎｍが適用される。

図６Ｂの初期加重値６１０は、図６Ａによる初期加重値Ｗ_１１、Ｗ_１２、…、Ｗ_３２、Ｗ_３３を行列で表現したものである。

ニューラルネットワークの学習過程においては、初期加重値６１０が決定され得る。一実施形態において、初期加重値６１０は、３２ビットの浮動小数点（floating point）によっても表現される。

初期加重値６１０は、バイナリ加重値６２０にも変換される。バイナリ加重値６２０は、１ビットの大きさを有することができる。本発明においては、ニューラルネットワークの推論過程において、初期加重値６１０の代わりに、バイナリ加重値６２０を利用することにより、モデルサイズ及び演算量を低減させることができる。例えば、３２ビットの初期加重値６１０を、１ビットのバイナリ加重値６２０に変換する場合、モデルサイズを１／３２ほど圧縮することができる。

一実施形態において、初期加重値６１０の最大値と最小値とに基づき、初期加重値６１０は、バイナリ加重値６２０にも変換される。他の実施形態において、ニューラルネットワークに入力可能な初期加重値の最大値と最小値とに基づき、初期加重値６１０は、バイナリ加重値６２０にも変換される。

例えば、ニューラルネットワークに入力可能な初期加重値の最大値が１．００であり、最小値が－１．００でもある。初期加重値が０．００以上である場合、バイナリ加重値１にも変換され、初期加重値が０．００未満である場合、バイナリ加重値－１にも変換される。

また、バイナリ加重値６２０には、初期加重値６１０の絶対値の平均値６３０が乗じられる。バイナリ加重値６２０に、初期加重値６１０の絶対値の平均値６３０が乗じられることにより、バイナリ加重値６２０を利用する場合にも、初期加重値６１０を利用する場合と同様な結果値を得ることができる。

例えば、以前レイヤに、１０２４個のニューロンが存在し、現在レイヤに、５１２個のニューロンが存在すると仮定すれば、現在レイヤに属する５１２個のニューロンは、それぞれ１０２４個の初期加重値６１０を有することになるが、各ニューロン別に、１０２４個の３２ビット浮動小数点の初期加重値６１０の絶対値の平均値が計算された後で、該計算結果は、バイナリ加重値６２０に乗じられる。

具体的には、所定の出力アクティベーションＯ_１、Ｏ_２、Ｏ_３の算出に利用される初期加重値６１０の絶対値の平均値が、所定の出力アクティベーションＯ_１、Ｏ_２、Ｏ_３の算出に利用される初期加重値６１０にも乗じられる。

例えば、図６Ａを参照すれば、第１出力アクティベーションＯ_１が算出される過程においては、初期加重値Ｗ_１１、Ｗ_２１、及びＷ_３１が利用され得る。初期加重値Ｗ_１１、Ｗ_２、_１及びＷ_３１それぞれは、バイナリ加重値Ｗ_１１’、Ｗ_２１’、及びＷ_３１’に変換され、バイナリ加重値Ｗ_１１’、Ｗ_２１’、及びＷ_３１’には、初期加重値Ｗ_１１、Ｗ_２１、及びＷ_３１の絶対値の平均値
が乗じられる。

同じ方式により、バイナリ加重値Ｗ_１２’、Ｗ_２２’、及びＷ_３２’には、初期加重値Ｗ_１２、Ｗ_２２、及びＷ_３２の絶対値の平均値
が乗じられる。また、バイナリ加重値Ｗ_１３’、Ｗ_２３’、及びＷ_３３’には、初期加重値Ｗ_１３、Ｗ_２３、及びＷ_３３の絶対値の平均値

図６Ｃを参照すれば、初期加重値６１０、バイナリ加重値６２０、及び初期加重値６１０の絶対値の平均値６３０が具体的な数値として図示されている。図６Ｃにおいては、説明の便宜のために、初期加重値６１０を１０進数で表現したが、初期加重値６１０は、３２ビットの浮動小数点であることを前提にしている。

図６Ｃにおいては、初期加重値が０．００以上である場合、バイナリ加重値１に変換され、初期加重値が０．００未満である場合、バイナリ加重値－１に変換されることが図示されている。

また、初期加重値Ｗ_１１、Ｗ_２１、及びＷ_３１の絶対値の平均値は、「０．２８」であり、初期加重値Ｗ_１２、Ｗ_２２、及びＷ_３２の絶対値の平均値は、「０．３７」であり、初期加重値Ｗ_１３、Ｗ_２３、及びＷ_３３の絶対値の平均値は、「０．２９」であることが図示されている。

図７Ａ及び図７Ｂは、一実施形態による、入力フィーチャマップを時間ドメインバイナリベクトル（temporal domain binary vector）に変換する例示について説明するための図である。

該入力フィーチャマップは、複数の時間ドメインバイナリベクトルにも変換される。該入力フィーチャマップは、複数の入力アクティベーションを含み、該複数の入力アクティベーションそれぞれは、時間ドメインバイナリベクトルにも変換される。

該入力フィーチャマップは、量子化レベルに基づき、複数の時間ドメインバイナリベクトルにも変換される。一実施形態において、ニューラルネットワークに入力可能な入力アクティベーションの最大値と最小値との範囲がＮ個（Ｎは自然数）の量子化レベルにも区分される。例えば、該量子化レベル区分のためには、シグモイド関数またはｔａｎｈ関数などが利用され得るが、それらに制限されるものではない。

例えば、図７Ａを参照すれば、量子化レベルが９個に設定され、ニューラルネットワークに入力可能な入力アクティベーションの最大値と最小値とがそれぞれ１．０、－１．０である場合、量子化レベルは、「１．０、０．７５、０．５、０．２５、０、－０．２５、－０．５、－０．７５、－１．０」にも区分される。

一方、図７Ａにおいては、量子化レベル間の間隔が同一に設定されるように図示されているが、量子化レベル間の間隔は、非線形にも設定される。

量子化レベルがＮ個に設定された場合、時間ドメインバイナリベクトルは、（Ｎ－１）個のエレメントを有することができる。例えば、図７Ａを参照すれば、量子化レベルが９個に設定された場合、時間ドメインバイナリベクトルは、８個のエレメントｔ_１、ｔ_２、…、ｔ_７、ｔ_８を有することができる。

入力アクティベーションが、Ｎ個の量子化レベルのうちいずれの量子化レベルに属するかということに基づき、該入力アクティベーションは、時間ドメインバイナリベクトルにも変換される。例えば、所定の入力アクティベーションが０．７５以上の値を有する場合、所定の入力アクティベーションは、時間ドメインバイナリベクトル（＋１，＋１，＋１，＋１，＋１，＋１，＋１，＋１）にも変換される。また、例えば、所定の入力アクティベーションが－０．２５未満及び－０．５以上の値を有する場合、所定の入力アクティベーションは、時間ドメインバイナリベクトル（＋１，＋１，＋１，－１，－１，－１，－１，－１）にも変換される。

図７Ｂを参照すれば、入力フィーチャマップ７１０に含まれた複数の入力アクティベーションそれぞれが、時間バイナリベクトルに変換される例示が示されている。第１アクティベーションは、０未満及び－０．２５以上の値を有するので、時間ドメインバイナリベクトル（－１，－１，－１，－１，＋１，＋１，＋１，＋１）にも変換され、第２アクティベーションは、０．５未満及び０．２５以上の値を有するので、時間ドメインバイナリベクトル（－１，－１，＋１，＋１，＋１，＋１，＋１，＋１）にも変換される。また、第３アクティベーションは、－０．７５未満及び－１．０以上の値を有するので、時間ドメインバイナリベクトル（－１，－１，－１，－１，－１，－１，－１，＋１）にも変換され、第４アクティベーションは、０．７５以上の値を有するので、時間ドメインバイナリベクトル（＋１，＋１，＋１，＋１，＋１，＋１，＋１，＋１）にも変換される。

一方、従来の方式により、ニューラルネットワークの各レイヤの入力アクティベーションそれぞれをバイナリ値に変換させる場合、入力アクティベーションが有する情報が喪失され、レイヤ間の情報伝達が正常になされない。

一方、本開示のように、ニューラルネットワークの各レイヤの入力アクティベーションそれぞれを、時間ドメインバイナリベクトルに変換する場合、複数個のバイナリ値を基に、本来の入力アクティベーションに近似させることができる。

図８は、一実施形態による、バイナリ加重値と時間ドメインバイナリベクトルとを、バッチ正規化過程に適用することについて説明するための図である。

一般的に、ニューラルネットワークアルゴリズムモデルにおいては、入力アクティベーション（最初の入力値、または以前レイヤの出力値）と初期加重値（３２ビットの浮動小数点）との積、及び、その結果の合算（ＭＡＣ：multiply and accumulate）を行った後で、各ニューロン別に別途のバイアス値をさらに加える。そして、その結果値に対し、ニューロン別にバッチ正規化を行う。そして、その結果を活性化関数に入力した後で、活性化関数出力値を、次のレイヤの入力値として伝達する。

それは、式２のように表現することができる。式２においてＩ_ｎは、入力アクティベーションを、Ｗ_ｎｍは、初期加重値を、Ｂ_ｍは、バイアス値を、α_ｍは、バッチ正規化の初期スケール値を、β_ｍは、バッチ正規化のバイアス値を、ｆは、活性化関数を、Ｏ_ｍは、出力アクティベーションを意味する。

図８を参照すれば、入力アクティベーションＩ_ｎ ８１０は、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０にも変換される。時間ドメインバイナリベクトル生成部（temporal binary vector generator）は、入力アクティベーションＩ_ｎ ８１０を時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０に変換することができる。

図７Ａ及び図７Ｂで説明したように、既設定量子化レベルにより、入力アクティベーションＩ_ｎ ８１０は、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０にも変換される。一方、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０それぞれに含まれるエレメントの個数は、量子化レベルの個数によっても決定される。例えば、量子化レベルの個数がＮ個である場合、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０それぞれに含まれるエレメントの個数は、（Ｎ－１）個でもある。

一方、入力アクティベーションＩ_ｎ ８１０が、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０に変換される場合、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０を利用した演算結果は、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０に含まれるエレメントの個数Ｔ ８５０ほど増幅される。それにより、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０を利用する場合、演算結果をエレメントの個数Ｔ ８５０ほどで除することにより、本来のＭＡＣ演算結果と同一な結果を得ることができる。それに係わる具体的な説明は、式５及び式６を利用して行う。

図６Ａ－図６Ｃで説明したように、初期加重値Ｗ_ｎｍは、バイナリ加重値Ｗ^ｂ _ｎｍ ８３０にも変換される。例えば、sign関数を介し、初期加重値Ｗ_ｎｍは、バイナリ加重値Ｗ^ｂ _ｎｍ ８３０にも変換される。

時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０とバイナリ加重値Ｗ^ｂ _ｎｍ ８３０とのコンボリューション演算が行われる。一実施形態において、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０とバイナリ加重値Ｗ^ｂ _ｎｍ ８３０とのＸＮＯＲ演算及び加算演算が行われる。

時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０とバイナリ加重値Ｗ^ｂ _ｎｍ ８３０とのＸＮＯＲ演算を行った後で、その結果をいずれも合わせれば、本来のマルチビット入力アクティベーションＩ_ｎ ８１０とバイナリ初期加重値Ｗ_ｎｍとのコンボリューション演算を行った結果と同一な増減の様相を示すことになる。

時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０とバイナリ加重値Ｗ^ｂ _ｎｍ ８３０との演算は、下記式３のように表現することができる。
コンボリューション演算結果として、中間アクティベーションＸ_ｍ ８４０が算出されｙる。中間アクティベーションＸ_ｍ ８４０は、下記式４のようにも示される。
中間アクティベーションＸ_ｍ ８４０には、初期加重値の絶対値の平均値Ｓ_ｍ ８６０が乗じられ得る。

また、中間アクティベーションＸ_ｍ ８４０には、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０それぞれに含まれるエレメントの個数Ｔ ８５０によっても除される。時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０それぞれに含まれるエレメントの個数は、量子化レベルの個数によっても決定される。時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０を利用した演算結果は、エレメントの個数Ｔ ８５０ほど増幅されるので、中間アクティベーションＸ_ｍ ８４０をエレメントの個数Ｔ ８５０で除することにより、本来のＭＡＣ演算結果と同一な結果を得ることができる。

中間アクティベーションＸ_ｍ ８４０に、初期加重値の絶対値の平均値Ｓ_ｍ ８６０が乗じられ、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０それぞれに含まれたエレメントの個数Ｔ ８６０で除されることにより、出力アクティベーションＯ_ｍ ８７０が算出され得る。出力アクティベーションＯ_ｍ ８７０は、下記式５のようにも示される。
一実施形態において、バッチ正規化が行われる場合、バッチ正規化の初期スケール値に対し、初期加重値の絶対値の平均値Ｓ_ｍ ８６０が乗じられ、時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０に含まれるエレメントの個数Ｔ ８５０で除されることにより、修正スケール値（modified scale value）α”_ｍが算出され得る。

数式２によるニューラルネットワークアルゴリズムモデルに、バイナリ加重値Ｗ^ｂ _ｎｍ ８３０、時間ドメインバイナリベクトルＩ_ｂｎ（ｔ）８２０及び修正スケール値α”_ｍを適用する場合、式２は、下記式６のようにも表現される。
本開示においては、マルチビットの浮動小数点によって表現される初期加重値Ｗ_ｎｍを、＋１または－１を有するバイナリ加重値Ｗ^ｂ _ｎｍ ８３０に変換することにより、モデルサイズ及び演算量を低減させることができる。

本開示においては、バイナリ加重値Ｗ^ｂ _ｎｍ ８３０に、初期加重値の絶対値の平均値Ｓ_ｍ ８６０を乗じることにより、バイナリ加重値Ｗ^ｂ _ｎｍ ８３０を利用する場合にも、初期加重値Ｗ_ｎｍを利用する場合と同様な結果値を得ることができる。
一方、初期加重値の絶対値の平均値Ｓ_ｍ ８６０は、前記式６のように、バッチ正規化演算に含めることができるので（Ｍ_ｍＸα_ｍ）、モデルパラメータがさらに生ぜす、モデルサイズ節減に損失がなく、また演算量節減にも損失が生じない。すなわち、式２と比較したとき、式６においては、別途のパラメータ、及び別途の手続きが追加されずに演算が行われ得ることを確認することができる。

本開示においては、マルチビットの入力アクティベーションＩ_ｎ ８１０を、２ビットないし３ビットの低いビット数に量子化した後で、それを複数のエレメントを有する時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０に変換することができる。また、本開示においては、バイナリ加重値Ｗ^ｂ _ｎｍ ８３０と時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０との時間軸ＸＮＯＲ演算を行うことにより、バイナリＭＡＣ演算を基とした３２ビット浮動小数点ニューラルネットワークと同様なレベルの学習性能及び最終分類／認識正確度を確保することができる。

一方、エレメントの個数Ｔ ８６０は、前記式６のように、バッチ正規化演算に含めることができるので（α_ｍＸ１／Ｔ）、モデルパラメータがさらに生じることなく、モデルサイズ節減に損失がなく、また演算量節減にも損失が生じない。すなわち、式２と比較したときに、式６においては、別途のパラメータ、及び別途の手続きが追加されずに演算が行われ得ることを確認することができる。

例えば、３２ビットの入力アクティベーションＩ_ｎ ８１０を、Ｔ個のエレメントを有する時間ドメインバイナリベクトルＩ^ｂ _ｎ（ｔ）８２０に変換する場合、モデルサイズをＴ／３２ほど圧縮することができる。

図９は、一実施形態による、フォンノイマン（von Neumann）構造を利用するニューラルネットワーク装置のブロック図である。

図９を参照すれば、ニューラルネットワーク装置９００は、外部入力受信部９１０、メモリ９２０、時間ドメインバイナリベクトル生成部９３０、コンボリューション演算部９４０、及びニューラル演算部９５０を含んでよい。

図９に示されたニューラルネットワーク装置９００には、本実施形態と係わる構成要素だけが図示されている。従って、ニューラルネットワーク装置９００には、図９に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいことが、当該技術分野の当業者にとっては自明であろう。

外部入力受信部９１０は、外部からニューラルネットワークモデル関連情報、入力イメージ（または、オーディオ）データなどを受信することができる。外部入力受信部９１０から受信された各種情報及びデータは、メモリ９２０にも保存される。

一実施形態において、メモリ９２０は、入力フィーチャマップを保存する第１メモリと、バイナリ加重値、その他実数パラメータ、モデル構造定義変数などを保存する第２メモリとに区分され得る。一方、メモリ９２０に保存されたバイナリ加重値は、ニューラルネットワークの学習が完了した初期加重値（例えば、３２ビットの浮動小数点）が変換された値でもある。

時間ドメインバイナリベクトル生成部９３０は、メモリ９２０から、入力フィーチャマップを受信することができる。時間ドメインバイナリベクトル生成部９３０は、該入力フィーチャマップを、時間ドメインバイナリベクトルに変換することができる。該入力フィーチャマップは、複数の入力アクティベーションを含み、時間ドメインバイナリベクトル生成部９３０は、該複数の入力アクティベーションそれぞれを、時間ドメインバイナリベクトルに変換することができる。

具体的には、時間ドメインバイナリベクトル生成部９３０は、量子化レベルに基づき、入力フィーチャマップを複数の時間ドメインバイナリベクトルに変換することができる。一実施形態において、ニューラルネットワークに入力可能な入力アクティベーションの最大値と最小値との範囲がＮ個（Ｎは自然数）の量子化レベルに区分される場合、時間ドメインバイナリベクトル生成部９３０は、該入力アクティベーションを、（Ｎ－１）個のエレメントを有する時間ドメインバイナリベクトルに変換することができる。

コンボリューション演算部９４０は、メモリ９２０から、バイナリ加重値を受信することができる。また、コンボリューション演算部９４０は、時間ドメインバイナリベクトル生成部９３０から、複数の時間ドメインバイナリベクトルを受信することができる。

コンボリューション演算部９４０は、加算器（adder）を含み、コンボリューション演算部９４０は、バイナリ加重値と、複数の時間ドメインバイナリベクトルとのコンボリューション演算を行うことができる。

ニューラル演算部９５０は、コンボリューション演算部９４０から、バイナリ加重値と、複数の時間ドメインバイナリベクトルとのコンボリューション演算結果を受信することができる。また、ニューラル演算部９５０は、メモリ９２０から、バッチ正規化の修正スケール値、バッチ正規化のバイアス値、及び活性化関数などを受信することができる。

ニューラル演算部９５０においては、バッチ正規化、プーリング（pooling）が行われ、活性化関数が適用され得るが、ニューラル演算部９５０で行われて適用され得る演算は、それらに制限されるものではない。

一方、バッチ正規化の修正スケール値は、初期スケール値に対し、初期加重値の絶対値の平均値が乗じられ、時間ドメインバイナリベクトルに含まれるエレメントの個数Ｔで除されることにより、修正スケール値が算出され得る。

ニューラル演算部９５０においてバッチ正規化が行われ、活性化関数が適用されることにより、出力フィーチャマップが出力され得る。該出力フィーチャマップは、複数の出力アクティベーションを含んでもよい。

図１０は、一実施形態による、インメモリ構造を利用するニューラルモルフィック装置のブロック図である。

図１０を参照すれば、ニューラルモルフィック装置１０００は、外部入力受信部１０１０、メモリ１０２０、時間ドメインバイナリベクトル生成部１０３０、オンチップメモリ（on－chip memory）１０４０、及びニューラル演算部１０５０を含んでよい。

図１０に示されたニューラルモルフィック装置１０００には、本実施形態と係わる構成要素だけが図示されている。従って、ニューラルモルフィック装置１０００には、図１０に示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいことが、当該技術分野の当業者にとっては自明であろう。

外部入力受信部１０１０は、外部からニューラルネットワークモデル関連情報、入力イメージ（または、オーディオ）データなどを受信することができる。外部入力受信部１０１０から受信された各種情報及びデータは、メモリ１０２０にも保存される。
メモリ１０２０は、入力フィーチャマップ、その他実数パラメータ、モデル構造定義変数などを保存することができる。図９のニューラルネットワーク装置９００とは異なり、バイナリ加重値は、メモリ１０２０ではなく、オンチップメモリ１０４０に保存されるが、詳細な内容は、後述する。

時間ドメインバイナリベクトル生成部１０３０は、メモリ１０２０から、入力フィーチャマップを受信することができる。時間ドメインバイナリベクトル生成部１０３０は、該入力フィーチャマップを、時間ドメインバイナリベクトルに変換することができる。該入力フィーチャマップは、複数の入力アクティベーションを含み、時間ドメインバイナリベクトル生成部１０３０は、該複数の入力アクティベーションそれぞれを、時間ドメインバイナリベクトルに変換することができる。

具体的には、時間ドメインバイナリベクトル生成部１０３０は、量子化レベルに基づき、入力フィーチャマップを、複数の時間ドメインバイナリベクトルに変換することができる。一実施形態において、ニューラルネットワークに入力可能な入力アクティベーションの最大値と最小値との範囲が、Ｎ個（Ｎは自然数）の量子化レベルに区分される場合、時間ドメインバイナリベクトル生成部１０３０は、該入力アクティベーションを、（Ｎ－１）個のエレメントを有する時間ドメインバイナリベクトルに変換することができる。

オンチップメモリ１０４０は、入力部１０４１、クロスバーアレイ回路１０４２、及び出力部１０４３を含んでよい。

クロスバーアレイ回路１０４２は、複数のシナプス回路（例えば、可変抵抗）を含んでもよい。バイナリ加重値は、複数のシナプス回路にも保存される。該複数のシナプス回路に保存されたバイナリ加重値は、ニューラルネットワークの学習が完了した初期加重値（例えば、３２ビットの浮動小数点）が変換された値でもある。

入力部１０４１は、時間ドメインバイナリベクトル生成部１０３０から、複数の時間ドメインバイナリベクトルを受信することができる。

入力部１０４１に、複数の時間ドメインバイナリベクトルが受信されると、クロスバーアレイ回路１０４２においては、バイナリ加重値と、複数の時間ドメインバイナリベクトルとのコンボリューション演算を行うことができる。

出力部１０４３は、コンボリューション演算結果を、ニューラル演算部１０５０に伝達することができる。

ニューラル演算部１０５０は、出力部１０４３から、バイナリ加重値と、複数の時間ドメインバイナリベクトルとのコンボリューション演算結果を受信することができる。また、ニューラル演算部１０５０は、メモリ１０２０から、バッチ正規化の修正スケール値、バッチ正規化のバイアス値、及び活性化関数などを受信することができる。

ニューラル演算部１０５０においては、バッチ正規化、プーリングが行われ、活性化関数が適用され得るが、ニューラル演算部１０５０において行われて、適用され得る演算は、それらに制限されるものではない。

一方、バッチ正規化の修正スケール値は、初期スケール値に対し、初期加重値の絶対値の平均値が乗じられ、時間ドメインバイナリベクトルに含まれるエレメントの個数Ｔで除されることにより、修正スケール値が算出される。

ニューラル演算部１０５０でバッチ正規化が行われ、活性化関数が適用されることにより、出力フィーチャマップが出力され得る。該出力フィーチャマップは、複数の出力アクティベーションを含んでもよい。

図１１は、一実施形態による、ニューラルネットワーク装置において、ニューラルネットワークを具現化する方法について説明するためのフローチャートである。

図１１を参照すれば、段階１１１０において、ニューラルネットワーク装置は、バイナリ加重値及び入力フィーチャマップを、メモリから獲得することができる。

段階１１２０において、該ニューラルネットワーク装置は、入力フィーチャマップを、時間ドメインバイナリベクトルに変換することができる。

一実施形態において、該ニューラルネットワーク装置は、入力フィーチャマップに係わる量子化レベルに基づき、入力フィーチャマップを、時間ドメインバイナリベクトルに変換することができる。

具体的に、ニューラルネットワーク装置は、ニューラルネットワークに入力可能な最大値と最小値との範囲を、Ｎ個（Ｎは自然数）の量子化レベルに区分し、入力フィーチャマップのアクティベーションそれぞれが、Ｎ個の量子化レベルのうちいずれの量子化レベルに属するかに基づき、アクティベーションそれぞれを、時間ドメインバイナリベクトルに変換することができる。

一方、該ニューラルネットワーク装置は、ニューラルネットワークに入力可能な最大値と最小値との範囲を、線形的な量子化レベル、または非線形的な量子化レベルに区分することができる。

段階１１３０において、該ニューラルネットワーク装置は、バイナリ加重値と時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力することができる。

該ニューラルネットワーク装置は、コンボリューション演算結果に対し、バッチ正規化を行うことにより、出力フィーチャマップを出力することができる。

一実施形態において、該ニューラルネットワーク装置は、バッチ正規化の初期スケール値に対し、初期加重値の絶対値の平均値を乗じ、時間ドメインバイナリベクトルそれぞれに含まれるエレメントの個数で除することにより、修正スケール値を算出することができる。該ニューラルネットワーク装置は、修正スケール値に基づき、バッチ正規化を行うことができる。

該ニューラルネットワーク装置は、ニューラルネットワークに適用されるバイアス値それぞれに、初期スケール値を乗じる乗算演算を行い、乗算演算結果を前記出力フィーチャマップに反映させることができる。

また、該ニューラルネットワーク装置は、コンボリューション演算結果に対し、バッチ正規化を行い、バッチ正規化の遂行結果について、活性化関数を適用することにより、出力フィーチャマップを出力することができる。

図１２は、一実施形態による、ニューラルモルフィック装置において、ニューラルネットワークを具現化する方法について説明するためのフローチャートである。

図１２を参照すれば、段階１２１０において、ニューラルモルフィック装置は、バイナリ加重値を、クロスバーアレイ回路に含まれるシナプス回路に保存することができる。

段階１２２０において、該ニューラルモルフィック装置は、メモリから、入力フィーチャマップを獲得することができる。

段階１２３０において、該ニューラルモルフィック装置は、入力フィーチャマップを、時間ドメインバイナリベクトルに変換することができる。

一実施形態において、該ニューラルモルフィック装置は、入力フィーチャマップに係わる量子化レベルに基づき、入力フィーチャマップを、時間ドメインバイナリベクトルに変換することができる。

具体的に、該ニューラルモルフィック装置は、ニューラルネットワークに入力可能な最大値と最小値との範囲を、Ｎ個（Ｎは自然数）の量子化レベルに区分し、入力フィーチャマップのアクティベーションそれぞれが、Ｎ個の量子化レベルのうちいずれの量子化レベルに属するかに基づき、アクティベーションそれぞれを、時間ドメインバイナリベクトルに変換することができる。

一方、該ニューラルモルフィック装置は、ニューラルネットワークに入力可能な最大値と最小値との範囲を、線形的な量子化レベル、または非線形的な量子化レベルに区分することができる。

段階１２４０において、該ニューラルモルフィック装置は、時間ドメインバイナリベクトルを、クロスバーアレイ回路の入力値として提供することができる。

段階１２５０において、該ニューラルモルフィック装置は、バイナリ加重値と時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力することができる。

該ニューラルモルフィック装置は、コンボリューション演算結果に対し、バッチ正規化を行うことにより、出力フィーチャマップを出力することができる。

一実施形態において、該ニューラルモルフィック装置は、バッチ正規化の初期スケール値に対し、初期加重値の絶対値の平均値を乗じ、時間ドメインバイナリベクトルそれぞれに含まれるエレメントの個数で除することにより、修正スケール値を算出することができる。該ニューラルモルフィック装置は、修正スケール値に基づき、バッチ正規化を行うことができる。

該ニューラルモルフィック装置は、ニューラルネットワークに適用されるバイアス値それぞれに、初期スケール値を乗じる乗算演算を行い、乗算演算結果を、前記出力フィーチャマップに反映させることができる。

また、該ニューラルモルフィック装置は、コンボリューション演算結果に対し、バッチ正規化を行い、バッチ正規化遂行結果について、活性化関数を適用することにより、出力フィーチャマップを出力することができる。

図１３は、一実施形態による、ニューラルネットワーク装置のハードウェア構成を図示したブロック図である。

ニューラルネットワーク装置１３００は、ＰＣ（personal computer）、サーバデバイス、モバイルデバイス、埋め込みデバイスのような多種のデバイスによっても具現化される。具体的な例として、ニューラルネットワークを利用した音声認識、映像認識、映像分類などを行うスマートフォン、タブレットデバイス、ＡＲ（augmented reality）デバイス、ＩｏＴ（internet of things）、自律走行自動車、ロボティックス、医療機器などに該当し得るが、それらに制限されるものではない。さらに、ニューラルネットワーク装置１３００は、前述のようなデバイスに搭載される専用ハードウェアアクセラレータ（ＨＷ accelerator）にも該当し、ニューラルネットワーク装置１３００は、ニューラルネットワーク駆動のための専用モジュールであるＮＰＵ（neural processing unit）、ＴＰＵ（Tensor processing unit）、ニューラルエンジン（Neural Engine）のようなハードウェアアクセラレータでもあるが、それらに制限されるものではない。

図１３を参照すれば、ニューラルネットワーク装置１３００は、プロセッサ１３１０及びメモリ１３２０を含む。図９に図示されたニューラルネットワーク装置１３００には、本実施形態と係わる構成要素だけが図示されている。従って、ニューラルネットワーク装置１３００には、図１３に図示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいことが、当該技術分野の当業者にとっては自明であろう。

プロセッサ１３１０は、ニューラルネットワーク装置１３００を実行するための全般的な機能を制御する役割を行う。例えば、プロセッサ１３１０は、ニューラルネットワーク装置１３００内のメモリ１３２０に保存されたプログラムを実行することにより、ニューラルネットワーク装置１３００を全般的に制御する。プロセッサ１３１０は、ニューラルネットワーク装置１３００内に具備されたＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）、ＡＰ（application processor）などによっても 具現化される、それらに制限されるものではない。

メモリ１３２０は、ニューラルネットワーク装置１３００内で処理される各種データを保存するハードウェアであり、例えば、メモリ１３２０は、ニューラルネットワーク装置１３００で処理されたデータ及び処理されるデータを保存することができる。また、メモリ１３２０は、ニューラルネットワーク装置１３００によって駆動されるアプリケーション、ドライバなどを保存することができる。メモリ１３２０は、ＤＲＡＭ（dynamic random access memory）・ＳＲＡＭ（static random access memory）のようなＲＡＭ（random access memory）、ＲＯＭ（read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read only memory）、ＣＤ－ＲＯＭ（compact disc read only memory）、ブルーレイ（登録商標）、または他の光学ディスクストレージ、ＨＤＤ（hard disk drive）、ＳＳＤ（solid static driver）、あるいはフラッシュメモリを含んでもよい。

プロセッサ１３１０は、メモリ１３２０から、ニューラルネットワークデータ、例えば、イメージデータ、フィーチャマップデータ、加重値データなどを、リード／ライト（read/write）し、リード／ライトされたデータを利用し、ニューラルネットワークを実行する。該ニューラルネットワークが実行されるとき、プロセッサ１３１０は、出力フィーチャマップに係わるデータを生成するために、入力フィーチャマップと加重値とのコンボリューション演算を反復的に行う。そのとき、該入力フィーチャマップのチャネル数、加重値のチャネル数、入力フィーチャマップの大きさ、加重値の大きさ、値の精密度（precision）のような多様なファクタに依存し、コンボリューション演算の演算量が決定される。

ニューラルネットワーク装置１３００で駆動される実際のニューラルネットワークは、さらに複雑なアーキテクチャによっても具現化される。それにより、プロセッサ１３１０は、数億から数百億に至るほどに非常に多くの演算量（operation count）の演算を行うことになり、プロセッサ１３１０が演算のためにメモリ１３２０にアクセスする頻度が共に飛躍的に増大してしまう。そのような演算量負担により、比較的処理性能が低いスマートフォン、タブレット、ウェラブルデバイスのようなモバイルデバイス、埋め込みデバイスなどにおいて、ニューラルネットワークの処理が円滑ではなくなる。

プロセッサ１３１０は、コンボリューション演算、バッチ正規化演算、プーリング演算、活性化関数演算などを行うことができる。一実施形態において、プロセッサ１３１０は、マルチヘッドセルフアテンションを求めるために、行列乗算演算、変形演算及び転置演算を行うことができる。マルチヘッドセルフアテンションを求める過程において、変形演算及び転置演算は、行列乗算演算の以後または以前にも遂行される。

プロセッサ１３１０は、バイナリ加重値及び入力フィーチャマップを、メモリ９２０から獲得し、該入力フィーチャマップを、時間ドメインバイナリベクトルに変換することができる。また、プロセッサ１３１０は、バイナリ加重値と時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力することができる。

図１４は、一実施形態による、ニューラルモルフィック装置のハードウェア構成を図示したブロック図である。

図１４を参照すれば、ニューラルモルフィック装置１４００は、プロセッサ１４１０及びオンチップメモリ１４２０を含んでもよい。図１４に示されたニューラルモルフィック装置１４００には、本実施形態と係わる構成要素だけが図示されている。従って、ニューラルモルフィック装置１４００には、図１４に示された構成要素以外に、他の汎用的な構成要素がさらに含まれてもよいことが、当該技術分野の当業者にとっては自明であろう。

ニューラルモルフィック装置１４００は、スマートフォン、ドローン、タブレットデバイス、ＡＲデバイス、ＩｏＴデバイス、自律走行自動車、ロボティックス、医療機器のような低電力ニューラルネットワーク駆動が必要なデジタルシステムにも搭載されるが、それらに制限されるものではない。

ニューラルモルフィック装置１４００は、複数のオンチップメモリ１４２０を含み、オンチップメモリ１４２０それぞれは、複数のクロスバーアレイ回路によっても構成される。該クロスバーアレイ回路は、複数のシナプス前ニューロン、複数のシナプス後ニューロン、及び、複数のシナプス前ニューロンと複数のシナプス後ニューロンとのそれぞれの連結を提供するシナプス回路、すなわち、メモリセルを含んでもよい。一実施形態において、該クロスバーアレイ回路は、ＲＣＡによっても具現化される。

外部メモリ１４３０は、ニューラルモルフィック装置１４００で処理される各種データを保存するハードウェアであり、外部メモリ１４３０は、ニューラルモルフィック装置１４００で処理されたデータ及び処理されるデータを保存することができる。また、外部メモリ１４３０は、ニューラルモルフィック装置１４００によって駆動されるアプリケーション、ドライバなどを保存することができる。外部メモリ１４３０は、ＤＲＡＭ・ＳＲＡＭのようなＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ、ブルーレイ、または他の光学ディスクストレージ、ＨＤＤ、ＳＳＤ、あるいはフラッシュメモリを含んでもよい。

プロセッサ１４１０は、ニューラルモルフィック装置１４００を駆動するための全般的な機能を制御する役割を行う。例えば、プロセッサ１４１０は、ニューラルモルフィック装置１４００内のオンチップメモリ１４２０に保存されたプログラムを実行することにより、ニューラルモルフィック装置１４００を全般的に制御する。プロセッサ１４１０は、ニューラルモルフィック装置１４００内に具備されたＣＰＵ、ＧＰＵ、ＡＰなどによっても具現化されるが、それらに制限されるものではない。プロセッサ１４１０は、外部メモリ１４３０から、各種データをリード／ライトし、リード／ライトされたデータを利用し、ニューラルモルフィック装置１４００を実行する。

プロセッサ１４１０は、複数の限界値に基づき、入力フィーチャマップのピクセル値を二進化することにより、複数のバイナリフィーチャマップを生成することができる。プロセッサ１４１０は、複数のバイナリフィーチャマップのピクセル値を、クロスバーアレイ回路ユニットの入力値として提供することができる。プロセッサ１４１０は、ＤＡＣを利用し、ピクセル値をアナログ信号（電圧）に変換することができる。
プロセッサ１４１０は、クロスバーアレイ回路ユニットに適用される加重値を、クロスバーアレイ回路ユニットに含まれるシナプス回路に保存することができる。該シナプス回路に保存された加重値は、コンダクタンスでもある。また、プロセッサ１４１０は、入力値と、シナプス回路に保存されたカーネル値との乗算演算を行うことにより、クロスバーアレイ回路ユニットの出力値を算出することができる。

プロセッサ１４１０は、クロスバーアレイ回路ユニットで算出された出力値を合成（merge）することにより、出力フィーチャマップのピクセル値を生成することができる。一方、該クロスバーアレイ回路ユニットで算出された出力値（または、算出された出力値に加重値が乗じられた結果値）は、アナログ信号形態（電流）であるので、プロセッサ１４１０は、ＡＤＣを利用し、出力値をデジタル信号に変換することができる。また、プロセッサ１４１０は、ＡＤＣにおいてデジタル信号に変換された出力値に、活性化関数を適用することができる。

プロセッサ１４１０は、バイナリ加重値を、クロスバーアレイ回路に含まれるシナプス回路に保存し、外部メモリ１４３０から、入力フィーチャマップを獲得することができる。また、プロセッサ１４１０は、入力フィーチャマップを、時間ドメインバイナリベクトルに変換し、該時間ドメインバイナリベクトルを、クロスバーアレイ回路の入力値として提供することができる。また、プロセッサ１４１０は、バイナリ加重値と時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力することができる。

本実施形態は、コンピュータによって実行されるプログラムモジュールのようなコンピュータによって実行可能な命令語を含む記録媒体の形態にも具現化される。コンピュータ可読媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体でもあり、揮発性及び不揮発性の媒体、分離型及び非分離型の媒体をいずれも含む。また、該コンピュータ可読媒体は、コンピュータ記録媒体及び通信媒体のいずれを含んでもよい。該コンピュータ記録媒体は、コンピュータ可読命令語、データ構造、プログラムモジュール、または、その他データのような情報保存のための任意の方法または技術によって具現化された揮発性及び不揮発性、分離型及び非分離型の媒体のいずれをも含む。該通信媒体は、典型的に、コンピュータ可読命令語、データ構造、プログラムモジュールのような変調されたデータ信号のその他データ、またはその他伝送メカニズムを含み、任意の情報伝達媒体を含む。

また、本明細書において、「部」は、プロセッサまたは回路のようなハードウェア構成（hardware component）、及び／又は、プロセッサのようなハードウェア構成によって実行されるソフトウェア構成（software component）でもある。

前述の本明細書の説明は、例示のためのものであり、本明細書の内容が属する技術分野の当業者であるならば、本発明の技術的思想や必須な特徴を変更することなく、他の具体的な形態に容易に変形が可能であることを理解することができるであろう。従って、上記の実施形態は、全ての面において例示的なものであり、限定的なものではないと理解されなければならない。例えば、単一型と説明されている各構成要素は、分散されて実施され、同様に、分散型と説明されている構成要素は、結合された形態でも実施される。

本実施形態の範囲は、前述の詳細な説明ではなく、特許請求の範囲によって示され、特許請求の範囲の意味、範囲、及び、その均等概念から導き出される全ての変更され、変形された形態が含まれるものと解釈されなければならない。

１０ 生物学的ニューロン
１１ 生物学的ニューロンの数学的モデル
２１０ 入力ノード
２２０ ニューラル回路
４００，１０４２ クロスバーアレイ回路
４１０ 入力フィーチャマップ
４２０ ＤＡＣ
４３０ ＡＤＣ
４４０ 活性化ユニット
５００ ニューラルネットワーク
６０１ 入力レイヤ
６０２ 出力レイヤ
８１０ 入力アクティベーション
８２０ 時間ドメインバイナリベクトル
８３０ バイナリ加重値
８４０ 中間アクティベーション
８５０ 個数Ｔ
８６０ 平均値Ｓ_ｍ
８７０ 出力アクティベーションＯ_Ｍ
９００，１３００ ニューラルネットワーク装置
９１０ 外部入力装置
９２０，１０２０，１３２０ メモリ
９３０，１０３０ 時間ドメインバイナリベクトル生成部
９４０ コンボリューション演算部
９５０，１０５０ ニューラル演算部
１０００，１４００ ニューロモルフィック装置
１０１０ 入力受信部
１０４０，１４２０ オンチップメモリ
１０４１ 入力部
１０４３ 出力部
１３１０，１４１０ プロセッサ
１４３０ 外部メモリ

Claims (18)

1. ニューラルネットワークを具現化するニューラルモルフィック装置であって、
   少なくとも１つのプログラムが保存されたメモリと、
   クロスバーアレイ回路を含むオンチップメモリと、
   前記少なくとも１つのプログラムを実行することにより、ニューラルネットワークを駆動する少なくとも１つのプロセッサと、を含み、
   前記少なくとも１つのプロセッサは、
   初期重み値の最大値および最小値に基づいて、前記初期重み値から変換されたバイナリ加重値を、前記クロスバーアレイ回路に含まれるシナプス回路に保存し、
   前記メモリから入力フィーチャマップを獲得し、
   前記入力フィーチャマップのアクティベーションそれぞれが、Ｎ個の量子化レベルのうちいずれの量子化レベルに属するかに基づき、前記アクティベーションそれぞれを、正のエレメントおよび負のエレメントの少なくとも一方を含むエレメントのシーケンスとして表現する時間ドメインバイナリベクトルに変換し（Ｎは自然数）、
   前記時間ドメインバイナリベクトルを、前記クロスバーアレイ回路の入力値として提供し、
   前記バイナリ加重値と前記時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力する、
   ニューラルモルフィック装置。
2. 前記少なくとも１つのプロセッサは、
   前記コンボリューション演算結果に対してバッチ正規化を行うことにより、出力フィーチャマップを出力する、
   請求項１に記載のニューラルモルフィック装置。
3. 前記少なくとも１つのプロセッサは、
   前記バッチ正規化の初期スケール値に対し、初期加重値の絶対値の平均値を乗じ、前記時間ドメインバイナリベクトルそれぞれに含まれたエレメントの個数で除することにより、修正スケール値を算出し、
   前記修正スケール値に基づき、前記バッチ正規化を行う、
   請求項２に記載のニューラルモルフィック装置。
4. 前記少なくとも１つのプロセッサは、
   前記ニューラルネットワークに入力可能な最大値と最小値との範囲をＮ個の量子化レベルに区分する（Ｎは自然数）、
   請求項１に記載のニューラルモルフィック装置。
5. 前記少なくとも１つのプロセッサは、
   前記ニューラルネットワークに入力可能な最大値と最小値との範囲を、非線形的な量子化レベルに区分する、
   請求項４に記載のニューラルモルフィック装置。
6. 前記少なくとも１つのプロセッサは、
   前記ニューラルネットワークに適用されるバイアス値それぞれに、前記初期スケール値を乗じる乗算演算を行い、
   前記乗算演算結果を前記出力フィーチャマップに反映させる、
   請求項３に記載のニューラルモルフィック装置。
7. 前記少なくとも１つのプロセッサは、
   前記コンボリューション演算結果に対して前記バッチ正規化を行い、
   前記バッチ正規化の遂行結果について活性化関数を適用することにより、出力フィーチャマップを出力する、
   請求項３に記載のニューラルモルフィック装置。
8. ニューラルネットワークを具現化するニューラルネットワーク装置であって、
   少なくとも１つのプログラムが保存されたメモリと、
   前記少なくとも１つのプログラムを実行することにより、ニューラルネットワークを駆動する少なくとも１つのプロセッサと、を含み、
   前記少なくとも１つのプロセッサは、
   初期重み値の最大値および最小値に基づいて、前記初期重み値から変換されたバイナリ加重値及び入力フィーチャマップを前記メモリから獲得し、
   前記入力フィーチャマップのアクティベーションそれぞれが、Ｎ個の量子化レベルのうちいずれの量子化レベルに属するかに基づき、前記アクティベーションそれぞれを、正のエレメントおよび負のエレメントの少なくとも一方を含むエレメントのシーケンスとして表現する時間ドメインバイナリベクトルに変換し（Ｎは自然数）、
   前記バイナリ加重値と前記時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力する、
   ニューラルネットワーク装置。
9. 前記少なくとも１つのプロセッサは、
   前記コンボリューション演算結果に対してバッチ正規化を行うことにより、出力フィーチャマップを出力する、
   請求項８に記載のニューラルネットワーク装置。
10. 前記少なくとも１つのプロセッサは、
    前記バッチ正規化の初期スケール値に対して、初期加重値の絶対値の平均値を乗じ、前記時間ドメインバイナリベクトルそれぞれに含まれたエレメントの個数で除することにより、修正スケール値を算出し、
    前記修正スケール値に基づき、前記バッチ正規化を行う、
    請求項９に記載のニューラルネットワーク装置。
11. 前記少なくとも１つのプロセッサは、
    前記ニューラルネットワークに入力可能な最大値と最小値との範囲をＮ個の量子化レベルに区分する（Ｎは自然数）、
    請求項８に記載のニューラルネットワーク装置。
12. 前記少なくとも１つのプロセッサは、
    前記ニューラルネットワークに入力可能な最大値と最小値との範囲を、非線形的な量子化レベルに区分する、
    請求項１１に記載のニューラルネットワーク装置。
13. 前記少なくとも１つのプロセッサは、
    前記ニューラルネットワークに適用されるバイアス値それぞれに、前記初期スケール値を乗じる乗算演算を行い、
    前記乗算演算結果を前記出力フィーチャマップに反映させる、
    請求項１０に記載のニューラルネットワーク装置。
14. 前記少なくとも１つのプロセッサは、
    前記コンボリューション演算結果に対して前記バッチ正規化を行い、前記バッチ正規化の遂行結果について活性化関数を適用することにより、出力フィーチャマップを出力する、
    請求項１０に記載のニューラルネットワーク装置。
15. ニューラルモルフィック装置において、ニューラルネットワークを具現化する方法であって、
    前記ニューラルモルフィック装置に備えられたプロセッサの制御下で、初期重み値の最大値および最小値に基づいて、前記初期重み値から変換されたバイナリ加重値をクロスバーアレイ回路に含まれるシナプス回路に保存する段階と、
    前記プロセッサで、メモリから入力フィーチャマップを獲得する段階と、
    前記プロセッサの制御下で、前記入力フィーチャマップのアクティベーションそれぞれが、Ｎ個の量子化レベルのうちいずれの量子化レベルに属するかに基づき、前記アクティベーションそれぞれを、正のエレメントおよび負のエレメントの少なくとも一方を含むエレメントのシーケンスとして表現する時間ドメインバイナリベクトルに変換する段階と（Ｎは自然数）、
    前記プロセッサの制御下で、前記時間ドメインバイナリベクトルを、前記クロスバーアレイ回路の入力値として提供する段階と、
    前記プロセッサの制御下で、前記バイナリ加重値と前記時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力する段階と、
    を含む、方法。
16. ニューラルネットワーク装置において、ニューラルネットワークを具現化する方法であって、
    前記ニューラルネットワーク装置に備えられたプロセッサの制御下で、初期重み値の最大値および最小値に基づいて、前記初期重み値から変換されたバイナリ加重値及び入力フィーチャマップをメモリから獲得する段階と、
    前記プロセッサの制御下で、前記入力フィーチャマップのアクティベーションそれぞれが、Ｎ個の量子化レベルのうちいずれの量子化レベルに属するかに基づき、前記アクティベーションそれぞれを、正のエレメントおよび負のエレメントの少なくとも一方を含むエレメントのシーケンスとして表現する時間ドメインバイナリベクトルに変換する段階と（Ｎは自然数）、
    前記プロセッサの制御下で、前記バイナリ加重値と前記時間ドメインバイナリベクトルとのコンボリューション演算を行うことにより、出力フィーチャマップを出力する段階と、
    を含む、方法。
17. プログラムを記録したコンピュータで読み取り可能な記録媒体であって、
    前記コンピュータのプロセッサにより前記プログラムが実行されると、請求項１５に記載の方法を前記コンピュータに実施させる、
    コンピュータで読み取り可能な記録媒体。
18. プログラムを記録したコンピュータで読み取り可能な記録媒体であって、
    前記コンピュータのプロセッサにより前記プログラムが実行されると、請求項１６に記載の方法を前記コンピュータにじっしさせる、
    コンピュータで読み取り可能な記録媒体。