JPH087789B2 - パターン連想記憶方法および装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、音声や画像のようなパターン情報の識別処
理において基本パターンを記憶し、記憶したパターンの
中から識別の対象となるパターンに最も類似するパター
ンを想起するパターン連想記憶システムに関する。さら
には、曖昧さの入ったパターン情報あるいは曖昧さの入
る状況において作成されたパターン情報の想起に好適な
パターン連想記憶システムに関する。

〔従来の技術〕

従来のこの種のパターン連想記憶方法としては、コホ
ーネンの一連の連想記憶方法が知られている。さらに中
野や甘利等の研究により次のようなパターン連想記憶方
法が知られている。

最も基本的なパターン連想記憶方法として相関型連想
記憶方法について説明する。この連想記憶方法の連想機
能の基本的特徴は識別の対象となるパターン信号の入力
から識別結果のパターン信号の出力までの信号処理プロ
セスにおいて、信号を伝達する結線の伝達効率を、予め
相関学習により調整しておくことにある。

このような相関型記憶方法では、予め基本のパターン
として学習し記憶できるパターンの種類や数は限られて
おり、たとえば、識別対象のパターン入力の次元がｎで
あれば、学習し、記憶できるパターンは線型独立なｎ個
以内のパターンに限られる。さらに、識別対象の入力パ
ターンに不完全さがあるとき、たとえば、入力信号の一
部が欠落したとき、またはエラー信号が入力信号に混入
したときは連想記憶装置内でクロストークエラーを引き
起こすことが知られている。

他の基本的な連想記憶方法としては直交学習型記憶方
法が知られている。直交学習型連想記憶方法は、入力パ
ターンの直交化により上記の相関型連想記憶方法の欠点
を改良した方法である。この方法では、一次独立なｎ個
以内のパターンを記憶し想起できるように改善されてい
る。しかし、入力パターンの不完全さが大きくなるほ
ど、クロストークエラーも大きくなる。

以上に述べたように、相関型記憶方法および直交学習
型の記憶方法のいずれも、入力パターンの不完全度が大
きくなると、自己連想機能が働かなくなる。換言する
と、ノイズの除去能力に限界があるので、入力パターン
の不完全さが小さい時だけ完全なパターン連想記憶を行
うことができる。上記方法を適用した装置では想起結果
として出力された出力信号を再び入力信号としてフィー
ドバックするフィードバックループを有する装置も知ら
れているがフィードバック処理がかならずしもノイズの
除去に有効とは限らなかった。

この他に、以上の方法とは構成や原理の異なる方法と
して、ホップフィールドやボルツマン型の連想記憶方法
が知られているが、確率的動作を基盤としているために
連想記憶のための計算量が厖大であったり、学習したパ
ターン以外のパターンに想起結果が収束する可能性があ
った。このため、実用的なシステムを構成することが困
難であるという問題がある。

〔発明が解決しようとする課題〕

以上、述べたように従来のパターン連想記憶方法で
は、パターンの学習／記憶能力が貧弱で類似学習パター
ンを弁別して学習することが難しい。特に一つの学習パ
ターンにもう一つのパターンが完全に含まれてしまうよ
うな全体−部分パターンなどの難しい学習ができない。
さらに、従来のパターン連想記憶方法は連想能力も貧弱
であり、出力活動の小さい入力（例えば、ゼロ入力）が
扱えない。入力パターンの不完全さすなわち入力の一部
の欠落、またはエラー混入入力があるとき、従来のパタ
ーン連想記憶装置はクロストークエラーを引き起こす。
その結果、従来のパターン連想記憶装置は学習パターン
以外のパターンを連想するので、装置の連想機能が正常
に働かなくなるという重大な問題点があった。

ここで、従来の最も基本的なパターン連想記憶方式で
ある相関型の連想記憶方法により得られた連想結果の一
例を第13図に示す。

図においてx₁,x₂は入力素子を表わし、y₁,y₂は出力素
子を表わしている。２つの活動値の入力信号のそれぞれ
が“0",“1"の２値のいずれかであるとすると、入力パ
ターン（x₁,x₂）の種類は（0,0），（1,0），（0,1），
（1,1）の４種類となる。この４つの入力パターンのう
ち、相関学習で最大限学習できる入力パターンの組み合
せは独立な２つの入力パターン例えば、｛（1,0），
（0,1）｝だけである。この２つの入力パターンを相関
型の記憶装置に相関学習させた後、連想の対象として入
力する信号の入力値と、出力値の変化を第13図は示して
いる。また学習を行っていないパターン（0,0）や（1,
1）の方向へ入力信号が変化することも第13図は示して
いる。すなわち、相関型の連想記憶方法では連想対象の
入力パターンのうちの一部だけが学習パターンに正しく
変換出力され、他の部分は学習パターンとは無関係なパ
ターンに変換出力される。

このことから、相関型の連想記憶方法は不完全な入力
から完全な連想を行うことが非常に困難であることが明
らかである。

そこで、本発明の第１目的は従来よりも多数のパター
ンを学習することが可能でかつ、連想の対象の入力パタ
ーンが不完全であっても学習記憶したパターンに変換す
ることができるパターン連想記憶方法を提供することに
ある。

本発明の第２目的は操作者の操作労力を低減すること
ができるパターン連想記憶装置を提供することにある。

〔課題を解決するための手段〕

このような目的を達成するために、本発明の第１形態
は、少なくとも情報信号を入力する一団の入力素子群、
当該入力素子群と同じ個数で、かつ、それぞれが予め定
められた信号レベル変換特性を有する一団の出力素子群
および前記入力素子群と前記出力素子群との間をニュー
ラルネットワークの形態で結合した複数の結合線を備
え、前記伝達効率を可変設定する誤差訂正回路を有する
パターン連想記憶装置のパターン連想記憶方法におい
て、学習を行なうときには、前記入力素子群に学習目標
のパターン信号を入力し、前記出力素子群の出力誤差を
前記入力素子群に対してバックプロパゲーションさせて
学習を行うバックプロパゲーション学習方法を用いて、
当該入力された複数のパターン信号と前記出力素子群か
ら出力される複数の出力信号とがほぼ同一レベルとなる
ように前記複数の出力信号の前記入力素子群へのフィー
ドバックを行なわず前記複数の結合線の各伝達効率の値
を可変設定することにより、前記複数のパターン信号が
示すパターンを学習結果として前記誤差訂正回路内に記
憶し、想起を行うときには、学習で設定された伝達効率
を用い、想起の基本となるパターン信号を前記入力素子
群に入力した後、前記出力素子群から出力される出力素
子群を前記入力素子群にフィードバック入力し、収束状
態となった前記出力信号を、前記想起の基本となるパタ
ーン信号に対する想起結果とすることを特徴とする。

本発明の第２形態は、前記伝達効率の値と共に前記出
力素子群の各信号レベル変換特性のバイアスの値を可変
設定することを特徴とする。

本発明の第３形態は、想起の基本となるパターン信号
を入力する入力素子群、当該入力素子群と同じ個数で、
かつ、それぞれが予め定められた信号レベル変換特性を
有する一団の出力素子群および前記入力素子群と前記出
力素子群との間をニューラルネットワークの形態で結合
した複数の結合線を備え、前記複数の結合線の伝達効率
の値により連想結果として用いる少なくとも１組以上の
パターン信号を予め記憶し、前記想起の基本となるパタ
ーン信号のレベル値を前記１組以上のパターン信号の中
の最も類似するパターン信号のレベルに近付けるための
誤差訂正手段と、該誤差訂正手段の前記出力素子群から
出力される複数の出力信号を前記入力素子群にフィード
バック入力するための信号線と、学習記憶モード時に
は、前記誤差訂正手段の前記出力素子群から出力される
複数の出力信号のフィードバック入力を阻止し、想起モ
ード時には、当該フィードバック入力を行なうように前
記信号線を切換接続する信号線切換手段と、を具えたこ
とを特徴とする。

本発明の第４形態は、前記誤差訂正手段は前記入力素
子群と前記出力素子群との間に予め定められた信号レベ
ル変換特性を有する少くとも１以上の中間素子群を備
え、前記入力素子群、前記中間素子群および出力素子群
はニューラルネットワークの形態で結合されることを特
徴とする。

本発明の第５形態は、前記学習記憶モードにおいて、
前記入力素子群に入力された前記想起の基本となるパタ
ーン信号のレベル値と前記出力素子群から出力されるパ
ターンのレベル値とがほぼ同一となるように、少くとも
前記複数の結合線の伝達効率の値を記憶条件として設定
する記憶条件設定手段を具えたことを特徴とする。

本発明の第６形態は、前記記憶条件設定手段はバック
プロパゲーション方法により、前記伝達効率の修正値を
定めることを特徴とする。

本発明の第７形態は、前記誤差訂正手段の前記出力素
子群の出力信号のレベル値が変化しているか否かを判定
する判定手段と、該判定手段の判定結果が否定判定とな
ったときに、想起処理の終了を表示する表示手段とを具
えたことを特徴とする。

［作用］ 本発明の第１形態、第３形態では想起時にのみ出力素
子群の出力信号を入力素子群へフィードバック入力す
る。これにより、フィードバック系のない従来の連想記
憶装置に比べると、想起精度が高まる。また、学習およ
び想起モード共にフィードバック処理する従来例に比べ
ると、想起精度を落とすことなく、学習処理時間が短縮
される。

本発明の第２形態では、第１形態に加えて、出力素子
群の信号レベル変換特性のバイアスをも可変設定するよ
うにしたので、パターン信号を記憶するときに、入力信
号と出力信号のレベル値を完全に一致させることがで
き、以て、誤差訂正回路のパターン信号の記憶精度を高
めることができる。

本発明の第４形態では、さらに中間素子を有している
ので、想起精度が高まる。

本発明の第５形態では、パターン信号の学習結果が結
合線の伝達効率の形態で記憶されるので、想起時にはこ
の伝達効率を用いて、直ちに連想処理を行なうことがで
きる。

本発明の第６形態では、バックプロパゲーション方法
により伝達効率の修正値を定めるので、一定の修正値で
伝達効率の値を修正するよりも、伝達効率を設定するま
での計算処理時間を速くすることができる。

本発明の第７形態では、誤差訂正回路の出力信号のレ
ベル値が収束したときは、そのレベル値が変化しないこ
とに着目し、判定手段によりレベル値を監視して、表示
手段により想起処理の終了を表示するようにしたので、
操作者自身が出力信号のレベル値を監視する必要はな
い。

〔実施例〕

第１図は本発明第１実施例の基本的な回路構成を示
す。第１図において、符号X_i（ｉ＝1,2,…ｍ）は入力層
Ｘを構成する一団の素子群を意味する。符号Y_j（ｊ＝1,
2,…ｍ′）は、出力層Ｙを構成する一団の素子群を意味
する。同様に符号M_k（ｋ＝1,2,…ｎ），N_p（ｐ＝1,2,…
ｎ′）は入力層Ｘと出力層Ｙの間に存在する中間層M,N
をそれぞれ構成する素子群である。入力層Ｘと中間層M,
Nとの間および入力層Ｘと出力層Ｙとの間は結合線群に
より結合される。中間層Ｍと中間層Ｎとの間、中間層Ｍ
および中間層Ｍと出力層Ｙとの間は結合線群により結合
される。中間層Ｎと出力層Ｙとの間も結合線群により結
合される。このようにして前層の全ての素子と後層の全
ての素子との間はニューラルネットワークの形態で複数
の結合線群で結合される。また、各素子はバイアス活動
値θを持っている。さらに、出力層Ｙから入力層Ｘへの
フィードバック結線が設けられている。入力素子X_iへの
実際の入力信号は、外部入力信号I_iまたは出力フィード
バック信号Y_iのいずれかの信号となり、入力信号の選択
をスイッチ素子S_iより行う。

各素子の基本的動作を次に説明する。いま素子ＡがＫ
個の入力素子B_i（ｉ＝1,2,…ｋ）から入力活動b_iを受け
るものとする。入力素子B_iと素子Ａとの結合の伝達効率
がw_iであり、素子Ａのバイアスがθであったとすると、
その素子Ａの出力活動度ａは次式で決められる。

ここで、ｆは出力関数と呼ばれ、通常シグモイド関数
やロジスティック関数が使われる。複数の信号で構成さ
れる１つの入力パターンが与えられると、入力層から出
力層に向って各素子により上式の出力活動度の計算が行
われ、最終的に１ステップの出力パターンが出力層から
出力される。なお、入力パターンを学習記憶するときに
伝達効率w_iやバイアスθの値は、入力層に与えられた学
習対象のパターンと同じパターンを出力層に出すよう
に、バックプロパゲーションと呼ばれる学習方法あるい
はそれと同等な学習方法により決定される。

バックプロパゲーション学習法は、甘利により提唱さ
れ、ルウメルハルト（Rumelhart）により最近再発見さ
れた層状の多層学習回路の学習法である。以下にバック
プロパゲーション学習法の概略を説明する。

いま、学習対象の入力パターンPIが入力層Ｘに与えら
れ、素子の活動により各層の活動度が次々に計算され、
出力層Ｙの出力素子Y_j（ｊ＝1,2,…,m′）の出力値が計
算されていると仮定する。また、学習させたい学習目標
出力パターンをPO（PO_j（ｊ＝1,2,…,m′））とする。

バックプロパゲーション学習では、出力パターンＹを
学習目標POに近づけるために、２つのパターンの各要素
についての最小自乗誤差を０に近づける。このために、
次のように結合の伝達効率の変更を行う。

先ほど述べた素子Ａが出力素子Y_jで、その出力活動度
がy_i，学習目標出力がpo_jであったとする。結合の修正
量ΔW_iは次式で決められる。

ΔW_i＝−ε×d_j×b_i d_j＝（y_j−po_j）×y_j×（１−y_j） ここで、d_jは誤差の評価量である。また、εは１回の
修正の大きさを決めるパラメータで、小さな正の定数で
ある。b_jは、伝達効率w_iの結合線と結合した前層素子の
活動度である。

バイアス値θの修正もW_iの修正とまったく同様であ
り、仮想的な入力ｂの大きさが１の場合に相当する。

Δθ＝−ε×d_j d_j＝（y_j−po_j）×y_j×（１−y_j） 中間層M,Nの素子（Ａとする）についても、既に求め
た後層の誤差d_kを後ろから前に伝搬することにより、結
合の修正量ΔW_i，Δθを上式と同様に下記の式により計
算できる。

ΔW_i＝−ε×ｄ×b_i Δθ＝−ε×ｄ ｄ＝（ΣW_k×d_k）×ａ×（１−ａ） ｄを求める式の中で、Σは、素子Ａが結合している後
層の素子の誤差d_kとそこへの結合の伝達効率w_kとの積を
すべて加算することを表わす。

学習記憶モードでは学習記憶させるべきパターンにつ
いて後層から前層に向って順に伝達効率を修正すること
により上記のバックプロパゲーションの学習をさせる入
力パターンの想起モードではこの学習の結果得られた結
合の伝達効率とバイアスが各素子毎に設定される。

想起モードでは、不完全入力を受けて出力層の出力値
y_jを計算してから、出力値y_iを入力値x_iにフィードバッ
クした後、上述の出力活動の計算を繰り返す。バックプ
ロパゲーションに基づく誤差訂正学習アルゴリズムによ
り入力パターンから学習パターンを弁別するように誤差
訂正回路を調整および構成してあるので、フィードバッ
クループにより入力されるパターンが誤差訂正回路を通
過する度に入力パターンは弁別され、出力されるパター
ンは上述の学習記憶モードで記憶した学習パターンの１
つへ収束して行く。

つぎに、２入力の２層でパターン連想記憶を行う回路
の構成を第２図に示す。この例では、入力層，出力層の
素子の数がおのおの２個で中間層は省いている。

図中、符号X₁,X₂は入力素子を表わし、本例では端子
が用いられる。符号Y₁,Y₂は出力素子を表わし、後述の
出力活動を計算する演算器が用いられる。符号I₁,I₂は
入力信号、符号S₁,S₂は出力からのフィードバックと入
力信号を切り替えるスイッチを表わしている。入力素子
X₁,X₂と出力素子Y₁,Y₂の間はニューラルネットワークの
形態で結合線14,15,16,17により接続される。結合線の
それぞれには所定の伝達効率を有する可変抵抗器14,15,
16,17が設けられている。可変抵抗器14,15,16,17の伝達
効率はボリューム21,22,23,24の抵抗値の調整により決
定される。なお、伝達効率は上流側から下流側に電流が
流れるときは正の値、逆の場合を負の値とする。符号20
はモードスイッチであり、切換えスイッチS₁,S₂の信号
切換えを指示する。

符号25,26は入力信号のレベル検出、たとえば、電圧
を測定する計測器である。符号27,28は出力信号のレベ
ル検出を行う計測器である。オペレータは、計測器25,2
6,27,28の計測値を比較することにより、入力パターン
と出力パターンが一致しているか否かの判定および出力
パターンが収束しているかの判定を行う。

入力信号が“0",“1"の２値であるとすると、記憶可
能な入力パターン（x₁,x₂）は（0,0），（1,0），（0,
1），（1,1）の４種類ある。ここで行いたい連想学習
は、４つの入力パターンをそれぞれ入力したときに、そ
れぞれの入力パターンと同じ出力パターンを得ることで
あるので、この４種類のパターンを順次、切り換えスイ
ッチS₁,S₂を介して入力素子X₁,X₂に入力し、それぞれの
入力パターンと対応の出力パターンが同じとなるように
ボリューム21,22,23,24により結合線の伝達効率を変化
させ、バックプロパゲーション法で入力パターンを学習
記憶させる。第２図中に４つの学習パターン｛（0,
0），（1,0），（0,1），（1,1）｝を学習した後の結合
の伝達効率と各素子のバイアス値の一例が示されてい
る。上記学習パターンは、線形独立でも、一次独立でな
くてもよいので、従って今までのパターン連想記憶方式
では学習および記憶すらできなかったパターンを本発明
では学習記憶できることに注意されたい。

ここで、第３図（第４図，第５図および第13図でも同
様）での図の読み方を説明する。入力がx₁とx₂の２次元
であり、入力x₁および入力x₂のそれぞれが取りうる値が
“0"から“1"までの値とすると、存在可能な全ての入力
は第３図に示すような状態空間として表現できる。同様
に存在可能なすべての出力も第３図に示すように重ね書
きすることができる。第３図において入力状態空間を0.
05間隔のメッシュで入力値を示し、入力層に入力信号を
受けた回路が、出力層に出す出力の値を□記号で示して
いる。また、入力信号の入力値が出力状態空間のどの値
へ移動するかも第３図に示されている。出力（y₁,y₂）
が入力（x₁,x₂）にフィードバックされる状態では出力
（y₁,y₂）のレベル値が次回の入力（x₁,x₂）の入力値と
なり、上述の入力値から出力値への移動が繰り返され、
出力値は特定の値に収束する。したがって第３図により
第２図の誤差訂正回路50の収束等の現象を視覚的にみる
ことができる。

次に、第２図に示す誤差訂正回路50の入力信号の誤差
訂正の過程を説明する。入力の初期値（X₁,X₂）が例え
ば（0.4,0.6）といった学習パターンにない中途半端な
パターンとして誤差訂正回路50に入力したとする。この
入力値を上記回路が計算すると、出力値は第３図に示さ
れているように（0.345,0.701）となる。想起モードで
あるので、フィードバック信号を入力素子X₁,X₂に入力
するようにモードスイッチ20を切り替える。出力Y₁を入
力X₁に、出力Y₂を入力X₂にフィードバックすると、出力
パターンは（0.257,0.832）→（0.150,0.929）→（0.07
4,0.964）と変化し、順次（0,1）の学習パターンに近づ
いて行く。ただし、学習も完全でないので、完全な（0,
1）に収束するわけではない。

誤差訂正回路50にどのような値の連想対象のパターン
入力があっても、連想対象のパターンは学習した学習パ
ターン（0,0），（1,0），（0,1），（1,1）のどれに一
番近いかを誤差訂正回路50がフィードバック計算するの
で、出力パターンは４つのパターンのいずれか一つに必
ず収束する。このようにどのような入力値に対しても正
しい連想出力を出せることを第３図は示している。本例
の場合、入力パターンがどの学習パターンに近いかを判
断するための第３図の４つの分割領域は、おおよそｘ＝
0.5,x₂＝0.5で分割される領域である。

このような分割領域は、学習パターン群の信号構成や
各パターンの学習の頻度に応じて変化する。

第４図は、第２図と同様な回路が２つのパターン
｛（0,1），（1,0）｝を学習したときの、入力信号のレ
ベル値に対する１回の計算による出力値の変化を示す。
第４図からも、連想対象の入力パターンが学習したパタ
ーンに近い出力パターンに変化することが分かる。ま
た、第４図から出力パターンの分布が入出力空間を２つ
の分割領域に分割することが分かる。上記分割領域の分
割線は、おおよそx₁＝x₂の式で表わされる。本例と同一
の条件で行った第13図の従来型の連想記憶の出力結果と
異なり、正しい想起を行うことは明らかである。

第５図には、第２図の誤差訂正回路50に中間層を１つ
付加した、２入力の３層の多層のパターン連想記憶装置
の動作例を示す。中間層を構成する中間素子は出力素子
と同じ素子が用いられる。この例の多層パターン連想記
憶装置では、中間層は一層だけで、入力層、中間層、出
力層の素子がおのおの２個、入力層から出力層への直接
結合はない。なお、予め学習記憶させる学習パターンに
は｛（0,0），（1,0），（0,1），（1,1）｝を用いた。
第３図に示す入力層および出力層の２層のパターン連想
記憶装置と同じように、多層のパターン連想記憶装置も
必ず学習パターンに近い出力パターンを出力するように
振舞うことが示されている。一般に多層のパターン連想
では、より複雑な学習パターンの学習が可能であること
から、入力の次元が大きくなったときは、誤差訂正回路
を多層構造にするとよい。

次に、本発明実施例を応用した実施例について述べ
る。本実施例において、パターンの一部として取扱う数
字のシンボルとしては、｛one,two,three,four,five,si
x,seven,eight,nine｝のアルファベットの文字列を用い
る。この文字列は学習記憶モードにおいてアスキー（AS
C）IIコード形態の信号でパターン連想記憶装置の入力
層の素子X₁からX₄₀に入力される。さらに素子X₄₁かX₆₅
に５ドット×５ドットのドット信号で表現される文字画
像パターン｛1,2,3,4,5,6,7,8,9｝が入力される。この
後、文字列パターンと文字画像パターンをペアとした学
習対象のパターンすなわち、｛（one,1），（two,2），
…（nine,9）｝がバックプロパゲーション法で誤差訂正
回路内に学習記憶される。

第６図は、数字sixの文字列および文字画像のパター
ンが入力されたときに、文字画像パターン、数字６の文
字列が３サイクルのフィードバックで確定していく様子
を示す。第６図によれば、例えば、ノイズにより文字画
像パターンの一部が変形したり、文字コード列の一部が
他のコードに変形しても、誤差訂正回路のフィードバッ
ク処理によりノイズのない正しいパターンが想起されて
行くことが判る。

本実施例のパターン連想記憶装置では、入力パターン
と出力パターンの誤差を訂正する学習記憶と、フィード
バック処理を行う想起活動とが行なわれるので、自律性
記憶の原理に基づいて記憶されたパターンの想起力は強
く、たとえば、文字列“one"の一部である文字“0"だけ
を想起対象のパターンとして入力しても学習記憶した文
字パターンおよび文字列の両方を想起することができ
る。さらに、文字列“one"に対する文字画像パターンを
２種類誤差訂正回路に学習記憶させた後、複数の文字画
像パターンの中の１つを選択的に想起することもでき
る。この場合出力パターンが所望でないときは、文字列
“one"を固定しておいて、いま連想された文字パターン
を否定するために、たとえばある１つの出力要素の値が
“1"であれば、この出力要素の値を“−1"に置換して、
フィードバック処理を行うと他の候補であった文字パタ
ーンが想起される。

以上説明したように、本発明第１実施例におけるパタ
ーン連想記憶方法は、あらゆるパターンを記憶できると
いう学習記憶特性と想起の精度が高いという想起特性を
有するので、従来のパターン連想記憶方法にないこの特
徴を活用することにより、例えば、曖昧な情報を正しい
情報に変換したり、単語のスペルをチェックするなどの
処理など多種の情報処理に本発明を適用することが可能
となる。

本発明の第１実施例は手動操作により誤差訂正回路の
伝達効率を設定する例であった。次に、上記伝達効率を
自動的に設定することができる第２実施例を説明する。

第７図は本発明第２実施例の回路構成を示す。

第７図において符号200は誤差訂正回路であり、連想
の対象となる一つのパターンを入力し、このパターンに
最も近い基本パターンを出力する。誤差訂正回路200は
第１図に示す回路構成と同様の構成とすることができる
ので、詳細な説明を省略する。

符号201は切り換え装置であり、複数のフィードバッ
ク信号206と複数の入力信号204とを選択的に誤差訂正回
路200に入力する。切り換え装置201に対する切換え指示
信号は、モードスイッチ202又は、ホストコンピュータ2
20のいずれか一方から出力される。

符号210はインターフェースであり、誤差訂正回路200
に入力される複数の入力信号のおのおののレベル値、た
とえば、電圧値をデジタル値に変換した後にこのデジタ
ル形態のレベル値をホストコンピュータ220に転送す
る。インターフェース210はホストコンピュータ220から
送信された上記切換指示信号を切り換え装置201の動作
レベルにレベル変換する。

符号211はインターフェースであり、ホストコンピュ
ータ220により指示される伝達効率情報、たとえば、抵
抗値、を誤差修正回路200に転送する。誤差修正回路200
内の結合線上に設けられた複数の可変抵抗（第２図参
照）の抵抗値が上記伝達効率情報により定められる。

符号212はインターフェースであり、誤差修正回路200
の複数の出力信号のおのおののレベル値をデジタル値に
変換した後に、デジタル形態のレベル値をホストコンピ
ュータ220へ転送する。

符号213はプログラム言語の命令形態で学習モードお
よび想起モードをホストコンピュータ220に指示入力す
るためのキーボードである。

ホストコンピュータ220は装置全体の動作を制御す
る。またホストコンピュータ220は、学習モードにおい
ては誤差訂正回路200の伝達効率を計算し、計算結果を
メモリ装置214に記憶する。ホストコンピュータ220は、
想起モードにおいては、出力信号のレベルを監視するこ
とにより出力信号が収束したか否かを判定する。この出
力信号が収束したときは、連想処理が終了した旨のメッ
セージが、ホストコンピュータ220の指示により表示装
置215に表示される。インターフェース210-212,キーボ
ード213,メモリ装置214,表示装置215およびホストコン
ピュータ220はバス216に共通接続されている。

本発明第２実施例の動作を第８図および第９図のフロ
ーチャートを参照して説明する。第８図は、学習モード
においてホストコンピュータ220が実行する制御手順を
示し、第９図は想起モードにおいてホストコンピュータ
220が実行する制御手順を示す。

オペレータがキーボード213から学習モードを指示入
力すると、ホストコンピュータ220は、伝達効率の計算
に用いるパラメータを、予め定めた初期値に設定し、誤
差訂正回路200には伝達効率の初期値を与える（ステッ
プS1→ステップS2）。

次に、ホストコンピュータ220は切換え指示信号を切
換え装置201に送信し、入力信号204側に接続を切換えた
後、学習すべきパターンを示す入力信号204を、切換え
装置201→インターフェース210の経由で受信する（ステ
ップS3）。

学習すべき入力信号204は誤差訂正回路200にも入力さ
れる。この入力信号204は、学習の間外部装置、例え
ば、画像処理装置，音声処理装置から保持出力されてい
るものとする。

続いて、ホストコンピュータ220はインターフェース2
12を介して、誤差訂正回路200からの出力信号205を受信
する（ステップS4）。

次に、入力信号204の各レベル値と入力信号204の各信
号と対応する出力信号205の各レベル値が一致するか否
か、すなわち、入力パターンと出力パターンが一致する
か否かがホストコンピュータ220で判定される。

入力パターンと出力パターンとが一致しないときは、
現在、設定されている伝達効率（抵抗値）に一定値を加
算又は減算することにより現在の伝達効率が修正され
る。なお、修正値として上述のプロパゲーション手法に
より定まる修正値を用いると学習処理時間が短縮化され
る。

この修正された伝達効率が誤差訂正回路200に指示さ
れる（ステップS6）。誤差訂正回路200内の可変抵抗の
抵抗値が指示された伝達効率の抵抗値に設定されると、
誤差訂正回路200は新たに設定された伝達効率で、入力
信号204をレベル変換する。

ホストコンピュータ220は入力信号204と新たに出力さ
れた出力信号205のパターン比較を行う（ステップS3→
ステップS4→ステップS5）。

入力パターンと出力パターンが一致しないときは、誤
差訂正回路200の伝達効率を修正する（ステップS6）。
以下、上述のステップS3からステップS6の手順を、入力
パターンと出力パターンが一致するまで繰り返す。

入力パターンと出力パターンがある定めた精度内で一
致したときは、ホストコンピュータ220は現在設定され
ている伝達効率をメモリ装置214に記憶した後、学習終
了の旨のメッセージを表示装置215に表示して本制御手
順を終了する（ステップS5→ステップS7）。

次に、想起処理について説明する。キーボード213か
ら想起モードが指示されると、ホストコンピュータ220
は第９図の制御手順を実行する。この制御手順により最
初に、学習モードにおいて設定された伝達効率がメモリ
装置214から読み出される。次に、読み出された伝達効
率と同じ値となるように誤差訂正回路200の伝達効率が
ホストコンピュータ220により設定される（ステップS1
1）。

次に、ホストコンピュータ220は切換え装置201に入力
信号の入力のための切換指示信号を送信する。この結
果、想起対象の入力信号204が誤差訂正回路200に入力さ
れる（ステップS3）。誤差訂正回路200の出力レベルが
変化で第１回目の誤差訂正回路200の計算が終了したこ
とをホストコンピュータ220が検知すると、ホストコン
ピュータ220は、切換え装置201の接続を切り替えるため
に切換え指示信号を送出する。この結果、フィードバッ
ク信号206が誤差訂正回路200に入力されるので、誤差訂
正回路200は、動作停止の指示があるまで連想のための
誤差訂正計算を繰り返し実行する。

ホストコンピュータ220は誤差訂正回路200の出力信号
205を一定時間間隔でサンプリングする（ステップS1
4）。

ホストコンピュータ220は出力信号205をサンプリング
する毎に、今回サンプリングした出力信号205のレベル
値と、前回サンプリングした出力信号205のレベル値と
を比較する（ステップS15）。

今回および前回のレベル値がほぼ一致したときは、ホ
ストコンピュータ220は出力信号205が収束したと判断
し、その旨のメッセージと連想結果とを表示装置215に
表示して本制御手順を終了する（ステップS5→ステップ
S7）。

一方、今回および前回のレベル値が一致していないと
きは、手順はステップS14に戻り、ホストコンピュータ2
20は出力信号205のサンプリングを続ける。

オペレータは表示装置215に表示されたメッセージに
より連想処理の終了とその結果を知ることができるの
で、出力信号の205のレベルを、電圧計により監視する
必要がなく、操作者の操作処理が簡素化される。

なお、本実施例では、１組のパターンを学習させる例
を示したが、２組以上のパターンを学習させることもで
きる。たとえば、一定間隔で第１の入力パターンと、第
２の入力パターンを交互に誤差訂正回路200に入力させ
る。ホストコンピュータ220は、誤差訂正回路200から交
互に出力される二つの出力パターンと二つの入力パター
ンをそれぞれ比較する。すなわち、第１の入力パターン
と第１の出力パターンが一致し、第２の入力パターンと
第２の出力パターンが一致するように２つのパターンに
共有の伝達効率がバックプロパゲーション法に基づいて
定められる。

想起モードで想起対象のパターンが入力されたとき
は、上述の二つの出力パターンの中の、想起対象のパタ
ーンに最も類似する出力パターンが、誤差訂正回路200
のフィードバック処理の結果として出力される。

第１実施例および第２実施例は誤差訂正回路200をア
ナログ回路の形態で構成していたが、次に、誤差訂正回
路200が行う学習処理および連想処理をコンピュータに
より実行する例を説明する。第10図は本発明第３実施例
の回路構成を示す。

第10図において、符号301は学習モードにおいては学
習すべきパターン信号を入力し、想起モードでは想起対
象のパターン信号を入力するインターフェースである。
符号302は入力パターンの学習処理および想起処理を行
うコンピュータである。コンピュータ302には中央演算
処理装置（CPU）のチップ，パーソナルコンピュータ，
スーパーコンピュータなどの各種のコンピュータを用い
ることができる。符号303は学習モードおよび想起モー
ドを指示入力するモードスイッチ303である。

符号304はコンピュータ302により決定された伝達効率
やコンピュータ304の計算処理で用いられる演算データ
を記憶するメモリ装置である。

符号305は、想起モードにおいて、コンピュータ302に
より算出された想起結果を出力するインターフェース30
5である。

このような回路構成のパターン連想記憶装置、300の
動作を第11図および第12図のフローチャートを参照して
説明する。

第11図は学習モードにおいてコンピュータ302が実行
する制御手順を示し、第12図は想起モードにおいてコン
ピュータ302が実行する制御手順を示す。

本例においては第２図に示す誤差訂正回路50と同等の
処理をコンピュータ302により実行する場合について説
明する。

オペレータによりモードスイッチ303が操作され、学
習モードがコンピュータ303に指示される（ステップS2
1）、コンピュータ303は、初期化処理を行った後、イン
ターフェース301に入力されている学習すべきパターン
情報をメモリ装置304に記憶する（ステップS22→S2
3）。

続いてこのパターン情報に基づき、２入力の誤差訂正
計算を行う。この計算において用いるパラメータの種類
は次の通りである。

P₀₁：学習目標のパターン信号のレベル値、 P₀₂：学習目標のパターン信号のレベル値、 b₁：第２図の入力素子X₁の入力活動、 b₂：第２図の入力素子X₂の入力活動、 w₁：第２図の可変抵抗17の伝達効率、 w₂：第２図の可変抵抗14の伝達効率、 w₁′：第２図の可変抵抗16の伝達効率、 w₂′：第２図の可変抵抗15の伝達効率、 y₁：第２図の出力素子Y₁の出力活動、 y₂：第２図の出力素子Y₂の出力活動、 f:シブモイド関数、 θ₁：出力素子Y₁に与えるバイアス、 θ₂：出力素子Y₂に与えるバイアス、 また、出力活動 出力活動 と算出される。

コンピュータ302は伝達効率w₁,w₂，w₁′，w₂′を初期
値設定した後、上述の式により出力活動y₁,y₂を計算す
る（ステップS25）。

コンピュータ302はパターン信号のレベル値P₀₁と出力
活動y₁とを比較し、パターン信号のレベル値P₀₂と出力
活動y₂とをそれぞれ比較する（ステップS26）。上記入
力活動と上記出力活動の２つの比較において、一致がみ
られないときは、次のバックプロパゲーション学習方法
により伝達係数およびバイアスの修正を行う。

最初に、学習パターン（P₀₁,P₀₂）と出力パターン（y
₁,y₂）の誤差d₁,d₂をプロパゲーション学習手法に基い
た次式により計算する。

d₁＝（y₁−P₀₁）×y₁×（１−y₁） d₂＝（y₂−P₀₂）×y₂×（１−y₂） 次に誤差d₁,d₂を用いて、出力素子Y₁と結合線の伝達
効率w₁,w₂に対する修正量Δw₁，Δw₂およびバイアス
θ₁，θ₂に対する修正量Δθ₁，Δθ₂を次式により計算
する。

Δw₁＝−ε×d₁×x₁ Δw₂＝−ε×d₂×x₂ Δθ₁＝−ε×d₁ ここでεは正の定数（x₁,x₂）は入力パターンであ
り、本例では目標パターンがそのまま、入力パターンと
なる。また出力素子Y₂の結合線の伝達効率w₁′，w₂′に
対する修正量Δw₁′，Δw₂′は、同様に次式により定ま
る。

Δw₁′＝−ε×d₂×x₁ Δw₂′＝−ε×d₂×x₂ Δθ₂＝−ε×d₂ コンピュータ302はこのように計算した、修正量に基
き、現在設定されている伝達効率およびバイアスの値を
修正する（ステップS27）。

以下、修正した伝達効率およびバイアスの値を用いて
入力パターン（x₁,x₂）の誤差訂正計算が実行される。
このように、出力パターン（y₁,y₂）と目標パターン（P
₀₁,P₀₂）が一致するまで、伝達効率およびバイアスのθ
の修正が繰り返された後、ホストコンピュータ302は上
記出力パターンと上記目標パターンがある精度内で一致
したときの各伝達効率および各バイアスの値をメモリ装
置304に記憶して学習処理を終了する（ステップS26）。

次に、コンピュータ302の想起処理について説明す
る。

モードスイッチ303により想起モードが指示され、イン
ターフェース301を介してコンピュータ302に想起対象の
パターン情報、すなわち、パターン信号I₁,I₂が入力さ
れると、コンピュータ302は第12図に示す制御手順を実
行する。

第12図において、コンピュータ302は入力したパター
ン情報を内部レジスタに記憶した後、メモリ装置304に
記憶されている伝達係数およびバイアスの値を読み出す
（ステップS31→ステップS32）。次に、コンピュータ30
2はこれら伝達係数、バイアスの値および入力パターン
のレベル値を用いて、第１回目の誤差訂正計算を行う
（ステップS25）。この誤差訂正計算の手順は、第11図
のステップS25における誤差訂正計算と同様であり、詳
細な説明を省略する。

誤差訂正計算の結果（出力パターン）が得られると、
ホストコンピュータ302は計算の結果を入力パターンと
して用いて第２回目の誤差訂正のためのフィードバック
計算を行う（ステップS24→ステップS25）。

次に、第１回目の計算結果と、第２回目の計算結果が
一致しているか否かがコンピュータ302により判別され
る（ステップS36）。上記二つの計算結果が一致してい
ないときは、計算結果が収束していないと判定される。
手順はステップS34に戻り、第３回目の計算が行なわれ
る（ステップS36→ステップS34→ステップS35→ステッ
プS36）。

以下、今回の計算結果と前回の計算結果が一致するま
で、すなわち、計算結果が収束するまで誤差訂正のため
のフィードバック計算が繰り返される。

計算結果が収束したことがコンピュータ302により検
出されると（ステップS36）、このときの計算結果が出
力パターンとしてインターフェース305を介して出力さ
れる（ステップS28）。

以上説明したように、本実施例では誤差訂正計算をコ
ンピュータで行うようにしたので、連想記憶装置の装置
構成が簡素化され、装置の製造において複雑な配線作業
も省略することができる。

なお、本実施例の誤差訂正のための出力要素の計算に
おいて、シグモイド関数を用いているがロジスティック
関数や他の微分関数を用いることもできる。ただし、シ
グモイド関数がコンピュータの演算時間が短く、最も好
適である。

［発明の効果］ 以上、説明したように、本発明の第１形態、第３形態
では想起時にのみ出力素子群の出力信号を入力素子群へ
フィードバック入力する。これにより、フィードバック
系のない従来の連想記憶装置に比べると、想起精度が高
まる。また、学習および想起モード共にフィードバック
処理する従来例に比べると、想起精度を落とすことな
く、学習処理時間が短縮される。

本発明の第２形態では、第１形態に加えて、出力素子
群の信号レベル変換特性のバイアスをも可変設定するよ
うにしたので、パターン信号を記憶するときに、入力信
号と出力信号のレベル値を完全に一致させることがで
き、以て、誤差訂正回路のパターン信号の記憶精度を高
めることができる。

本発明の第４形態では、さらに中間素子を有している
ので、想起精度が高まる。

本発明の第５形態では、パターン信号の学習結果が結
合線の伝達効率の形態で記憶されるので、想起時にはこ
の伝達効率を用いて、直ちに連想処理を行なうことがで
きる。

本発明の第６形態では、バックプロパゲーション方法
により伝達効率の修正値を定めるので、一定の修正値で
伝達効率の値を修正するよりも、伝達効率を設定するま
での計算処理時間を速くすることができる。

本発明の第７形態では、誤差訂正回路の出力信号のレ
ベル値が収束したときは、そのレベル値が変化しないこ
とに着目し、判定手段によりレベル値を監視して、表示
手段により想起処理の終了を表示するようにしたので、
操作者自身が出力信号のレベル値を監視する必要はな
い。

【図面の簡単な説明】

第１図は本発明第１実施例の基本的な回路構成を示すブ
ロック図、 第２図は第１図に示す回路の具体例を示す回路図、 第３図は第２図に示す回路に種々の連想対象の入力信号
を入力した場合の入力値から出力値の変化を示す説明
図、 第４図は第２図に示す回路にパターン（0,1），（1,0）
をバックプロパゲーション学習をさせた後、連想対象の
入力信号を入力した場合の入力値から出力値の変化を示
す説明図、 第５図は２入力３層の連想記憶回路に（0,1），（1,
0），（1,1），（0,0）の４つのパターンをバックプロ
パゲーション学習をさせた後種々の入力信号を入力した
場合の入力値から出力値への変化を示す説明図、 第６図は本発明実施例における文字パターンの連想結果
の変化を示す説明図、 第７図は本発明第２実施例の回路構成を示すブロック
図、 第８図および第９図は第７図に示すホストコンピュータ
220が実行する制御手順を示すフローチャート、 第10図は本発明第３実施例の回路構成を示すブロック
図、 第11図および第12図は第10図に示すコンピュータ302が
実行する制御手順を示すフローチャート、 第13図は従来例の入力値から出力値の変化を示す説明図
である。 １……誤差訂正用ニューラルネットワーク回路、７……
入力信号、８……出力信号、９……フィードバック信
号、200……誤差訂正回路、213……キーボード、214…
…記憶装置、215……表示装置、220……ホストコンピュ
ータ。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 日経エレクトロニクス 1987．８．10 （ｎｏ．427）Ｐ．115−124「ニューラル ネットをパターン認識，信号処理，知識処 理に使う」 ＩＥＥＥ ＡＳＳＰ ＭＡＧＡＺＩＮＥ ＡＰＲＩＬ 1987 Ｐ．４−22「Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｃｏｍ ｐｕｔｉｎｇ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔ」Ｒ．Ｄ，Ｌｉｐｐｍｏｎｎ

Claims (7)

【特許請求の範囲】
1. 【請求項１】少なくとも情報信号を入力する一団の入力
   素子群、当該入力素子群と同じ個数で、かつ、それぞれ
   が予め定められた信号レベル変換特性を有する一団の出
   力素子群および前記入力素子群と前記出力素子群との間
   をニューラルネットワークの形態で結合した複数の結合
   線を備え、前記伝達効率を可変設定する誤差訂正回路を
   有するパターン連想記憶装置のパターン連想記憶方法に
   おいて、 学習を行なうときには、 前記入力素子群に学習目標のパターン信号を入力し、 前記出力素子群の出力誤差を前記入力素子群に対してバ
   ックプロパゲーションさせて学習を行うバックプロパゲ
   ーション学習方法を用いて、当該入力された複数のパタ
   ーン信号と前記出力素子群から出力される複数の出力信
   号とがほぼ同一レベルとなるように前記複数の出力信号
   の前記入力素子群へのフィードバックを行なわず前記複
   数の結合線の各伝達効率の値を可変設定することによ
   り、前記複数のパターン信号が示すパターンを学習結果
   として前記誤差訂正回路内に記憶し、想起を行うときに
   は、学習で設定された伝達効率を用い、想起の基本とな
   るパターン信号を前記入力素子群に入力した後、前記出
   力素子群から出力される出力素子群を前記入力素子群に
   フィードバック入力し、 収束状態となった前記出力信号を、前記想起の基本とな
   るパターン信号に対する想起結果とする ことを特徴とするパターン連想記憶方法。
2. 【請求項２】前記伝達効率の値と共に前記出力素子群の
   各信号レベル変換特性のバイアスの値を可変設定するこ
   とを特徴とする請求項１に記載のパターン連想記憶方
   法。
3. 【請求項３】想起の基本となるパターン信号を入力する
   入力素子群、当該入力素子群と同じ個数で、かつ、それ
   ぞれが予め定められた信号レベル変換特性を有する一団
   の出力素子群および前記入力素子群と前記出力素子群と
   の間をニューラルネットワークの形態で結合した複数の
   結合線を備え、前記複数の結合線の伝達効率の値により
   連想結果として用いる少なくとも１組以上のパターン信
   号を予め記憶し、前記想起の基本となるパターン信号の
   レベル値を前記１組以上のパターン信号の中の最も類似
   するパターン信号のレベルに近付けるための誤差訂正手
   段と、 該誤差訂正手段の前記出力素子群から出力される複数の
   出力信号を前記入力素子群にフィードバック入力するた
   めの信号線と、 学習記憶モード時には、前記誤差訂正手段の前記出力素
   子群から出力される複数の出力信号のフィードバック入
   力を阻止し、想起モード時には、当該フィードバック入
   力を行なうように前記信号線を切換接続する信号線切換
   手段と、 を具えたことを特徴とするパターン連想記憶装置。
4. 【請求項４】前記誤差訂正手段は前記入力素子群と前記
   出力素子群との間に予め定められた信号レベル変換特性
   を有する少くとも１以上の中間素子群を備え、前記入力
   素子群、前記中間素子群および出力素子群はニューラル
   ネットワークの形態で結合されることを特徴とする請求
   項３に記載のパターン連想記憶装置。
5. 【請求項５】前記学習記憶モードにおいて、前記入力素
   子群に入力された前記想起の基本となるパターン信号の
   レベル値と前記出力素子群から出力されるパターンのレ
   ベル値とがほぼ同一となるように、少くとも前記複数の
   結合線の伝達効率の値を記憶条件として設定する記憶条
   件設定手段を具えたことを特徴とする請求項３に記載の
   パターン連想記憶装置。
6. 【請求項６】前記記憶条件設定手段はバックプロパゲー
   ション方法により、前記伝達効率の修正値を定めること
   を特徴とする請求項５に記載のパターン連想記憶装置。
7. 【請求項７】前記誤差訂正手段の前記出力素子群の出力
   信号のレベル値が変化しているか否かを判定する判定手
   段と、該判定手段の判定結果が否定判定となったとき
   に、想起処理の終了を表示する表示手段とを具えたこと
   を特徴とする請求項３に記載のパターン連想記憶装置。