TW200304096A - Self-organizing feature map with improved performance by non-monotonic variation of the learning rate - Google Patents

Description

200304096 ⑴ 玖、發明說明. (發明說明應敘明：發明所屬之技術領域、先前技術、内容、實施方式及圖式簡單說明) 發明領域 本發明是有關於自我規劃特徵圖（SOFM)，其為神經網 路將任意因次之輸入轉換成一或二因次之各別圖形，其受 到（保存附近）輪廓佈局且尤其是此種SOFM之限制，其中此 權數向量之最初值為隨機的。 發明背景 神經網路在機器智慧的研究中佔有大的領域。人工神經 網路是由動物腦部之並聯結構所提示激發之資訊處理裝 置。它們是採用軟體或硬體網路的形式而具有數學模式之 集合，其超越神經系統的一些所觀察到之特徵且類似於可 適應調整之生物學習。通常，它們是由大量以軟體或硬體 所製成而類似於動物腦部神經原之經連接處理元件所構 成。此等介於此等處理元件之間的連接是被認為以類似於 突觸（synapse)的方式加權。 訓練神經網路涉及對於存在介於神經原之間之”突觸” 連接作調整（即，權數之值）。訓練是藉由曝露於一組輸入 /輸出資料而實施，而此訓練算法反覆調整此連接權數。 此等連接權數儲存解決特定問題所需之知識。 神經網路被應用於越來越大數目的包括非常複雜的實 際問題。它們特別適用於：具有例如語音辨識之許多輸入 之圖案辨識與分類問題、文字與信號辨識以及功能預測與 系統模型，其實體過程未被暸解或高度複雜。 神經網路有許多種形式。一些較廣泛使用者包括：多層 知覺（perceptron)、其通常以錯誤算法之向後傳播訓練，學 習向量量化，基本基礎功能，Hopfield以及SOFM。取決於 (2) (2)200304096

資料如何經由網路處理，一些可歸類於向前饋給且另一些 歸類於向後饋給（即，實施回饋）。此神經網路之另一特性 為訓練它的機構。某些使用稱為監控訓練之技術，而其它 稱為未監控或自我規劃之技術。在監控的訓練中，此網路 是由指令過程所導引；而在未監控的算法中，此等資料是 根據提供給此算法之輸入之屬性而集合至類似之組中。 在SOFM或Kohonen人工神經網路是一種經監控之神經網 路在未經監控的训練中，此未經訓練之神經網路是曝露 於例子或輸入向量以及被調整之内部參數。在S〇FM中， 此網路之所有神經原接收相同之輸入。此等節點與其相鄰 節點競爭，且在自我學習過程之各階段具有最大活動者，，獲 勝11。此學習是根據獲勝者神經原（nenr〇n)之觀念。 此未經監控的學習允許物件以在η-因次（η為實數之數 目或對各物件所作觀察的次數）超空間中其所感知之類似 性而組合在一起。雖然此等方法在某些意義上為數量性 質’但較佳被視為品質性質，因為其主要目的僅為區別物 件或群體。 請參考圖1，SOFM經由人工神經元之自我規劃網路提供 分類資料之客觀方法。其設有兩層；輸入層110與競爭層 1〇〇。可以將輸入層之各節點（如同由連接器120所示）連接 至競爭層中所有組之節點。在所舉例之結構中，可以將格 網上各神經元連接至八個最近相鄰者。此等神經元儲存組 權數（weight)(權數向量），其各對應於資料中之一輸入。此 Kohonen網路之目的是將任意因次N之輸入向量（圖案）對 (3)200304096 應至 的圖： 之圖： 此！ 數典· 改變. 所獲 用於 為具 最小 空間 大小 中，名 之權 動靠 此等 集。 此 各項 AWi，) 而Wi 量之 以上 々々 丄 即中 位於任意因次（但典型為1或2因次）之競爭層中個別 形上。此算法調整權數以至於在輸入空間中彼此接近 蒙在圖形中應彼此接近，它們應依輪廓佈局排序。 ’習過程是如下所示：首先，將用於各輸出單元之權 型初設至隨機之起始值。實施此重覆過程而當權數之 為可忽略時其終止。對於多個輸入圖案之每一個辨識 曝之輸出節點以及在此獲勝節點附近所有單元，且將 所有此等節點之權數向量更新。此獲勝之輸出單元僅 有權數向量之單元其至輸入圖案之歐幾里德距離為 。此單元之周圍是界定為在此圖形上（但並非在權數 中）距該單元某段距離中所有的單元。如果此周園之 為1，則所有水平或垂直不大於i之單元均落於此周固 夺在獲勝單元周圍中每個單元（包括此獲勝單元本身） 數更新，以致於在此周圍内每個單元向此輸入圖案移 近。當實施此重覆時，此學習率降低。如果適當選擇 參數，則此最後網路應捕集此輸入資料中之Z然聚 t配權數改變大小的因子稱為學習率。此權數向量中 是根據以下調整： 〜a(Ij - Wi，j)sin d/(2d) ，』為第i個節點之第j個權數，a為學習率 筮· π子白千丄j為輸入向 罘J個分量，以及d為目前節點與獲勝者凌 、役脐苍又間又距離。 勺公式為習知技術中所知之數字之一，爷 丁 < 亚且在以下章 所討論之本發明將使用它或任何其他者。如所提及， 200304096

(4) 此學習之過程持續一直到在持續的重覆中權數中落於某 預先設定值之下。 此’，學習法則”（權數更新算法）之效應為將此等神經元 在此設有訓練集合之η-因次空間之整個區域平均分伟。此 具有權數向量最接近於給定輸入圖案之神經元將赢得此 圖案，以及它所最接近之任何其輸入圖案。此允許相同的 節點是獲勝之輸入圖案被認為是在相同的組中，且當、怜製 其關係圖時以線將它包圍。在所產生的圖中可以仔細檢驗 在此訓練集合中項目之間的關係，且設想此等關係甚至用 於高因次輸入空間中複雜的結構。 此產生解決方案之過程有兩個階段。在首先第一階段 中’此學習率在接近於1之高值開始且逐漸單調地下降。 此下降率可以為指數，線性或其它，且根據習知技術，此 特定圖案通常並不被認為特別重要。在最初階段期間稱為 棑序階段”產生權數向量之輪廓排序。接著是長的收歛集 中階段其與圖之精細調整有關。此學習率是保持在低值 (例如，低於0.1)，且隨著每次重覆單調且持續地降低。 此卻無法確保對於任何給定問題之S0FM解決方案之品 質。當此輸入向量為高因次且複雜時，其結果可能耗費相 备長的時間收歛集中，並且甚至會產生不良之最後結果。 發明概要 在SOFM中，在重覆過程進行期間不是將學習率單調地 降低，而是以隨機或突發的方式選擇學習率。以實驗的方 式發現這在許多情形中増加收歛集中之速率。根據習知技 術此學習率應隨時間改變，但為單調地減少。然而發現至 200304096

(5) 少在某些情形中，尤其是在較高因次輸入空間的情形中， 至少在初步階段期間學習率之突發變化會導致改農之性 能。 本發明將根據某些較佳實施例並參考以下之圖式說 明，以致於可對本發明更充份地暸解。參考此等圖式須 、強 調其所顯示之細節是作為例子且只用於說明討論本發明 之較佳實施例之目的而已，且其揭示是提供本發明原理與 觀念之最有用且容易瞭解之說明。有關於此，並夫奮 、 示較用於本發明之基本暸解所須更詳細之發明結構細 鲁 節。此等圖示之說明關於在實際上如何實施本發明之數種 形式，對於熟知此技術之人士是為明顯。 - 圖式簡單說明 圖1為根據習知技術且符合本發明實施例之自我規气特 徵圖之概要說明。 圖2為流程圖，其顯示根據實施例用於執行本發明之算 法。 圖3說明學習率參數之選擇性隨機產生與s〇FM詞練之 進展。 "41 圖4說明另一種方式之學習率參數之選擇性隨機產生， 以及SOFM之訓練之進展。 較佳實施例之說明 請參考圖2，此用於實施本發明之方法，以在步驟si〇 中初設權數向量開始，典型的選擇是用於所有權數向量之 隨機值。在步騾S20中，從使用於訓練SOFM之輸入向量之 集合中隨機繪製樣本輸入向量。此經選擇之向量是應用至 輸入節點以及獲勝之競爭層節點是在步騾S3〇中枢據最 -10- (6) (6)200304096

、歐幾里德距離值而形成 而Wi，j是第i個節、 ^ W即點又第j個權數，L為輸入向量之 昏，以及J) ® ΛΛ· · J 1固分 口 1疋第1個節點之距離。以具有最低距離值、#

風疋獲勝者。在步騾S40中產生學習率之隨機值。 P 予自率將獲勝節點附近周園節點之權數更新。 在步騾S50中，拍4占 T 根據以下公式將獲勝節點與所有附 更新： 乂即點 - a(Ij . Wi j)sin d/(2d) 而Wi，j是第1個節點之第j個權數，a是隨機學習率， 入向音 > 签j為輪 I又弟J個分里，以及d為目前節點與獲勝點凌 離。4 η 〜間之距 。如所提及，此訓練之過程持績一直至此權數之 & 連續的重覆中下降至某預先設定之值以下。又在 作測試。 乂驟860中 凊汪意以上的公式是例子其目的是在說明實 佶田廿几， ， 你】°可以 /、他的公式以更新此權數，且本發明並不A 特定公式。 、限於任何 現在請參考圖3，可以實施與本發明符合— 双 < 各種方 式而產生學習率之連續值。當進行模擬時此隨 現機學習率所 涵衣之值較佳應變得越來越小。在圖3中所說明 , 〃 4的實施例 中，此學習率是介於邊界1 6 1與i 6 2之間之隨機值 、 練過程進行時會逐漸減少。這並裊 其▲』丨 ^ …、聲如同左窗 所說明之範圍之單調減少，但是卷 也圖3中160 两键觀進行_ , _，此學習率 200304096 ⑺

之值較佳變得越來越小並且涵蓋較小的範圍。在另一實施 例中，此學習率是在類似的範圍1 6 0中改變，但是以週期 的或擬似隨機的方式改變。學習率較佳最初是在1附近變 化，但隨著模擬進行減少幾個數量級而降低至接近於零之 值。 請參考圖4之用於產生學習率之另一個方法，其在訓練 之排序階段期間可以允許學習率之隨機變化（在170說 明），且在收歛集中階段改變至學習率之單調減少（在180 說明）。 雖然以上已經顯示與說明了本發明之特殊實施例，但應 暸解其用意並不在將本發明限制於此等較佳實施例，且對 熟知此技術之人士應為明顯，可以對本發明作各種改變與 修正而不會偏離本發明之精神與範圍。因此，本發明之用 意在於包括此等包含於本發明之精神與範圍中之改變、修 正、以及等同物件。 圖式代表符號說明 100 競爭層 110 輸入層 120 連接器 160 單調減少 161 邊界 162 邊界 170 隨機變化 180 單調減少 -12- 200304096 ⑻

S10 ， S20 ， S30 步騾 S40 ， S50 ， S60 步騾

-13-

Claims (1)

1. 200304096 拾、申讀專利範園 1. 一種用於訓練自我規劃圖之方法，包括以下步騾： 初始化（initializing)—組自我規劃圖之權數； 在許多訓練期間反覆訓練該等權數； 對於該至少若干期間，該反覆訓練之步騾包括根據 依功能所產生之學習率而更新該等權數，其以隨著訓 練期間單調地減少其值以外之方式變化。 2. 如申請專利範圍第1項之方法，其中該反覆訓練步騾包 括根據依隨機或擬似隨機功能所產生之學習率而更新 該等權數。 3. 如申請專利範圍第2項之方法，其中該反覆訓練步騾包 括根據依功能所產生之學習率而更新該等權數，以致 於該學習率所涵蓋之值隨著訓練期間而減少。 4. 如申請專利範圍第2項之方法，其中該反覆訓練步騾包 括根據依功能所產生之學習率更新該等權數，以致於 該學習率所涵蓋之值傾向於隨著訓練期間而減少。 5. 如申請專利範圍第1項之方法，其中該反覆訓練步騾包 括根據依功能所產生之學習率而更新該等權數，以致 於該學習率所涵蓋之值隨著訓練期間而減少。 6. 如申請專利範圍第5項之方法，其中該反覆訓練步騾包 括根據依功能所產生之學習率而更新該等權數，以致 於該學習率所涵蓋之值傾向於隨著訓練期間而減少。 7. 如申請專利範圍第1項之方法，其中該反覆訓練步騾包 200304096

   括根據依功能所產生之學習率而更新該等權數，以致 寻系StSf 古 ‘率所涵盖之值傾向於隨著1||丨練期間而減少。 I 一種訓練自我規劃特徵圖之方法，包括以下步驟： 選擇用於初始權數向量之隨機值； 丄 —組訓練樣本向量繪製樣本、且將其應用至該自 我規劃特徵圖之輸入節點； 根據最小距離為標準，辨識該自我規劃特徵圖之獲 勝競爭節點； 调整至少該獲勝節點之突觸之權數； 孩調整步騾包括選擇更新該突觸權數所用學習率之 此％1數是根據隨者训練期間以單調以外方式變化 之功能； 反覆重覆該等繪製樣本、辨識、以及調整之步驟。 9·如申請專利範圍第8項之方法，其中該調整步騾包括根 據依隨機或擬似隨機功能所產生學習率而更新該等權 數。 1〇·如申請專利範圍第9項之方法，其中該調整步騾包括根 據依功能所產生之學習率而更新該等權數，以致於該 學習率所涵蓋之值隨著訓練期間而減少。 11.如申請專利範圍第9項之方法，其中該調整步騾包括根 據依功能所產生之學習率而更新該等權數，以致於該 學習率所涵蓋之值傾向於隨著訓練期間而減少。 12·如申請專利範圍第8項之方法，其中該調整步騾包括根 據依功能所產生之學習率而更新該等權數’以致於該 200304096

   學習率所可涵蓋之值隨著訓練期間而減少。 13. 如申請專利範圍第1 2項之方法，其中該調整步驟包括 根據依功能所產生之學習率而更新該等權數，以致於 該學習率所涵蓋之值傾向於隨著訓練期間而減少。 14. 如申請專利範圍第8項之方法，其中該調整步騾包括根 據依功能所產生之學習率而更新該等權數，以致於該 學習率所涵蓋之值傾向於隨著訓練期間而減少。