倒傳遞類神經網路學習收斂之初步探討

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：5

、訪客IP：18.117.158.47

姓名

施柏屹(Bo-Yi She) 查詢紙本館藏

畢業系所

機械工程學系

論文名稱

倒傳遞類神經網路學習收斂之初步探討

相關論文

★ 非等強度分負荷系統之動態負載配置研究	★ 材料強度退化與累積損傷之探討
★ 累積失效與可靠度關係之探討	★ 碳鋼材料在二氧化硫環境下之腐蝕可靠度行為之探討
★ 動態可靠度模型之探討及其應用	★ 多目標量子搜尋之參數調控演算法
★ 低通濾波器設計可靠度分析	★ 光纖材料之靜力疲勞可靠度分析
★ 競爭策略於系統行為之探討	★ 應用動態可靠度模型預估電解電容器壽命之探討
★ 有限平板多條邊裂紋成長之探討	★ 厚度或折射率變異對窄帶通濾光片之可靠度分析
★ 馬可夫過程的預防維護模型之研究	★ 馬可夫過程在技術成長上之研究
★ 應用馬可夫預防維護模型於維修保養策略之探討	★ 簡灰法之研究與應用

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

倒傳遞類神經網路雖然使用上便利，但是有著收斂速度緩慢以及網路收斂到區域極小值範圍的問題。本篇論文針對此類神經網路對於初始資料的正規化以及初始鍵結值的設定範圍對收斂的影響做初步的分析，並使用不同於文獻中另一常見的活化函數類別-雙曲正切函數-做加速收斂的測試比較，結果顯示在應用在不同的活化函數類別時，部分法則有使用上的困難。

關鍵字(中)

★ 倒傳遞類神經網路
★ 鍵結值
★ 活化函數
★ GBP

關鍵字(英)

論文目次

目錄
頁碼
摘要…………………………………………………….……………………..……Ⅰ
目錄…………………………………………………………………………...……Ⅱ
圖目錄……………………………………………………………………………..IV
表目錄……………………………………………………………………………..VI
符號說明…………………………………………………………….…………VII
第一章緒論……………………………………………………….…………1
1-1研究背景與動機…………………………………………………………....1
1-2相關文獻回顧………………………………………………………………2
1-3研究範圍……………………………………………………………………..3
第二章類神經網路基本架構…………………………………………4
2-1類神經網路簡史……………………………………………………………4
2-2類神經網路基本架構………………………………………………………4
2-3類神經網路類別……………………………………………………………5
2-4倒傳遞神經網路……………………………………………………………6
第三章倒傳遞網路收斂分析………………………………………..14
3-1測試用資料與函數………………………………………………………..14
3-2資料輸出入對與收斂關係………………………………………………..15
3-3初始鍵結值設定對收斂影響…………………………………………….16
3-4GBP演算法………………………………………………………………..18
3-4-1GBP演算法……………………………………………………..18
3-4-2測試GBP演算法……………………………………………….19
3-5增益項對收斂影響………………………………………………………..20
3-5-1增益項法則……………………………………………………..20
3-5-2測試增益項演算法則…………………………………………..21
第四章結論與建議……………………………………………………...45
參考文獻………………………………………………………………………….48
圖目錄
頁碼
圖2.1(a) 生物神經元……………………………………………………………….10
圖2.1(b) 類神經元模型…………………………………………………………….10
圖2.2(a) 線性飽和函數…………………………………………………………..11
圖2.2(b) 飽和曲線函數……………………………………………………………..11
圖2.2(c) 雙曲正切函數……………………………………………………………..11
圖2.3(a) 單層前饋網路……………………………………………………………..12
圖2.3(b) 多層前饋網路……………………………………………………………..12
圖2.3(c) 循環式網路………………………………………………………………...12
圖2.4 倒傳遞神經網路……………………………………………………………...13
圖3.1 函數………………………………………………22
圖3.2(a) 活化函數於不同初始輸入對收斂圖…………………………….23
圖3.2(b) 活化函數於不同初始輸入對收斂圖(續)………………………..23
圖3.3 (a) 活化函數於不同初始輸入對收斂圖………………..24
圖3.3 (b)活化函數於不同初始輸入對收斂圖(續)…………….24
圖3.4(a) 2-3-2網路結構，不同初始收斂值的收斂過程..…………………………..25
圖3.4(b) 2-3-2網路結構，不同初始收斂值的收斂過程………………...………….25
圖3.4(c) 2-3-2網路結構，不同初始收斂值的收斂過程………………………….26
圖3.5(a) 2-3-3-2網路結構，不同初始收斂值的收斂過程………..………………..27
圖3.5(b) 2-3-3-2網路結構，不同初始收斂值的收斂過程……………………….27
圖3.6 2-3-2結構倒傳遞網路………………………………..…………………….28
圖3.7 、均方差曲面等高線圖………………...…………………………….29
圖3.8 、均方差曲面立體等高線圖………………………………………..29
圖3.9 、均方差曲面網目圖…………………..……………………………..30
圖3.10 、均方差曲面對數座標網目圖………..……………………………30
圖3.11 飽和曲線函數一階微分輸出數值圖………………….………31
圖3.12 修正後飽和曲線函數一階微分輸出數值圖 (P=10)………31
圖3.13 雙曲正切函數一階微分輸出數值圖……………...………………32
圖3.14 修正後雙曲正切函數一階微分輸出數值圖 (P=5)………………32
圖3.15 活化函數微分式變更收斂比較…………………………………33
圖3.16 活化函數微分式變更前後收斂比較…………………...34
圖3.17(a) 2-3-2網路結構增益項改變??學習率對於收斂情形……………………35
圖3.17(b) 2-5-2網路結構增益項改變??學習率對於收斂情形……………………35
圖3.17(c) 2-8-2網路結構增益項改變??學習率對於收斂情形……………………36
圖3.17(d) 2-12-2網路結構增益項改變??學習率對於收斂情形…………………36
圖4.1(a) 2-3-2結構倒傳遞網路………………………………………………..47
圖4.1(b) 2-2-2結構倒傳遞網路…………………………………………………47
表目錄
頁碼
表3.1 倒傳遞網路訓練資料對……………………………………………………..37
表3.2 倒傳遞網路測試資料對……………………………………………………..38
表3.3 第一類活化函數推測計算結果……………………………….……39
表3.4 第二類活化函數推測計算結果………………………...42

參考文獻

[1] Simon Haykin, Neural Networks ： A Comprehensive Foundation, Prentice Hall International Editions, 1999.
[2] A. Korn Granino, Neural networks and fuzzy-logic control on personal computers and workstations, Cambridge, Mass MIT Press c1995.
[3] 林昇甫, 神經網路入門與圖樣辨識, 全華, 民82.
[4] 蘇木春，張孝德，機械學習類神經網路、模糊系統以及基因演算法則，全華民86.
[4] 蘇木春，張孝德，機械學習類神經網路、模糊系統以及基因演算法則，全華民86.
[4] 蘇木春，張孝德，機械學習類神經網路、模糊系統以及基因演算法則，全華民86.
[7] Yolanda M. Pirez, and Dilip Sarkar, “Back-Propagation Algorithm with Controlled Oscillation of Weights.”, Neural Networks, IEEE International Conference on , 1993 Vol.1, P21 -26.
[8] Irena Ivanova, and Miroslav Kubat, “Initialization of neural networks by means of decision trees.”, Knowledge-Based Systems, December 1995, Vol. 8, No. 6, P333-344.
[9] Mingsheng Zhao, Youshou Wu, and Xiaoqing Ding, “Speeding up the training process of the MFNN by optimizing the hidden layers’ outputs.”, Neurocomputing, 1996, Vol.11, P89-100.
[9] Mingsheng Zhao, Youshou Wu, and Xiaoqing Ding, “Speeding up the training process of the MFNN by optimizing the hidden layers’ outputs.”, Neurocomputing, 1996, Vol.11, P89-100.

指導教授

王國雄(Kuo-Shong Wang)

審核日期

2000-7-15

推文