A Novel Auto-encoder Task-based Similarity Continual Learning

NCU Institutional Repository > 管理學院 > 資訊管理研究所 > 博碩士論文 > Item 987654321/89824

請使用永久網址來引用或連結此文件: http://ir.lib.ncu.edu.tw/handle/987654321/89824

題名:	A Novel Auto-encoder Task-based Similarity Continual Learning
作者:	齊秉宏;Chi, Ping-Hung
貢獻者:	資訊管理學系
關鍵詞:	機器學習;持續性學習;增進式學習;災難性遺忘;Machine Learning;Continual Learning;Incremental Learning;Caatastrophic Forgetting
日期:	2022-07-21
上傳時間:	2022-10-04 12:01:09 (UTC+8)
出版者:	國立中央大學
摘要:	在巨量資料的時代，很多資料因為過於龐大，無法在一次訓練中全部使用，因此必須將資料分開進行處理，然而機器學習以往都是針對當次的資料進行最佳化，會造成過去資料的遺忘，且目前的演算法在高層次的計算上耗時十分可觀，因此我們希望提出時間複雜度更低且維持準確率及遺忘率更好的機器學習演算法。災難性遺忘是一個在增進式學習中十分嚴重的問題，所謂的遺忘就是指當我們學習新的資料時，過去的資料沒辦法很好的維持導致遺忘了以往的資料。為了解決這個問題我們提出了這個新方法來解決問題。利用Auto-encoder可以將照片進行還原的能力，推算出每個任務彼此間的相似度，透過相似度影響模型的更新方向來解決所謂的災難性遺忘問題，並在解決問題的根基上去達到原本應有的準確度。我們將會應用這方法在MNIST Rotation、MNIST Permutations以及CIFAR-100進行驗證，並針對模型細節進行調整。最後我們也會將模型應用在目前世界上常用的工廠實際資料來驗證模型可行性。最後的結果也證明了這個方法可以得到比以往更好的結果，可以更有效的解決遺忘的問題。;Catastrophic forgetting is a serious problem in incremental learning. Model loses the information of the first task after training the second task. In the era of big data, data may be too large to be used in machine learning. The data need to be processed separately. During training, we need to issue data availability and resource scarcity. We need to make sure when we learn more data more the model learns and remember. Therefore, we would like to propose a machine learning algorithm with lower time complexity and better maintenance of accuracy and forgetting rate to improve the performance on catastrophic forgetting problem. Through our proposed method, we use Auto-encoder′s ability to restore the photos and derive the similarity of each task to each other. The similarity affects the update gradient direction of the model to solve the so-called catastrophic forgetting problem, and to achieve the original accuracy based on the solution. We will implement our approach on MNIST Rotation, MNIST Permutations, CIFAR-100, and a real-world dataset The experimental results proved that this method can get better results than before and can solve the problem of forgetfulness more effectively.
顯示於類別:	[資訊管理研究所] 博碩士論文

文件中的檔案:

檔案	描述	大小	格式	瀏覽次數
index.html		0Kb	HTML	98	檢視/開啟

在NCUIR中所有的資料項目都受到原著作權保護.

社群 sharing

資料載入中.....