博碩士論文 103522021 詳細資訊




以作者查詢圖書館館藏 以作者查詢臺灣博碩士 以作者查詢全國書目 勘誤回報 、線上人數:12 、訪客IP:3.233.221.149
姓名 林子晏(Zi-Yan Lin)  查詢紙本館藏   畢業系所 資訊工程學系
論文名稱 植基於Spark系統之分散式粒化運算決策產生演算法
(A Distributed Decision Generation Algorithm based on Granular Computing Using Spark)
相關論文
★ 以伸展樹為基礎的Android Binder Driver★ 一個建立在平行工作系統上的動態全球計算平台
★ 用權重參照計數演算法執行主動物件垃圾收集★ 一個動態負載平衡之最大可能性估算計算架構
★ 利用多項系統負載資訊進行動態P2P系統重組的策略研究★ 基於Hadoop系統的雲端應用程式特徵擷取與計算監測架構
★ 適用於大型動態分散式系統的調適性計算模型★ 一個提供彈性虛擬資料中心的雲端服務平台
★ 雲端彈性虛擬機房服務平台之資源控管中心★ 一個適用於自動供應雲端系統的動態調適計算架構
★ 線性相關工作與非相關工作的探索式排程策略★ 適用於大資料集高效率的分散式階層分群演算法
★ 混合雲端環境上的多重代理人動態調適計算管理架構★ 基於圖形的平行化最小生成樹分群演算法
★ 基於密度的超立方體覆蓋之啟發式演算法★ 利用 Cache 改善雲端虛擬機器啟動之研究
檔案 [Endnote RIS 格式]    [Bibtex 格式]    [相關文章]   [文章引用]   [完整記錄]   [館藏目錄]   [檢視]  [下載]
  1. 本電子論文使用權限為同意立即開放。
  2. 已達開放權限電子全文僅授權使用者為學術研究之目的,進行個人非營利性質之檢索、閱讀、列印。
  3. 請遵守中華民國著作權法之相關規定,切勿任意重製、散佈、改作、轉貼、播送,以免觸法。

摘要(中) Classification演算法的特色是分成兩個階段,第一個階段是training,用已經分類的資料並根據資料的特徵做出對應的類別,第二個階段是Classification,對其他未經分類資料的特徵做分類。DGAGC是一種Classification演算法,適用於離散型資料,連續型資料需要額外處理。我們過去的研究已經讓DGAGC支援Hadoop MapReduce運算模型。但是Hadoop MapReduce的版本只針對DGAGC training的部分。在Classification部分,只有單機版本。其中以training的部分最花時間。本篇論文提出了Spark版本的DGAGC training與Classification,藉此來改善Hadoop版本在資料集運算量不算大時的執行效率。再來是DGAGC Classification的部分,單機版本在預測模型太大的時候就無法進去預測。所以提出Spark版本的DGAGC Classification改善此問題。
摘要(英) The DGAGC algorithm, developed by National Central University, is a classification algorithm based on association-rule mining and searching. The DGAGC algorithm also specifies a distributed computing approach for model training, which is implemented on top of Hadoop MapReduce. In this study, we propose a new distributed computing approach for the DGAGC algorithm based on Apache Spark. With the support of in-memory computing by Spark, the new distributed DGAGC algorithm can achieve less average execution time for model training, given four different training data sets. In addition, we also propose a distributed version of the DGAGC for data classification.
關鍵字(中) ★ 分類演算法
★ 分散式粒化運算決策產生演算法
關鍵字(英) ★ Hadoop
★ Spark
★ DGAGC
★ Classification
論文目次 第一章緒論 1
1.1問題定義 3
1.2研究目標與預期貢獻 3
1.3論文結構 5
第二章背景與相關研究 6
2.1 Association Rule 6
2.2 Granular Computing 8
2.3 DGAGC 10
2.4 Spark 21
第三章系統架構 25
3.1 DGAGC training和最佳化 25
3.2 DGAGC Classification 30
第四章實驗結果 34
第五章結論及未來研究方向 43
參考文獻 45
參考文獻 [1] PRIYANK PANDEY ,MANOJ KUMAR and PRAKHAR SRIVASTAVA,”Classification Techniques for Big Data:A Survey”, 2016 3rd International Conference on Computing for Sustainable Global Development (INDIACom), pp:3625-3629,2016.
[2] Min-Yi Tsai, Ping-Fang Chiang, Shao-Jui Chen, Wei-Jen Wang ,”A Decision Generation Algorithm Based on Granular Computing”, 2012 IEEE International Conference on Granular Computing, pp:475-480, 2012.
[3] AMDOUNI Hamida, GAMMOUDI Mohamed Mohsen,” Algorithms of Association Rules Extraction: State of the Art ”,2011 IEEE 3rd International Conference on Communication Software and Networks, pp:698-703, 2011.
[4] A. Bargiela and W. Pedrycz, ”The roots of Granular Computing,” Proceedings of IEEE Granular Computing Conference, pp.741, 2006.
[5]Y.Y. Yao, and J.T. Yao, ”Induction of Classification Rules by Granular Computing”, The Seventh International Conference on Rough Sets and Current Trends in Computing, pp:331-338,2002.
[6] B.Zang,and L.Zhang,”The Quotient Space Theory of Problem Solving”,Rough Sets, Fuzzy Sets, Data Mining, and Granular Computing, lecture Notes in Computer Science, Vol. 2639/2003, pp:585,2003.
[7] Apache Software Foundation,http://Hadoop.apache.org/
[8] Apache Software Foundation,https://Spark.apache.org/
[9] W. Pedrycz, ”Granular Computing: an introduction,” IFSA World Congress and 20th NAFIPS International Conference, pp:1349-1354, 2001.
[10] OpenStack Foundation, https://www.openstack.org/
[11] UCI Machine Learning Repository,https://archive.ics.uci.edu/ml/datasets.html
[12] Lei Gu, Huan Li,“Memory or Time: Performance Evaluation for Iterative Operation on Hadoop and Spark”2013 IEEE International Conference on High Performance Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing, pp:721-727,2013.
指導教授 王尉任(Wei-Jen Wang) 審核日期 2017-8-16
推文 facebook   plurk   twitter   funp   google   live   udn   HD   myshare   reddit   netvibes   friend   youpush   delicious   baidu   
網路書籤 Google bookmarks   del.icio.us   hemidemi   myshare   

若有論文相關問題,請聯絡國立中央大學圖書館推廣服務組 TEL:(03)422-7151轉57407,或E-mail聯絡  - 隱私權政策聲明