植基於Spark系統之分散式粒化運算決策產生演算法

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：9

、訪客IP：3.140.188.16

姓名

林子晏(Zi-Yan Lin) 查詢紙本館藏

畢業系所

資訊工程學系

論文名稱

植基於Spark系統之分散式粒化運算決策產生演算法
(A Distributed Decision Generation Algorithm based on Granular Computing Using Spark)

相關論文

★ 以伸展樹為基礎的Android Binder Driver	★ 應用增量式學習於多種農作物判釋之研究
★ 應用分類重建學習偵測航照圖幅中的新穎坵塊	★ 一個建立在平行工作系統上的動態全球計算平台
★ 用權重參照計數演算法執行主動物件垃圾收集	★ 一個動態負載平衡之最大可能性估算計算架構
★ 利用多項系統負載資訊進行動態P2P系統重組的策略研究	★ 基於Hadoop系統的雲端應用程式特徵擷取與計算監測架構
★ 適用於大型動態分散式系統的調適性計算模型	★ 一個提供彈性虛擬資料中心的雲端服務平台
★ 雲端彈性虛擬機房服務平台之資源控管中心	★ 一個適用於自動供應雲端系統的動態調適計算架構
★ 線性相關工作與非相關工作的探索式排程策略	★ 適用於大資料集高效率的分散式階層分群演算法
★ 混合雲端環境上的多重代理人動態調適計算管理架構	★ 基於圖形的平行化最小生成樹分群演算法

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

Classification演算法的特色是分成兩個階段，第一個階段是training，用已經分類的資料並根據資料的特徵做出對應的類別，第二個階段是Classification，對其他未經分類資料的特徵做分類。DGAGC是一種Classification演算法，適用於離散型資料，連續型資料需要額外處理。我們過去的研究已經讓DGAGC支援Hadoop MapReduce運算模型。但是Hadoop MapReduce的版本只針對DGAGC training的部分。在Classification部分，只有單機版本。其中以training的部分最花時間。本篇論文提出了Spark版本的DGAGC training與Classification，藉此來改善Hadoop版本在資料集運算量不算大時的執行效率。再來是DGAGC Classification的部分，單機版本在預測模型太大的時候就無法進去預測。所以提出Spark版本的DGAGC Classification改善此問題。

摘要(英)

The DGAGC algorithm, developed by National Central University, is a classification algorithm based on association-rule mining and searching. The DGAGC algorithm also specifies a distributed computing approach for model training, which is implemented on top of Hadoop MapReduce. In this study, we propose a new distributed computing approach for the DGAGC algorithm based on Apache Spark. With the support of in-memory computing by Spark, the new distributed DGAGC algorithm can achieve less average execution time for model training, given four different training data sets. In addition, we also propose a distributed version of the DGAGC for data classification.

關鍵字(中)

★ 分類演算法
★ 分散式粒化運算決策產生演算法

關鍵字(英)

★ Hadoop
★ Spark
★ DGAGC
★ Classification

論文目次

第一章緒論 1
1.1問題定義 3
1.2研究目標與預期貢獻 3
1.3論文結構 5
第二章背景與相關研究 6
2.1 Association Rule 6
2.2 Granular Computing 8
2.3 DGAGC 10
2.4 Spark 21
第三章系統架構 25
3.1 DGAGC training和最佳化 25
3.2 DGAGC Classification 30
第四章實驗結果 34
第五章結論及未來研究方向 43
參考文獻 45

參考文獻

[1] PRIYANK PANDEY ,MANOJ KUMAR and PRAKHAR SRIVASTAVA,”Classification Techniques for Big Data:A Survey”, 2016 3rd International Conference on Computing for Sustainable Global Development (INDIACom), pp:3625-3629,2016.
[2] Min-Yi Tsai, Ping-Fang Chiang, Shao-Jui Chen, Wei-Jen Wang ,”A Decision Generation Algorithm Based on Granular Computing”, 2012 IEEE International Conference on Granular Computing, pp:475-480, 2012.
[3] AMDOUNI Hamida, GAMMOUDI Mohamed Mohsen,” Algorithms of Association Rules Extraction: State of the Art ”,2011 IEEE 3rd International Conference on Communication Software and Networks, pp:698-703, 2011.
[4] A. Bargiela and W. Pedrycz, ”The roots of Granular Computing,” Proceedings of IEEE Granular Computing Conference, pp.741, 2006.
[5]Y.Y. Yao, and J.T. Yao, ”Induction of Classification Rules by Granular Computing”, The Seventh International Conference on Rough Sets and Current Trends in Computing, pp:331-338,2002.
[6] B.Zang,and L.Zhang,”The Quotient Space Theory of Problem Solving”,Rough Sets, Fuzzy Sets, Data Mining, and Granular Computing, lecture Notes in Computer Science, Vol. 2639/2003, pp:585,2003.
[7] Apache Software Foundation,http://Hadoop.apache.org/
[8] Apache Software Foundation,https://Spark.apache.org/
[9] W. Pedrycz, ”Granular Computing: an introduction,” IFSA World Congress and 20th NAFIPS International Conference, pp:1349-1354, 2001.
[10] OpenStack Foundation, https://www.openstack.org/
[11] UCI Machine Learning Repository,https://archive.ics.uci.edu/ml/datasets.html
[12] Lei Gu, Huan Li,“Memory or Time: Performance Evaluation for Iterative Operation on Hadoop and Spark”2013 IEEE International Conference on High Performance Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing, pp:721-727,2013.

指導教授

王尉任(Wei-Jen Wang)

審核日期

2017-8-16

推文