Hadoop雲端平台在工程應用之探討研究

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：11

、訪客IP：18.190.28.78

姓名

楊貴安(Kuei-an Yang) 查詢紙本館藏

畢業系所

土木工程學系

論文名稱

Hadoop雲端平台在工程應用之探討研究
(Study on the Hadoop Cloud Computing Platform for Engineering Applications)

相關論文

★ 路權取得資料探勘與決策輔助工具設計之研究	★ 以時空資料庫管理管線單位道路申挖許可之雛形系統研究
★ 關鍵基礎設施相依性模型設計與應用	★ 應用RFID技術於室內空間防救災時的疏散指引系統之研究
★ 考量列車迴轉與擾動因子情況下高速鐵路系統最佳化排班設計之研究	★ 應用資料探勘分群分類演算法與空間資料庫技術在鋪面裂縫影像辨識之初探
★ 以本體論建構工程程式設計課程之線上考試平台研究	★ 結合遙測影像與GIS資料以資料挖掘技術進行崩塌地辨識-以石門水庫集水區為例
★ 設計整合型手持式行動裝置平台於災害設施損毀資料收集研究	★ 考量擾動因子情況下傳統鐵路時刻表建置合併於高速鐵路時刻表模型之回顧與探討
★ 關鍵基礎設施相依性分析:以竹科某晶圓廠區為例	★ 建築資訊模型於火災原因調查流程的應用
★ 關鍵基礎設施投入產出停轉模型之回顧與應用	★ 擴展建築資訊模型於防救災應用：使用Revit平台
★ 應用交通資料蒐集與發佈設備及資料探勘法協助觀光地區交通管理策略之研究：以桃園大溪老街為例	★ 應用Ontology/Protégé/SWRL於建築資訊模型上進行推論

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

雲端運算是一種新的網路概念，是藉由網路串聯不同電腦之間的相互合作，藉由網路的概念來產生相應的技術，本質來自於分散式運算與網格運算。分散式運算是將大型工作分成很多小型工作，再分別分配給眾多的電腦運算，最後再匯集所有的結果來完成單機無法完成的工作。網格運算則是分散式運算的一種延伸，主要特色是將不同平台、不同等級、不同架構的電腦藉由分散式運算來做整合，所以雲端運算與網格運算都是一種分散式運算的延伸。網格運算是強調整合眾多不同的平台，而雲端運算是強調在本機有限的資源利用網路來取得運算資源。因此，建置分散式運算的雲端平台研究有其必要性。本研究建置雲端分散式檔案系統Hadoop，Hadoop Distributed File System(HDFS)，使用四台實體電腦來架設四台虛擬叢集環境與八台虛擬叢集環境。四台虛擬叢集電腦架設方式是在每台實體電腦各虛擬一台電腦出來，共四台虛擬叢集環境，而八台虛擬叢集電腦架設方式是在每台實體電腦各虛擬兩台電腦出來，共八台虛擬叢集環境。經本研究結果實現，一台實體電腦可以虛擬兩台以上電腦，符合雲端虛擬化上百台或上千台的叢集環境。其次，雲端分散式系統是來處理大量的運算，本研究藉由矩陣大量的運算來測試Hadoop分散式檔案系統。而矩陣運算在工程應用是常見且重要的，不過目前矩陣運算都是以MPI(Message Passing Interface)來實現，並無在雲端平台上來實現，因此本研究藉由雲端平台來實施矩陣運算。

摘要(英)

Cloud computing is a new concept of networking. Cloud computing is a co-operation of the network which allows several computers to work together. The nature of cloud computing are from distributed computing and grid computing. Distributed computing is a large work divided into several small parts. Then it will be handed over to several computers to do the computing process. Finally, to bring all the results together to complete the stand-alone computing could not be done. Grid computing is an extension of the distributed computing. The main features of different platforms, different levels of the different computer structure integrated by distributed computing. Cloud computing and grid computing are extensions of a distributed computing. Grid computing is the emphasis on the integration of many different platforms. While cloud computing is the emphasis on limited resources in the machine, which use internet to obtain the computing resources. Therefore, build distributed computing cloud platform is necessary. The objective of this study is to build a cloud distributed systems Hadoop, Hadoop Distributed File System (HDFS).We use four physical computers to host four virtual cluster environments with eight virtual cluster environments. The four cluster computers set up in each physical computer, with one virtual computer exist for each physical computer, so there are four virtual cluster environments. Then each of the four physical computers is built two virtual computers inside, so there are eight virtual cluster environments. It proves that a physical computer can has two or more virtual computers. Comply with the cloud virtualization of hundreds or thousands of cluster environments. Moreover, cloud distributed systems can deal with a lot of computing that we used in computing matrix. Matrix computing is important of engineering application. But usually implement MPI(Message Passing Interface). So this paper implements matrix computing of cloud platform.

關鍵字(中)

★ 雲端運算
★ Hadoop
★ 分散式系統
★ 虛擬叢集

關鍵字(英)

★ Distributed Systems
★ Hadoop
★ Cloud Computing

論文目次

摘要 i
Abstract ii
誌謝 iv
目錄 v
圖目錄 viii
表目錄 xiv
第一章、緒論 1
1.1 研究背景與動機 1
1.2 研究目的 3
1.3 研究範圍 3
1.4 研究流程 4
1.5 論文架構 5
第二章、文獻回顧 7
2.1 雲端運算 7
2.1.1 Microsoft 13
2.1.2 IBM 13
2.1.3 Oracle 14
2.1.4 Amazon 14
2.1.5 Google 14
2.1.6 雲端平台選擇 17
2.2 Hadoop簡介 17
2.2.1 HDFS 17
2.2.2 MapReduce 25
2.2.3 HBase 30
2.3 矩陣運算平行化回顧 37
2.3.1 矩陣加法 37
2.3.2 矩陣乘法 38
2.3.3 反矩陣 41
第三章、系統架構 42
3.1 Hadoop環境介紹 42
3.1.1 整體環境說明 45
3.1.2 四台節點的叢集環境 46
3.1.3 八台節點的叢集環境 51
3.2 Hadoop-0.20.2範例測試 55
3.2.1 執行成功範例 55
3.2.2 執行異常範例 69
3.3 HBase-0.20.6範例測試 70
3.3.1 執行成功範例 70
3.3.2 執行異常範例 78
3.4 測試總結 78
3.4.1 適合於Hadoop實作之探討 78
3.4.2 不適合於Hadoop實作之探討 79
3.4.3 適合於HBase實作之探討 79
3.4.4 不適合於HBase實作之探討 79
第四章、矩陣運算與評估 80
4.1 矩陣運算 80
4.1.1 矩陣相加減運算 80
4.1.2 矩陣相乘運算 85
4.1.3 反矩陣運算 91
4.2 矩陣運算評估 97
4.2.1 矩陣相加減評估 97
4.2.2 矩陣相乘評估 104
4.2.3 反矩陣評估 112
第五章、結論與建議 115
5.1 結論 115
5.2 建議 116
5.3 貢獻 116
參考文獻 118
附錄一：VirtualBox-4.0.8安裝與設定 120
附錄二：Ubuntu-9.10安裝 130
附錄三：Ubuntu-12.04安裝 138
附錄四：Hadoop-0.20.2與HBase-0.20.6設定 145
附錄五：Hadoop-1.0.3與HBase-0.94.0設定 172

參考文獻

Agarwal, C., R., Bale, M., S., Gustavson, G., F., Joshi, M., and Palkar, P. (1995) “A threedimensional approach to parallel matrix multiplication.” IBM Journal of Research and Development, 39(5), 575-582.
Armbrust, M., Fox, A., Griffith, R., Joseph, A. D., Katz, R., Konwinski, A., Lee, G., Patterson, D., Rabkin, A., Stoica, I., and Zaharia, M. (2010) “A View of Cloud Computing.” Communications of the ACM, 53(4), 50-58.
Apache (2012). HDFS Architecture Guide. Retrieved February 17, 2012, from http://hadoop.apache.org/common/docs/current/hdfs_design.html
Chang, F., Dean, J., Ghemawat, S., Hsieh, C., W., Wallach, A., D., Burrows, M., Chandra, T., Fikes, A., and Gruber, E., R. (2008) “Bigtable: A Distributed Storage System for Structured Data.” ACM Transactions on Computer Systems, 26(2).
Cusumano, M. (2010) “Cloud Computing and SaaS as New Computing Platforms.” Communications of the ACM, 53(4), 27-29.
Dean, J., and Ghemawat, S. (2008) “MapReduce: Simplied Data Processing on Large Clusters.” Communications of the ACM, 51(1), 107-113.
Ghemawat, S., Gobioff, H., and Leung, T., S. (2003) “The Google File System.” Proceedings of the nineteenth ACM symposium on Operating systems principles, 29-43.
Krumins, P. (2009). MIT’’s Introduction to Algorithms, Lectures 20 and 21: Parallel, Retrieved February 18, 2012, April 27, 2012 from http://www.catonmat.net/blog/mit-introduction-to-algorithms-part-thirteen/
Lars, G. (2011) “HBase: The Definitive Guide.” Oreilly and Associates Inc.
Pease, C., M. (1967) “Matrix Inversion Using Parallel Processing.” Journal of the Association for Computing Machinery, 14(4), 757-764.
Ricky, H. (2008). Hadoop Map/Reduce Implementation. Retrieved February 2, 2012, from http://horicky.blogspot.com/2008/11/ hadoop-mapreduce-implementation.html
Shvachko, K., Kuang, H., Radia, S., and Chansler, R. (2010) “The Hadoop Distributed File System.” Mass Storage Systems and Technologies, 1-10.
Seo, S., Yoon, J. E., Kim, J., Jin, S., Kim, S. J., Maeng, S. (2010) “HAMA: An Efficient Matrix Computation with the MapReduce Framework. ” International Conference on Cloud Computing Technology and Science, 721-726.
Tom, W. and Doug, C. (2010) “Hadoop: The Definitive Guide.” Oreilly and Associates Inc.
Wikipedia (2011). Apache Hadoop. Retrieved February 2, 2012, from http://en.wikipedia.org/wiki/Apache_Hadoop
Wikipedia (2010). Windows Azure. Retrieved February 2, 2012, from http://zh.wikipedia.org/wiki/Windows_Azure
Wikipedia (2012). MapReduce. Retrieved February 18, 2012, from http://en.wikipedia.org/wiki/MapReduce
Zhang, C., and Sterck, D. H. (2010) “Supporting Multi-row Distributed Transactions with Global Snapshot Isolation Using Bare-bones HBase” In Proceedings of the 11th ACM/IEEE International Conference on Grid Computing (Grid), 177-184.
王鵬(2010)。雲端運算的關鍵技術與應用實例。佳魁資訊。
國際商業機器股份有限公司(2010)。精選雲端解決方案。西元2012年2月3日，取自：http://www-03.ibm.com/systems/tw/promotion/2010_q1_hot/cloud.html
黃淑玲(2010)。雲端辦公室Google Office簡介。國立台灣大學計算機及資訊網路中心電子報第15期。民國101年2月2日，取自：http://www.cc.ntu.edu.tw/chinese/epaper/0015/20101220_1506.htm

指導教授

周建成(Chien-Cheng Chou)

審核日期

2012-7-25

推文