基於Hadoop之分散式多層次三角網格索引系統

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：34

、訪客IP：3.145.38.166

姓名

詹皇傑(CHAN HUANG CHIEH) 查詢紙本館藏

畢業系所

資訊工程學系

論文名稱

基於Hadoop之分散式多層次三角網格索引系統
(Distributed Hierarchical Triangular Mesh Index Base on Hadoop)

相關論文

★ 應用自組織映射圖網路及倒傳遞網路於探勘通信資料庫之潛在用戶	★ 基於社群網路特徵之企業電子郵件分類
★ 行動網路用戶時序行為分析	★ 社群網路中多階層影響力傳播探勘之研究
★ 以點對點技術為基礎之整合性資訊管理及分析系統	★ 在分散式雲端平台上對不同巨量天文應用之資料區域性適用策略研究
★ 應用資料倉儲技術探索點對點網路環境知識之研究	★ 從交易資料庫中以自我推導方式探勘具有多層次FP-tree
★ 建構儲存體容量被動遷徙政策於生命週期管理系統之研究	★ 應用服務探勘於發現複合服務之研究
★ 利用權重字尾樹中頻繁事件序改善入侵偵測系統	★ 有效率的處理在資料倉儲上連續的聚合查詢
★ 入侵偵測系統：使用以函數為基礎的系統呼叫序列	★ 有效率的在資料方體上進行多維度及多層次的關聯規則探勘
★ 在網路學習上的社群關聯及權重之課程建議	★ 在社群網路服務中找出不活躍的使用者

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

目前，在地球科學、地理、天文等領域的研究或應用中，需要分析處理空間中的物件，而物件的位置通常是在球面上以赤經及赤緯來記錄。為了使儲存及管理這些物件更有效率，需設計出一套良好的球面空間索引系統。隨著科技的進步以及資料長久的累積，各個領域需要分析的資料量越來越多，導致在傳統單機應用的環境下，硬體無法負擔。
因此，本論文建構了分散式球面空間索引系統，以多層次三角網格（HTM）為模型，運用Hadoop的MapReduce運算框架，設計出相應的資料結構及分散式演算法。不但能儲存及管理大量球面空間物件，還能提供分散式應用程式快速索引與查詢的功能。
本論文之分散式球面空間索引系統，是使用泛星巡天計劃Desktop Virtual Observatory (DVO) 資料集，而經由實驗將系統中各項參數對效率的響影做比較，供使用者參考，可以針對不同的系統環境及不同的應用需求進行調整，達到系統的最佳效率。

摘要(英)

Recently, research or applications in earth science, geography, astronomy, those need analyzing and processing spatial objects which position is usually recorded by right ascension (ra) and declination (dec) on sphere. In order to store and manage those objects efficiently, we need to design a well sphere spatial index system. With the progress of technology and long-term accumulation of data, there are more and more data need to analyze in each field, this result cause that hardware can’t afford data in traditional single machine application environment.
Therefore, this paper construct distributed sphere spatial index system which is modeling by Hierarchical Triangular Mesh (HTM) using Hadoop MapReduce computing framework to design reference data structure and algorithm. Not only can it store and manage lots of sphere spatial objects, but offer distributed applications indexing efficiently and searching function.
Distributed sphere spatial index system in this paper, using Desktop Virtual Observatory (DVO) data in Pan-STARRS Project. Through experiments, we compare influence of efficiency by each parameters in this system, and that results can be referenced by users. They can modify parameters according to different system environments and different applications, and distributed sphere spatial index system can achieve its’ best efficiency.

關鍵字(中)

★ 分散式系統
★ 空間索引
★ 多層次三角網格

關鍵字(英)

★ distributed system
★ spatial index
★ hierarchical triangular mesh

論文目次

摘要 i
Abstract ii
致謝 iv
目錄 v
圖目錄 vii
一、緒論 1
1-1 研究動機 1
1-2 研究目的 2
1-3 論文章節介紹 3
二、文獻探討 4
2-1 泛星計畫 4
2-2 OpenStack 4
2-3 Hadoop 5
2-4 多層次三角網格 7
三、系統架構與流程 15
3-1 系統架構 15
3-2 系統流程 15
四、研究方法 17
4-1 HTM索引樹 17
4-2 CreateIndex：建構HTM索引樹之MapReduce任務 20
4-3 PointQuery：點查詢之MapReduce任務 23
4-4 RangeQuery：範圍查詢之MapReduce任務 24
4-5 單機訪問HDFS之查詢任務 28
五、實驗 29
5-1 實驗環境與資料集 29
5-2 CreateIndex執行時間 30
5-3 PointQuery執行時間 31
5-4 RangeQuery執行時間 35
5-5 樹根深度影響 38
5-6 葉節點容器值影響 39
5-7 集中資料集查詢 41
六、結論 44
七、參考文獻 45

參考文獻

[1] SkyServer – HTM, http://www.skyserver.org/
[2] Pan-STARRS, http://pan-starrs.ifa.hawaii.edu/public/
[3] TAOS, http://taos.asiaa.sinica.edu.tw/
[4] SUBARU, http://www.subarutelescope.org/index.html
[5] Apache Hadoop, http://hadoop.apache.org/
[6] OpenStack, https://www.openstack.org/
[7] Sachin Puttur: Big Data: Overview of apache Hadoop, http://www.sachinpbuzz.com/2014/01/big-data-overview-of-apache-hadoop.html
[8] Hadoop 101: Programming MapReduce with Native Libraries, Hive, Pig, and Cascading, http://blog.pivotal.io/pivotal/products/hadoop-101-programming-mapreduce-with-native-libraries-hive-pig-and-cascading
[9] A. Szalay, J. Gray, G. Fekete, P. Kunszt, P. Kukol, and A. Thakar, "Indexing the sphere with the hierarchical triangular mesh", in MSR-TR- 2005-123, September 2005.
[10] Feng, Jun, et al. "HQ-Tree: A distributed spatial index based on Hadoop." China Communications 11.7 (2014): 128-141.
[11] Lv, Zhenhua, et al. "Spatial indexing of global geographical data with HTM." 2010 18th International Conference on Geoinformatics. IEEE, 2010.
[12] 鄭凱豪, "Distributed Large-Scale Astronomical Data Management System Based on HTM Index", 國立中央大學, 碩士論文, 2012.
[13] 黃郁哲, "Hierarchical Distributed Index and File System for Astronomical Observation Data", 國立中央大學, 碩士論文, 2014.

指導教授

蔡孟峰

審核日期

2016-8-11

推文