博碩士論文 101522096 詳細資訊




以作者查詢圖書館館藏 以作者查詢臺灣博碩士 以作者查詢全國書目 勘誤回報 、線上人數:17 、訪客IP:3.237.48.165
姓名 黃郁哲(Yu-che Huang)  查詢紙本館藏   畢業系所 資訊工程學系
論文名稱 多層化之分散式天文資料索引儲存系統
(Hierarchical Distributed Index and File System for Astronomical Observation Data)
相關論文
★ 應用自組織映射圖網路及倒傳遞網路於探勘通信資料庫之潛在用戶★ 基於社群網路特徵之企業電子郵件分類
★ 社群網路中多階層影響力傳播探勘之研究★ 以點對點技術為基礎之整合性資訊管理 及分析系統
★ 在分散式雲端平台上對不同巨量天文應用之資料區域性適用策略研究★ 應用資料倉儲技術探索點對點網路環境知識之研究
★ 從交易資料庫中以自我推導方式探勘具有多層次FP-tree★ 建構儲存體容量被動遷徙政策於生命週期管理系統之研究
★ 應用服務探勘於發現複合服務之研究★ 利用權重字尾樹中頻繁事件序改善入侵偵測系統
★ 有效率的處理在資料倉儲上連續的聚合查詢★ 入侵偵測系統:使用以函數為基礎的系統呼叫序列
★ 有效率的在資料方體上進行多維度及多層次的關聯規則探勘★ 在網路學習上的社群關聯及權重之課程建議
★ 在社群網路服務中找出不活躍的使用者★ 利用階層式權重字尾樹找出在天文觀測紀錄中變化相似的序列
檔案 [Endnote RIS 格式]    [Bibtex 格式]    [相關文章]   [文章引用]   [完整記錄]   [館藏目錄]   [檢視]  [下載]
  1. 本電子論文使用權限為同意立即開放。
  2. 已達開放權限電子全文僅授權使用者為學術研究之目的,進行個人非營利性質之檢索、閱讀、列印。
  3. 請遵守中華民國著作權法之相關規定,切勿任意重製、散佈、改作、轉貼、播送,以免觸法。

摘要(中) 在天體觀測中,星體的資料是龐大且是隨時增加的,所以在保存資料上需要非常大量的儲存設備來支援。假如在資料的儲存上缺少一套有效率的管理方法,那麼當研究人員需要使用資料時,就必須親自確認所需的資料位於那些機器上,再逐一的到這些機器上把資料撈取出來,這種行為費時又不切實際。有鑑於此,本論文開發一套多層化的分散式天文資料管理系統。此系統首先使用多層次三角網格來建構出天空模型,來給予星球一個編號來當作資料索引。由於這些編號都是有順序性而且連續的,本論文將伺服器連結成環狀的架構,讓每一個伺服器都負責一段連續但不重複的資料索引值範圍,並使用這些範圍來確認所要保管的資料,另外每二個相鄰的伺服器其所管理的資料索引值範圍都是連續的。而採用環狀架構的原因為其擴充性、容錯性高以及高可用性。此種架構為系統帶來了良好的基礎。
為了加速資料搜尋的效率,此系統必須運行多種不同的服務,因此會大幅的增加機器的負擔,為了要降低機器的負荷,我們將以下三個功能獨立到三層不同的環狀架構。它們分別負責1.將使用者輸入的搜尋條件轉換成系統搜尋命令2.建立資料索引來找出使用者所需的資料以及該資料的存放位置3.儲存星球的實體資料。將這些功能分開運行之後,除了可以降低單台機器的負擔,往後任一個層次運行的功能需要進行調整時,即可直接替換而不需要重新建構整個系統。
摘要(英) The data of star observation is huge and increase continuously. Therefore it needs strong hardware to store these data. If these data lacks of a efficiently manage methodology, users will need to find and get data themselves, it’s not a good and efficient way. In order to solve this problem, this paper proposes a hierarchical design distributed file system to manage these astronomical observation data. First, this system uses Hierarchical Triangular Mesh to compute a key for every star, the values of these keys are sequential, so this paper links the servers in the system to form a ring structure, and let every server manages an unrepeated range of keys, range that every two adjacent servers manage are also continuous. Besides, The reason why adopting ring structure is due to its scalability, fault tolerance and availability, these advantages build the good foundation of the system.
For increase the efficiency of query, the system needs execute multiple services. To reduce the load of servers, this paper builds three level of the ring structure and allocates these services to different layer. These layers are 1. Query Transaction, 2. Data index, 3. Storage. This design not only reduces the load, but also makes these services independent.
關鍵字(中) ★ 分散式系統
★ 環狀架構
★ 空間索引
關鍵字(英) ★ Distributed System
★ Ring Structure
★ Spatial Index
論文目次 摘要 v
Abstract vi
致謝 vii
目錄 viii
圖目錄 x
表目錄 xii
緒論 1
1-1 研究動機 1
1-2 研究目的 1
1-3 論文章節介紹 2
二 文獻探討 4
2-1 分散式系統 4
2-1-1 點對點(Peer to Peer)架構 4
2-1-2 Chord 5
2-2 星體資料索引 7
2-2-1 多層次三角網格索引 7
2-2-2 HEALPix Grid 10
2-3 Chord相關研究 11
三 系統架構流程 14
四 研究方法與步驟 16
4-1 環狀分散式系統 16
4-1-1 系統架構 16
4-1-2 節點加入 17
4-1-3 節點離開 20
4-1-4 資料搜尋 21
4-1-5 新增資料 23
4-1-6 環狀架構自我穩定機制 24
4-1-7 資料負載平衡機制 26
4-2 多層次分散式資料儲存系統 29
4-2-1 使用者查詢命令轉換層 29
4-2-2 實體資料索引層 30
4-2-3 實體資料儲存層 31
4-2-4 建立跨層次通訊方式 32
4-3 利用多層次三角網格建立天空索引 34
4-3-1 建立多層次三角網格天空索引 35
4-3-2 尋找坐落於搜尋範圍內之三角網格 37
五 實驗與效能比較 39
5-1 Single Peer之Quad-Tree與MySQL比較 39
5-2 Multiple Peer之Quad-Tree與MySQL比較 41
5-3 不同Threshold下之HTM效能比較 47
5-4 不同使用情形下平衡機制之效果比較 49
六 結論 60
七參考文獻 61

參考文獻 [1] Napster, http://www.napster.com
[2] Patrick Kirk (2003). Gnutella File Sharing And Distribution Network, Retrieved June 28, 2007, The Gnutella Homepage: http://rfc-Gnutella.sourceforge.net/
[3] Ratnasamy, S., Francis, P., Handley, M., Karp, R., and Shenker, S., “ A scalable content-addressable network”, In Proc. ACM SIGCOMM (San Diego, CA, August 2001), pp. 161–172.
[4] I. Stoica, R. Morris et al., “Chord: A Scalable Peer-to-Peer Lookup Protocol for Internet Applications,” IEEE/ACM Trans. Net., vol. 11, no. 1, 2003, pp. 17–32.
[5] Zhao Cao.,Kan Li.,Yushu Liu., “A Multi-Level Super Peer Based P2P Architecture”, Information Networking,2008. ICON 2008.
[6] K. Aberer, P. Cudr´e-Mauroux, A. Datta, Z. Despotovic, M. Hauswirth, M. Punceva, and R. Schmidt. P-grid: A self-organizing structured p2p system. ACM SIGMOD Record, 32(3), 2003.
[7] Fabrizio Marozzo., Domenico Talia., Paolo Trunfio., “P2P-MapReduce:Parallel data processing in dynamic Cloud environments”, Journal of Computer and System Science 78(2012) 1382-1402.
[8] L. Gong, JXTA: A network programming environment, IEEE Internet Comput. 5 (3) (2001) 88–95.
[9] Kunszt, P. Z., Szalay, A. S., Csabai, I., Thakar, A. R., “The Indexing of the SDSS Science Archive,” Proceeding of ADASS IX, 2000, 216, 141–144.
[10] Kunszt, P. Z., Szalay, A. S., and Thakar, A. R., “The Hierarchical Triangular Mesh, in Mining the Sky, ” ed. A. J. Banday, S. Zaroubi, and M. Bartelmann (Berlin: Springer-Verlag), 2001, 631–637.
[11] W. O’Mullane, A.J. Banday, K.M. Gorski, P. Kuntz, A.S. Szalay, “Splitting the Sky – HTM and HEALPix,” Mining the Sky, Banday et al ed, Springer, 2000, p 639–648
[12] SkyServer – HTM, http://www.skyserver.org/HTM/
[13] 鄭凱豪., “Distributed Large-Scale Astronomical Data Management System Based on HTM Index”., ”National Central University”
[14] Alexander S. Szalay, Jim Gary, George Fekete. Peter Z. Kunszt, Peter Kukol, Ani Thakar, “Indexing the Sphere with the Hierarchical Triangular Mesh”, Technical Report MSR-TR-2005-123
[15] Peter Z. Kunszt, Alexander S. Szalay, Aniruddha R. Thakar., “Hierarchical Triangular Meah”., Baltimore MD,21218, USA
[16] Mark R. Calabretta., Boudewijn F. Roukema., “Mapping on HealPix grid”., MNRAS 2007 July 25
指導教授 蔡孟峰(Meng-feng Tsai) 審核日期 2014-7-16
推文 facebook   plurk   twitter   funp   google   live   udn   HD   myshare   reddit   netvibes   friend   youpush   delicious   baidu   
網路書籤 Google bookmarks   del.icio.us   hemidemi   myshare   

若有論文相關問題,請聯絡國立中央大學圖書館推廣服務組 TEL:(03)422-7151轉57407,或E-mail聯絡  - 隱私權政策聲明