English  |  正體中文  |  简体中文  |  全文筆數/總筆數 : 78728/78728 (100%)
造訪人次 : 34324027      線上人數 : 2654
RC Version 7.0 © Powered By DSPACE, MIT. Enhanced by NTU Library IR team.
搜尋範圍 查詢小技巧:
  • 您可在西文檢索詞彙前後加上"雙引號",以獲取較精準的檢索結果
  • 若欲以作者姓名搜尋,建議至進階搜尋限定作者欄位,可獲得較完整資料
  • 進階搜尋


    請使用永久網址來引用或連結此文件: http://ir.lib.ncu.edu.tw/handle/987654321/72051


    題名: 以MapReduce進行交叉驗證整合大量天文資料;Incorporating Astronomical Catalog by using Cross-Matching Algorithm with MapReduce
    作者: 謝佳昕;Shie,Jia-Shin
    貢獻者: 資訊工程學系
    關鍵詞: 大量資料;雲端運算;分散式系統;交叉驗證;Big Data;Cloud computing;Distributed system;Cross-Matching
    日期: 2016-07-20
    上傳時間: 2016-10-13 14:23:34 (UTC+8)
    出版者: 國立中央大學
    摘要: 隨著科技的進步,在天文觀測時所使用的望遠鏡的功能也越來越強大,所觀測到的資訊更多、資料量也更大。增加了天文研究人員在進行研究時的困難,因此,本論文提出以交叉驗證(Cross-Matching)的方式,對大量的天文資料進行整合,以利於研究人員能快速的找出所需的資料。
    交叉驗證(Cross-Matching)是一種常見的方法。用於大量的天文資料中找出有用的資訊。在過去以單機的方式進行交叉驗證(Cross-Matching)非常沒有效率,因此本論文以交叉驗證(Cross-Matching)為基礎,搭配OpenStack及Hadoop,建立一個分散式的雲端環境,再以分散式的演算法實作交叉驗證(Cross-Matching),達到更有效率的對大量的天文資料進行整合。同時用分散式的檔案系統及資料庫做為儲存設備,使整個系統更具可靠性及擴充性。
    本論文在實驗的部分以兩種不同的儲存方式進行設計:HDFS及HBase,比較單機版程式及分散式程式的執行速率和在相同節點數,實體電腦的運算時間及在雲端環境上的虛擬節點的運算時間;在不同節點數其運算時間之比較;不同儲存方式的運算時間。並提供一個視覺化的使用者介面,可以快速的找出需要的資料。
    ;Cross-Matching is a common way for find out the useful information from different star catalogs. Today hardware is more powerful than before. The data obtained through astronomical telescopes are becoming much larger. Therefore, single machine is not able to afford handling the astronomical data. In this paper, we use OpenStack to build a cloud computing environment, Hadoop as a distributed system, HDFS and HBase as distributed storages. Implement Cross-matching with MapReduce framework. In addition, Hbase supports random access so we make an incremental mechanism. User can update new astronomical data as they want. In the experiment, Transient is my test data to compare the operation time of using single machine with distributed system and using the same number of nodes on the physical machine with virtual machine. The result shows that using virtual machine is faster than using physical machine. Furthermore, we create 12 physical nodes on cloud environment to observe the operation time of different number of node. Theoretically, when we use more nodes to run the program the speed is much faster. The fact that the speeds of 10 nodes and 12 nodes are very similar.
    顯示於類別:[資訊工程研究所] 博碩士論文

    文件中的檔案:

    檔案 描述 大小格式瀏覽次數
    index.html0KbHTML350檢視/開啟


    在NCUIR中所有的資料項目都受到原著作權保護.

    社群 sharing

    ::: Copyright National Central University. | 國立中央大學圖書館版權所有 | 收藏本站 | 設為首頁 | 最佳瀏覽畫面: 1024*768 | 建站日期:8-24-2009 :::
    DSpace Software Copyright © 2002-2004  MIT &  Hewlett-Packard  /   Enhanced by   NTU Library IR team Copyright ©   - 隱私權政策聲明