English  |  正體中文  |  简体中文  |  全文筆數/總筆數 : 61345/61345 (100%)
造訪人次 : 16266903      線上人數 : 305
RC Version 7.0 © Powered By DSPACE, MIT. Enhanced by NTU Library IR team.
搜尋範圍 查詢小技巧:
  • 您可在西文檢索詞彙前後加上"雙引號",以獲取較精準的檢索結果
  • 若欲以作者姓名搜尋,建議至進階搜尋限定作者欄位,可獲得較完整資料
  • 進階搜尋


    請使用永久網址來引用或連結此文件: http://ir.lib.ncu.edu.tw/handle/987654321/72192


    題名: 分治式樣本選取法於巨量資料探勘之研究
    作者: 陳毅寰;Chen,Yi-Huan
    貢獻者: 資訊管理學系
    關鍵詞: 巨量資料;Divide and Conquer;資料前處理(樣本選取);分類探勘;big data;divide and conquer;instance selection;classification
    日期: 2016-08-05
    上傳時間: 2016-10-13 14:31:14 (UTC+8)
    出版者: 國立中央大學
    摘要: 巨量資料時代來臨,隨著處理的資料跳躍式成長,資料的雜訊也隨之增加,因此我們在資料探勘之前先進行資料的樣本選取,把雜訊去掉留下代表性資料,以確保後續資料探勘的品質。
      但隨著資料點的數量級大到一定程度,樣本選取前處理的複雜度大增,使選取效果受到影響,進而影響後續資料探勘結果。另外,不同的樣本選取演算法在不同的資料集或是問題上,其選取效果有優有劣,不可能有任何一個演算法在所有資料集都有最佳的選取效果。
    本研究提出了分散式樣本選取流程架構DCIS,藉由Divide and Conquer的概念把問題簡化成數個子問題,依序各個擊破進行樣本選取且最後再進行一次匯集篩選,以提升選取品質,並讓不同的樣本選取演算法在本DCIS的架構中都能獲得選取效果的提升。
    本研究使用小型資料集,逐步實驗不同的匯集篩選方式、分類器和分散的群組數,最後確定DCIS方法架構,以大型資料集實驗DCIS之成效。結果顯示DCIS成功的讓不同的樣本選取演算法,在面對大型或是小型資料集時,都獲得了樣本選取品質的提升,進而幫助後續的資料探勘結果。
    ;In the big data era, data grows rapidly and so does noisy data. We need to do instance selection as data pre-processing to pick out representative data before mining the insight from data and keep the result qualified.
    As the amount of data grows up, the computational complexity of performing instance selection can increase. It also affects the results of data selection and data mining. Additionally, no instance selection algorithm can provide the best result for every data set. There is no the best solution for each problem.
    In this work, we propose a divide and conquer-based instance selection framework, namely DCIS. First, it breaks the original data set into smaller sub-datasets and makes them in several groups. Second, it uses an instance selection algorithm to get representative data from each group sequentially. Last, it combines each part into one set as the final result after instance selection.
    We use small data sets to examine the performances of DCIS with different numbers of sub-datasets in the first step of DCIS and different ways of combination in the final step of DCIS. Moreover, large scale datasets are also used to assess the applicability of DCIS. The experimental result shows that DCIS is a suitable framework to enhance the performance of instance selection over both small and large scale datasets.
    顯示於類別:[資訊管理研究所] 博碩士論文

    文件中的檔案:

    檔案 描述 大小格式瀏覽次數
    index.html0KbHTML167檢視/開啟


    在NCUIR中所有的資料項目都受到原著作權保護.

    社群 sharing

    ::: Copyright © National Central University. | 國立中央大學圖書館版權所有 | 收藏本站 | 設為首頁 | 最佳瀏覽畫面: 1024*768 | 建站日期:8-24-2009 :::
    DSpace Software Copyright © 2002-2004  MIT &  Hewlett-Packard  /   Enhanced by   NTU Library IR team Copyright ©   - 回饋  - 隱私權政策聲明