網際網路包含大量的資料，其中深網(Deep Web)所提供的大量結構性資料， 相較於表層網路(Surface Web)所提供的資訊有更高的價值。然而深網藉由共同 閘道介面(CGI)所提供給人們查詢的方式並不適合程式的讀取，因此對於資訊的 整合來說，如何從查詢所得的網頁中擷取所要的資料，是存在十多年的挑戰。其 中的技術發展也從監督式的資料擷取方法到非監督式的資料擷取方法，並從主要 資料擷取(Data Rich Section Data Extraction) 進化到全頁式的資料擷取 (Page-level Data Extraction)。非監督式的資料擷取方法主要透過相似的網頁 結構反向推導其產生模型使用的HTML 樣板以及資料模型，由於同樣的HTML 標籤 可能用以呈現不同的資訊，因此自動推論最大的困難點便在於如何辨識相同 HTML 標籤是否代表不同的意義。本篇論文應用機器學習方法來判斷網文件物件 模型樹(DOM Tree)中的兩個HTML 標籤是否為同儕節點（Peer Node），藉以改善 非監督式的資料擷取方法FiVaTech 推論網頁樣板(Template)及資料結構 (Schema)的準確度。此分類器採用HTML 標籤資訊、視覺化資訊、文字內容資訊 等三類做為分類器的特性。另外我們同時也利用比對顯示在瀏覽器上HTML 標籤 的影像來輔助樣版的判斷。實驗結果顯示，採用J48 分類器對於Peer Node 的辨 識可以逹到90%左右的準確率，同時對於資料結構的準確度也有20%的改善，顯 示此方法的可行之處。A huge amount of information on the World Wide Web has a structured HTML form as they are generated dynamically from databases and have the same template. This paper proposes a page-level web data extraction system FiVaTech2 that extracts schema and templates from these template-based web pages automatically. The proposed system, FiVaTech2, is an extension to our previously page-level web data extraction system FiVaTech. FiVaTech2 uses a machine learning (ML) based method which compares HTML tag pairs to estimate how likely they present in the web pages. We use one of the ML techniques called J48 decision tree classifier and also use image comparison to assist templates detection. Each HTML tag in the web page has several features that can be divided into the three types: visual information, DOM tree information, and HTML tag contents. Our experiments show an encouraging result for the test pages when combinations of the three types of tag features are used. Also, our experiments show that FiVaTech2 performs better and has higher efficiency than FiVaTech.
