基於手機擷取影像之書面樂譜辨識

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：11

、訪客IP：3.142.98.108

姓名

高士喬(Shih-Ciao Gao) 查詢紙本館藏

畢業系所

電機工程學系

論文名稱

基於手機擷取影像之書面樂譜辨識
(Binding Book Music Recognition Based on Mobile Phone Image)

相關論文

★ 直接甲醇燃料電池混合供電系統之控制研究	★ 利用折射率檢測法在水耕植物之水質檢測研究
★ DSP主控之模型車自動導控系統	★ 旋轉式倒單擺動作控制之再設計
★ 高速公路上下匝道燈號之模糊控制決策	★ 模糊集合之模糊度探討
★ 雙質量彈簧連結系統運動控制性能之再改良	★ 桌上曲棍球之影像視覺系統
★ 桌上曲棍球之機器人攻防控制	★ 模型直昇機姿態控制
★ 模糊控制系統的穩定性分析及設計	★ 門禁監控即時辨識系統
★ 桌上曲棍球：人與機械手對打	★ 麻將牌辨識系統
★ 相關誤差神經網路之應用於輻射量測植被和土壤含水量	★ 三節式機器人之站立控制

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

本論文提出了一個書面樂譜辨識的方法，利用手機內建的相機拍攝市售樂譜或自製的樂譜，以藍芽將影像回傳至電腦端進行書面校正與樂譜辨識。辨識功能分為隨機及指定歌曲辨識；隨機歌曲進行整首歌曲的辨識，而指定歌曲則以小節為單位進行辨識與資料庫比對做歌曲搜尋。最後將辨識出來的音階與節拍轉成MIDI音樂檔於電腦端直接播放，或是回傳至手機當成手機鈴聲播放。
本論文的辨識系統分成兩大部分，第一部份是幾何扭曲校正的部分: 以角點偵測抓取書面的四個角，根據此四角的範圍偵測書面的邊界位置，利用書面的邊界對整個書面作水平和垂直方向的校正，則書本裝訂所造成扭曲可以得到校正。第二部份是樂譜辨識的部分: 利用校正完的影像，抓出主要譜表的部分，接著對譜表做譜線消去、音符抓取，最後利用音符範圍比例及符頭位置，判斷音階及節拍，加入樂理的修正後產生最後的辨識結果。

摘要(英)

This thesis presents a system for music recognition on non-flat surface music score, whether commercial or self-made music score by image processing. In this system, the image is captured by a mobile phone and sent to PC through Bluetooth protocol. And then the image distortion correction and music recognition are applied. Two modes are built in this system, namely random and assignment recognition mode. All and one part of music notes are recognized in random and assignment recognition mode, respectively. The recognition results are matched with the database for the song correction. Finally, the recognized music is converted to a MIDI file and played on the PC or mobile phone.
The recognition system comprises two part processes, namely geometric distortion correction and music recognition. In geometric distortion correction, the corner and boundary detection and vertical and horizontal correction are applied to correct the image warping which is due to bookbinding. The meter and scale of music are recognized in music recognition part. The steps of music recognition are music staves detection, stuff lines detection and the music notes recognition. Finally, the music theory is applied to check the recognized results again. The experiment shows the recognition rate is about 95% in more than 30 songs, and the recognition time for each song is about 2.5 seconds.

關鍵字(中)

★ 樂譜辨識
★ 影像辨識
★ 幾合扭曲校正

關鍵字(英)

★ Image Recognition
★ Geometric Distortion Correction
★ Music Recognition

論文目次

摘要……………………………………………………………………………....i
Abstract…………………………………………………………………............ii
誌謝…………………………………………………………………..................iii
目錄…………………………………………………………………...…...........iv
圖目錄…………………………………………………………………..............vi
表目錄………………………………………………………………………......ix
第一章緒論…………………………………………………………………….1
1.1 研究背景與動機……………………………………………………………1
1.2 文獻回顧……………………………………………………………………1
1.3 論文目標……………………………………………………………………2
1.4 本文架構…………………………………………………………………....3
第二章系統架構與系統流程………………………………………………….4
2.1 系統架構…………………………………………………………………....4
2.1.1 個人電腦……………………………………………………………...4
2.1.2 Nokia5610 XpressMusic 手機………………………………….........5
2.1.3 藍芽傳輸模組……………………………………………………….5
2.2 系統流程…………………………………………………………………....5
第三章幾何扭曲校正………………………………………………………….7
3.1 前置處理……………………………………………………………………7
3.1.1 低通濾波…………………………………………………………….7
3.1.2 樂譜範圍抓取……………………………………………………….8
3.2 造成扭曲之原因分析與系統流程…………………………………............9
3.3 多餘頁面偵測與消除……………………………………………..............11
3.3.1 多餘頁面偵測……………………………………………………….11
3.3.2 多餘頁面消除……………………………………………………….12
3.4 字元去除…………………………………………………………..............14
3.5 角點偵測…….…………………………………………………………….15
3.6 左右邊界校正……………………………………………………..............17
3.7 曲度計算與比例修正……………………………………………………..19
3.8 上下邊界校正及正規化…………………………………………………..20
第四章樂譜辨識……………………………………………………………...23
4.1 譜表偵測…...……………………………………………………………...23
4.1.1 單部譜表抓取...……….………………………………………….....24
4.1.2 雙部譜表抓取…...………………………………………………….24
4.2 譜線與數字的移除及譜線重建…………………………………..............27
4.3 音符重建與抓取…………………………………………………………..28
4.3.1 音符範圍判斷與抓取.…………………………………....................29
4.3.2 譜號與拍號重建…………………………………………….............29
4.3.3 具音階之破裂音符抓取……………………………………………30
4.4 符桿與符頭位置偵測……………………………………………..............34
4.5 音階與節拍判斷…………………………………………………..............36
4.5.1 音階的判斷…………………………………………………………...36
4.5.2 節拍的判斷…………………………………………………...............37
4.6 樂理修正…………………………………………………………..............38
4.7 資料庫搜尋………………………………………………………..............40
第五章實驗結果……………………………………………………………...42
5.1 辨識系統介面……………………………………………………..............42
5.2 實驗流程…………………………………………………………..............42
5.3 辨識率統計與結果………………………………………………..............45
第六章結論與未來展望……………………………………………………...49
6.1 結論………………………………………………………………………..49
6.2 未來展望…………………………………………………………..............49
文獻參考……………………………………………………………….............51

參考文獻

[1] A. Yamashita, A. Kawarago, T. Kaneko, and K. T. Miura, “Shape recognition and image restoration for non-flat surfaces of documents with a stereo vision system,” in Proceedings of 17th International Conference on Pattern Recognition(ICPR’04), 2003, pp. 1688-1693.
[2] A. Doncescu, A. Bouju, and V. Quillet, “Former books digital processing: image warping,” in Proceedings of Workshop of Document Image Analysis, 1997, pp. 5-9.
[3] H. Cao, X. Ding, C. Liu, and C. Liu, “A cylindrical surface model to rectify the bound document image,” in Proceedings of the Ninth IEEE International Conference on Computer Vision(ICCV’03), 2003, pp. 228-233.
[4] K. T. Reed and J. R. Parker, “Automatic computer recognition of printed music,”
in Proceedings of the ICPR, 1996, pp. 803-807.
[5] E. Sicard, “An efficient method for the recognition of printed music,” in Proceedings of the 11th LAPR, 1992, pp. 573-576.
[6] K. Wijaya and D. Bainbridge, “Staff line restoration,” in Proceedings of the 7th International Conference on Image Precessing and Its Applicationsr, 1999, vol. 2, pp. 760-764.
[7] F. Kimura and M. Shridha, “Handwritten numercal recognition based on multiple algorithms,” Pattern Recognition, vol. 19, pp. 1-12, 1986.
[8] R. Randriamahefa, J. P. Cocquerez, C. Fluhr, F. Pepin and S. Philipp, “Printed music recognition,” in Proceedings of the 2nd International Conference on Document Analysis and Recognition, 1993, pp. 898-901.
[9] F. Rossant, “A global method for music symbol recognition in typeset music sheets,” Pattern Recognition Letters, vol. 23, no. 10, pp. 1129-1141, 2002.
[10] H. Miyao and Y. Nakano, “Head and stem extraction from printed music scores using a neural network approach,” in Proceedings of the 3rd International Conference on Document Analysis and Recognition, 1995, pp. 1074-1079.
[11] 蔡自偉（蔣依吾教授指導），“印刷樂譜辨識系統”，國立中山大學資訊工程研究所碩士論文，2004年7月。
[12] 張智鈞（王文俊教授指導），“五線譜之即時辨識與演奏”，國立台北科技大學電機工程研究所碩士論文，2009年6月。
[13] 盧凱傑（范欽雄教授指導），“機器人的仿真人閱讀鋼琴譜技術”，國立台灣科技大學資訊工程研究所碩士論文，2009年1月。
[14] 黃文吉，C++Builder 與影像處理，儒林圖書有限公司，2008年。
[15] 余明興、吳明哲、黃世陽、黃豐隆、紀旺松與潘能煌，Borland C++ Builder6 程式設計經典，文魁資訊股份有限公司，2002年。
[16] 劉瑞禎與于仕琪，OpenCV 教程. 基礎篇，北京航空航太大學出版社，2007年。
[17] F. Durand and J. Dorsey, “Fast bilateral filtering for the display of high dynamic range image,” in Proceedings of SIGGRAPH 2002, 2002, pp. 257-266.
[18] 蘇江田（張軒庭教授指導），“利用像量量化索引在影像切割之研究”，國立雲林科技大學電機工程研究所碩士論文，2006年6月。
[19] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2nd Edition, Upper Saddle River, NJ: Prentice-Hall Inc.,2002.
[20] 雲冠群（薛憲文教授指導），“基於角點偵測技術應用於光達資料之建物輪廓提取”，國立中山大學海洋環境及工程學系研究所碩士論文，2008年1月。
[21] 方柏堯（王鵬華教授指導），“排序統計量於彩色影像插值應用”，國立台北大學通訊工程研究所碩士論文，2009年7月。
[22] S. Yang, “SYTMP,” Computer Program, 1997.

指導教授

王文俊(Wen-June Wang)

審核日期

2010-7-5

推文