基於視覺的手寫軌跡注音符號組合辨識系統

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：18

、訪客IP：3.135.202.224

姓名

沈群景(Qun-Jing Shen) 查詢紙本館藏

畢業系所

資訊工程學系

論文名稱

基於視覺的手寫軌跡注音符號組合辨識系統
(Vision Based Fingertip Input System by Recognizing Mandarin Phonetic Symbol Combinations)

相關論文

★ 影片指定對象臉部置換系統	★ 以單一攝影機實現單指虛擬鍵盤之功能
★ 利用動態貝氏網路在空照影像中進行車輛偵測	★ 以視訊為基礎之手寫簽名認證
★ 使用膚色與陰影機率高斯混合模型之移動膚色區域偵測	★ 影像中賦予信任等級的群眾切割
★ 航空監控影像之區域切割與分類	★ 在群體人數估計應用中使用不同特徵與回歸方法之分析比較
★ 以視覺為基礎之強韌多指尖偵測與人機介面應用	★ 在夜間受雨滴汙染鏡頭所拍攝的影片下之車流量估計
★ 影像特徵點匹配應用於景點影像檢索	★ 自動感興趣區域切割及遠距交通影像中的軌跡分析
★ 基於回歸模型與利用全天空影像特徵和歷史資訊之短期日射量預測	★ Analysis of the Performance of Different Classifiers for Cloud Detection Application
★ 全天空影像之雲追蹤與太陽遮蔽預測	★ 在全天空影像中使用紋理特徵之雲分類

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

本篇論文提出一種以電腦視覺為基礎的手寫軌跡注音符號組合辨識系統，此系統以網路攝影機作為輸入裝置，偵測使用者手寫指尖軌跡，結合單純貝氏分類器(Naive Bayes classifier ) 及隱藏式馬可夫模型 (Hidden Markov model) 用於辨識連續手寫、不含聲調、由注音符號所組成的國語拼音。
一開始我們透過攝影機錄製使用者以指尖在全黑背景下手寫的連續注音符號影片。計算使用者手部的重心點，並假設距離其最遠的一點為使用者的指尖後，紀錄以時間序列排序之指尖軌跡點座標；接下來由本論文所提出之方法，框出一個包含大部分實筆軌跡的方框，去除方框外被視為是提筆以及收筆的軌跡後，將剩餘軌跡轉成八方向鏈碼（8-chain code），最後再去除剩餘的提筆、收筆，以及筆畫的抖動所形成的軌跡，並尋找出筆畫之間的轉折點。擷取八方向鍊碼 (8-chain code) 中的特徵，由單純貝氏分類器（Naive Bayes classifier）訓練及分類，計算出該筆資料是由單注音符號、雙注音符號、或是三注音符號所組成的機率。接下來我們用隱藏式馬可夫模型（Hidden Markov model）訓練並建立了ㄅ至ㄦ共37個注音符號的模型。我們分別假設該筆八方向鍊碼的資料可能為單、雙、三個注音符號，嘗試將連續注音符號分割為單一個注音符號，再將分割完後的部分八方向鍊碼作為輸入。由隱藏式馬可夫模型（Hidden Markov model）計算出每一筆分割後的八方向鍊碼Log-likelihood值，並將他們交互加總，再取單純貝式分類器所得之機率倒數作為權重，進行注音符號組合之分類以及辨識。
本論文中，我們提出一種手寫軌跡注音符號組合辨識系統，該系統能夠去除指尖手寫注音符號軌跡中的提筆收筆，並對不含聲調的手寫國語拼音之注音符號數量進行分類，將注音符號組合分割成單一注音符號後，進行辨識。

摘要(英)

This paper proposes a vision-based handwritten Mandarin phonetic symbols 1(MPS1, Bopomofo) combinations recognition system. This system uses web camera as the input device to detect the trajectory of user’s fingertip in order to recognize user’s handwritten Mandarin phonetic symbols combinations.
First, the system locates the fingertip by considering the farthest point from center of palm and records every frame to form the fingertip trajectory. Second, we remove partial entering strokes and leaving strokes by using a bounding box which we propose in this paper. Afterwards, the preprocessed trajectory is encoded by 8-chain codes. Then we remove the rest of entering strokes, leaving strokes, and jitter strokes, and find the turning point of 8-chain codes. Third, we extract features to classify the number of MPS1 combinations by using a Naive Bayes classifier.
Afterwards, we separate the MPS1 combinations into single MPS1 symbols and use Hidden Markov models (HMM) to recognize each single MPS1 symbol in the combinations. Finally, we combine the above HMM results with the Naive Bayes classifier’s result to recognize these MPS1symbol combinations.

關鍵字(中)

★ 八方向鍊碼
★ 辨識
★ 手寫軌跡
★ 注音符號
★ 隱藏式馬可夫鍊

關鍵字(英)

★ fingertip
★ Bopomofo
★ MPS1
★ HMM
★ recognition

論文目次

目錄
Abstract i
摘要 ii
致謝 iii
目錄 iv
圖目錄 v
表目錄 vii
一、緒論 1
1.1 研究動機 1
1.2 文獻探討 3
1.3 相關技術 4
1.4 系統架構 7
二、辨識方法及步驟 10
2.1 指尖軌跡擷取 13
2.2 軌跡前處理 15
2.3 注音符號組合分類 22
2.4 注音符號組合辨識 23
三、實驗與結果 31
3.1 單注音符號辨識 32
3.2 雙注音符號辨識 33
3.3 三注音符號辨識 35
3.4 單純貝氏分類器分類結果 37
3.5 注音符號組合辨識 39
3.6 實驗結果 41
四、結論與未來展望 43
參考文獻 45

參考文獻

[1] Lampson, B. W., Point system for pen-based computer. U.S. Patent 7 248 248, 2007.
[2] Pavlovic, V. I., Sharma, R., & Huang, T. S., “ Visual interpretation of hand gestures for human-computer interaction: a review,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19,no. 7,pp. 677-695, July. 1997.
[3] Jaimes, A., & Sebe, N., “Multimodal human-computer interaction: a survey,” Computer Vision and Image Understanding, vol. 108, no.1-2,pp. 116-134, Oct. 2007.
[4] Munich, M. E., & Perona, P., “Visual input for pen-based computers,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 3, pp. 313-328, Mar. 2002.
[5] Oka, K., Sato, Y., & Koike, H., “Real-time fingertip tracking and gesture recognition,” IEEE Computer Graphics and Applications, vol. 22, no. 6,pp. 64-71, Nov. 2002.
[6] Hsieh, C.C., Tsai, M. R., & Su, M. C., “ A fingertip extraction method and its application to handwritten alphanumeric characters recognition,” Proceedings of the IEEE International Conference Signal Image Technology and Internet Based Systems, pp. 293-300, Nov. 2008.
[7] Jin, L., Chen, C., Zhen, L., & Huang, J., “Real-time fingertip detection from cluttered background for vision-based HCI,”. Journal of Communication and Computer, vol. 2, no. 9, pp.1-8, 2005.
[8] Chen, Z. W., Lin, Y. C., & Chiang, C. C., “The design of a vision-based fingertip writing interface,” Proceedings of the IEEE International Conference on Pattern Recognition (ICPR), vol. 2, pp. 104-107, 2006.
[9] 羅秋昭：注音符號教學。取自中華函授學校—全文網路課程—注音符號教學：http://chcsdl.open2u.com.tw/full_content/A12/ReloadContentPreview.htm
[10] Paul, T., Tracy, H., “LAMPS:A sketch recognition-based teaching tool for Mandarin phonetic symbols I,” Journal of Visual Languages & Computing, vol. 21, no.2, pp. 109-120, 2009.
[11] Nakai, M., Akira, N., Shimodaira, H.,& Sagayama, S., “ Substroke approach to HMM-based on-line Kanji handwriting recognition,” Prof. Sixth Int’l Conf. Document Analysis and Recognition, pp.491-495, 2001.
[12] StateSoft：http://www.statsoft.com/textbook/naive-bayes-classifier/
[13] Rabiner, L., Juang, B., “An introduction to Hidden Markov models,” IEEE ASSP Magazine, vol. 3, no. 1, pp. 4-16, Jan. 1986.
[14] Forney, G. D., Jr., “The viterbi algorithm,” Proceedings of the IEEE, vol.61, no.3,pp268-278, March. 1973.
[15] “Hidden markov models and the Baum-Welch algorithm,” IEEE Information Theory Society Newsletter, vol. 53, no.4, Dec. 2003.
[16] Rafael, C. G., Richard, E. W., “Digital Image Processing 2/e,” Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA , ISBN Number: 0201180758,1992.

指導教授

鄭旭詠(HSU-YUNG CHENG)

審核日期

2011-7-20

推文