三維空間之即時手部追縱與吉他和弦手勢辨識;Real-Time 3D Hand Tracking and Guitar Gesture Recognition

NCU Institutional Repository > 資訊電機學院 > 資訊工程研究所 > 博碩士論文 > Item 987654321/72035

jsp.display-item.identifier=請使用永久網址來引用或連結此文件: http://ir.lib.ncu.edu.tw/handle/987654321/72035

题名:	三維空間之即時手部追縱與吉他和弦手勢辨識;Real-Time 3D Hand Tracking and Guitar Gesture Recognition
作者:	劉玠泓;Liu,Chieh-Hung
贡献者:	資訊工程學系
关键词:	手指追縱;吉他和弦手勢辨識;點雲;深度資訊;即時;區域搜尋;Finger Tracking;Guitar Chord Gesture Recognition;Point Clouds;Depth Data;Real-Time;Region Search
日期:	2016-07-19
上传时间:	2016-10-13 14:22:51 (UTC+8)
出版者:	國立中央大學
摘要:	人機互動漸漸成為電腦科學中的一個重要議題，它讓我們能更輕易地與電腦或各種設備進行交流。本篇提出了一個基於區域搜索的手部追蹤方法，我們採用了三維點雲 (Point Cloud) 資訊的方法來改善手部追蹤的穩定度，並且介紹了一個基於分群的手指指尖偵測方法，可以在手指追蹤失敗時用來還原手指座標。在手部追蹤完成後，我們利用手指指尖座標與我們的吉他和弦手勢資料庫比對，並且將結果整合到虛擬吉他系統中。在最後，我們設計了一個實驗讓一般的使用者在我們的虛擬吉他系統上演奏一首。而我們也分別在Kinect V1和Kinect V2彈上三首歌來討論兩種感測器的差異。結果說明了我們的方法在虛擬吉他系統上表現良好，而一般使用者也能簡單地學習我們的系統。;Human Computer Interaction (HCI) is becoming a hot issue in computer science which makes people communicate with computers easier. A novel hand tracking method based on region search is presented in this paper. We adopt the concept of 3D point clouds to further improve the stability of hand tracking. Also, the cluster-based finger detection is introduced in this paper, which can be used for restoring finger position if finger tracking failed. After hand tracking finished, we use the position of fingertips to match our hand gesture with our guitar hand gesture database, and integrate proposed method into our virtual guitar system. At last, we setup an experiment which allows general users to play a song with our virtual guitar system. And we also test our system by playing three songs on both Kinect V1 and Kinect V2 sensor and discuss their difference. The result shows that our method performs well on virtual guitar system and general users can learn our system easily.
显示于类别:	[資訊工程研究所] 博碩士論文

文件中的档案:

档案	描述	大小	格式	浏览次数
index.html		0Kb	HTML	365	检视/开启

在NCUIR中所有的数据项都受到原著作权保护.

社群 sharing

数据加载中.....