基於多個Kinect的虛擬球體樂器;3D Sphere Virtual Instrument with multiple Kinect

NCU Institutional Repository > 資訊電機學院 > 資訊工程研究所 > 博碩士論文 > Item 987654321/68781

請使用永久網址來引用或連結此文件: http://ir.lib.ncu.edu.tw/handle/987654321/68781

題名:	基於多個Kinect的虛擬球體樂器;3D Sphere Virtual Instrument with multiple Kinect
作者:	呂名峰;Lu,Ming-Fong
貢獻者:	資訊工程學系
關鍵詞:	人機互動;Kinect;MIDI;虛擬樂器;OpenGL;感應器校正;點雲;點雲對齊;HCI;Kinect;MIDI;Virtual Instument;OpenGL;Kinect calibration;PointCloud;ICP
日期:	2015-07-24
上傳時間:	2015-09-23 14:25:52 (UTC+8)
出版者:	國立中央大學
摘要:	人機互動的領域在現代被廣泛地運用，在這篇論文中我們設計一個虛擬樂器，主要是使用微軟公司的KINECT感應器，能夠偵測人體的骨架來操作音樂，KINECT本身有限制人體面對KINECT的角度而導致側面無法被偵測，本論文使用骨架當作點雲，並使用三台KINECT來對齊骨架而達到側面也可以被偵測。在樂器中我們使用一顆球作為介面，介面中的球有12個表面並可以彈奏單音或和弦，為了達到12的表面都可以被彈奏，我們使用ICP演算法來對齊三台KINECT讓KINECT側面可以被偵測到，來達到使用者可以盡情的彈奏樂器而不會受到正面彈奏的限制。在介面的部份我們使用OpenGL來做為繪圖的基礎，論文中會介紹基礎的三維觀念和OpenGL基礎，並理解如何創造一顆虛擬球體且放入人體的骨架當作樂器，並介紹MIDI相關的知識與如何使用MIDI來彈奏音樂，最後實驗的部分會顯示出骨架對其的準確度與顯示骨架對齊的圖示。;Human Computer Interaction is wildly used in our life, in this paper we design a virtual instrument by the Microsoft Kinect sensor. Kinect sensor can detect human body by representing a skeleton, and the program use the skeleton to control the music signal. Kinect has human body angle limits, if user’s side face to Kinect then Kinect cannot detect skeleton, this paper uses skeletons as point cloud and calibrate three Kinect to achieve side face detection. In our instrument we use a sphere for interface, inside the sphere has twelve blocks and the user can play a single note or chords. In order to play all of the blocks, we use the ICP algorithm to calibrate three Kinect and the users can the play instrument without side face limits. At program interface we use OpenGL for rendering the objects, and we will introduce the basic three dimensional concepts and OpenGL concept, explains how to put the skeleton inside the sphere and introduce MIDI concept to use MIDI for playing music. Finally the experiment result shows the accuracy of the skeleton in calibration and show the status of skeleton in figures.
顯示於類別:	[資訊工程研究所] 博碩士論文

文件中的檔案:

檔案	描述	大小	格式	瀏覽次數
index.html		0Kb	HTML	296	檢視/開啟

在NCUIR中所有的資料項目都受到原著作權保護.

社群 sharing

資料載入中.....