基於慣性感測器與肌肉訊號之穿戴式裝置三維手寫身份認証

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：16

、訪客IP：3.138.141.202

姓名

歐軒慈(Hsuan-Tzu Ou) 查詢紙本館藏

畢業系所

資訊工程學系

論文名稱

基於慣性感測器與肌肉訊號之穿戴式裝置三維手寫身份認証
(An Wearable with IMU and EMG sensors for 3D space handwritting authentication)

相關論文

★ 使用視位與語音生物特徵作即時線上身分辨識	★ 以影像為基礎之SMD包裝料帶對位系統
★ 手持式行動裝置內容偽變造偵測暨刪除內容資料復原的研究	★ 基於SIFT演算法進行車牌認證
★ 基於動態線性決策函數之區域圖樣特徵於人臉辨識應用	★ 基於GPU的SAR資料庫模擬器：SAR回波訊號與影像資料庫平行化架構 (PASSED)
★ 利用掌紋作個人身份之確認	★ 利用色彩統計與鏡頭運鏡方式作視訊索引
★ 利用欄位群聚特徵和四個方向相鄰樹作表格文件分類	★ 筆劃特徵用於離線中文字的辨認
★ 利用可調式區塊比對並結合多圖像資訊之影像運動向量估測	★ 彩色影像分析及其應用於色彩量化影像搜尋及人臉偵測
★ 中英文名片商標的擷取及辨識	★ 利用虛筆資訊特徵作中文簽名確認
★ 基於三角幾何學及顏色特徵作人臉偵測、人臉角度分類與人臉辨識	★ 一個以膚色為基礎之互補人臉偵測策略

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

在數位化充斥著生活的現在，人們的生活幾乎已離不開電腦手機等資訊產品，在此時空下傳統的密碼金鑰等資訊認證或保密的方法，已經難以應付目前的需求。目前基於生物行為特徵，所發展出的認證方法已廣為大眾接受，此種認證方式是彌補傳統密碼金鑰易遭複製易被遺忘等缺陷的方法。

目前可當作身份認證的生物特徵有很多，本論文以三維空中手寫簽名與肌肉訊號當作個人辨識特徵，資料獲取方式為自製慣性感應器穿戴裝置，裝置於手指部位獲取手指姿態，並使用 Thalmic labs 的 MYO Armband 取得手臂肌肉訊號與手臂姿態，利用三點定位的方式，計算三維空中手寫軌跡作為部分手寫特徵，最後使用循環神經網路訓練身份認證系統。

摘要(英)

We have lived in a digital life nowadays. We cannot live without computers, smart phone and other information products in our daily life. Those traditional confidentiality and authentication methods, for example cryptographic keys, is too old to cope with the new problems in recent years. Currently, some authentication methods based on biological behavioral characteristics have been widely accepted. Such certification procedures find a new way to help the traditional cryptographic keys which would be copied and forgotten easily.

There are many methods for biometric characteristics. The proposed method uses handwritten signals in a 3D coordinate space and EMG signals as personal identification features. We use an IMU wearable device which is made by ourselves and equiped on fingers to get the pose signals of fingers. Then, we use MYO Armband from Thalmic labs to get EMG and Arm altitude signals and use three-points fix method to calculate handwritten trajetory as part of the features. Finally, we use recurrent neural network with LSTM to train the authentication system.

關鍵字(中)

★ 慣性感應器
★ 肌肉訊號
★ 手環穿戴裝置
★ 身份認証

關鍵字(英)

★ IMU
★ EMG
★ MYO Armband
★ Authentication

論文目次

中文摘要 ............................................................................................. i
英文摘要 ............................................................................................. ii
謝誌 .................................................................................................... iii
目錄 .................................................................................................... iv
圖目錄 ................................................................................................ vi
表目錄 ………………………………………………………………………ix
一、
緒論 .............................................................................. 1
1.1 研究動機 . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 研究目標 . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 系統流程 . . . . . . . . . . . . . . . . . . . . . . . . 3
1.4 論文結構 . . . . . . . . . . . . . . . . . . . . . . . . 4
二、
設備架構 ....................................................................... 5
微控制器 . . . . . . . . . . . . . . . . . . . . . . . . 5
Arduino . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.2 MYO Armband . . . . . . . . . . . . . . . . . . . . 7
2.3 感應器 . . . . . . . . . . . . . . . . . . . . . . . . . 8
慣性感應器 . . . . . . . . . . . . . . . . . . . . . . . 8
2.4 硬體架構 . . . . . . . . . . . . . . . . . . . . . . . . 9
2.5 資料擷取 . . . . . . . . . . . . . . . . . . . . . . . . 11
2.1
2.1.1
2.3.1
2.5.1 Arduino Raw data . . . . . . . . . . . . . . . . . . . 11
2.5.2 MYO Raw data . . . . . . . . . . . . . . . . . . . . 12
2.5.3
Bluetooth Communicate . . . . . . . . . . . . . . . . 12
三、資料處理 ....................................................................... 13
3.1 Raw Data 前處理 . . . . . . . . . . . . . . . . . . . 13
3.1.1 加速規校正 . . . . . . . . . . . . . . . . . . . . . . . 14
3.1.2 陀螺儀校正 . . . . . . . . . . . . . . . . . . . . . . . 15
3.1.3 動平均濾波 . . . . . . . . . . . . . . . . . . . . . . . 15
3.1.4 低通濾波 . . . . . . . . . . . . . . . . . . . . . . . . 16
3.1.5 高通濾波 . . . . . . . . . . . . . . . . . . . . . . . . 16
3.2
取得姿態 . . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.1 Quaternion . . . . . . . . . . . . . . . . . . . . . . . 17
3.2.2 姿態參考系統 . . . . . . . . . . . . . . . . . . . . . 18
3.2.3 手臂與手指姿態 . . . . . . . . . . . . . . . . . . . . 19
3.3
三維手寫軌跡 . . . . . . . . . . . . . . . . . . . . . 21
3.3.1 軌跡映射 . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3.2 手勢辨識 . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.3 三維手寫特徵 . . . . . . . . . . . . . . . . . . . . . 32
四、類神經網路 ................................................................... 33
4.1 多層感知機 . . . . . . . . . . . . . . . . . . . . . . . 33
4.2 循環式神經網路 . . . . . . . . . . . . . . . . . . . . 38
4.3 長短期記憶 . . . . . . . . . . . . . . . . . . . . . . . 39
五、實驗結果 ....................................................................... 47
5.1 訓練資料可視化 . . . . . . . . . . . . . . . . . . . . 47
5.1.1 三維手寫軌跡 . . . . . . . . . . . . . . . . . . . . . 47
5.1.2 加速規、陀螺儀訊號與肌肉訊號 . . . . . . . . . . . 49
5.2
三維手寫身份認証 . . . . . . . . . . . . . . . . . . . 55
六、未來目標與討論 ............................................................ 59
6.1 硬體部份 . . . . . . . . . . . . . . . . . . . . . . . . 59
6.2 軟體部份 . . . . . . . . . . . . . . . . . . . . . . . . 60
6.3 實驗部份 . . . . . . . . . . . . . . . . . . . . . . . . 60
6.3.1 身份認証 . . . . . . . . . . . . . . . . . . . . . . . . 60
6.3.2 空中手寫實虛筆 . . . . . . . . . . . . . . . . . . . . 60
6.3.3 結論
. . . . . . . . . . . . . . . . . . . . . . . . . . 61
參考文獻 ............................................................................................. 62

圖目錄
圖 1.1 系統流程 . . . . . . . . . . . . . . . . . . . . . . . . . 4
圖 2.1 Arduino nano . . . . . . . . . . . . . . . . . . . . . . . 6
圖 2.2 Arduino UNO . . . . . . . . . . . . . . . . . . . . . . 6
圖 2.3 ATmega328p . . . . . . . . . . . . . . . . . . . . . . . 7
圖 2.4 MYO Armband . . . . . . . . . . . . . . . . . . . . . . 7
圖 2.5 MPU-6050 模組 . . . . . . . . . . . . . . . . . . . . . 8
圖 2.6 MPU-6050 diagram . . . . . . . . . . . . . . . . . . . 8
圖 2.7 硬體架構 . . . . . . . . . . . . . . . . . . . . . . . . . 9
圖 2.8 硬體實際使用狀態 . . . . . . . . . . . . . . . . . . . . 10
圖 2.9 慣性感應器資料封包 . . . . . . . . . . . . . . . . . . . 12
圖 3.1 硬體資料處理流程 . . . . . . . . . . . . . . . . . . . . 13
圖 3.2 校正加速規 X 方向 . . . . . . . . . . . . . . . . . . . 14
圖 3.3 校正加速規 Y 方向 . . . . . . . . . . . . . . . . . . . 14
圖 3.4 校正加速規 Z 方向 . . . . . . . . . . . . . . . . . . . . 15
圖 3.5 校正陀螺儀示意(於手指上保持靜止)
. . . . . . . . 15
圖 3.6 AHRS Axis . . . . . . . . . . . . . . . . . . . . . . . . 19
圖 3.7 食指,拇指,手臂姿態示意 . . . . . . . . . . . . . . . 20
圖 3.8 食指,拇指,手臂實際狀態 . . . . . . . . . . . . . . . 20
圖 3.9 加速規-急停 . . . . . . . . . . . . . . . . . . . . . . . 21

圖 3.10 加速規-甩動 . . . . . . . . . . . . . . . . . . . . . . . 22
圖 3.11 三點定位示意 . . . . . . . . . . . . . . . . . . . . . . 22
圖 3.12 手臂與手指姿態定位 . . . . . . . . . . . . . . . . . . 23
圖 3.13 MPU-6050 空間轉換 . . . . . . . . . . . . . . . . . . 25
圖 3.14 加速度飄移 . . . . . . . . . . . . . . . . . . . . . . . 26
圖 3.15 空中書寫「一」 . . . . . . . . . . . . . . . . . . . . . 27
圖 3.16 空中手寫可視化 . . . . . . . . . . . . . . . . . . . . . 28
圖 3.17 手指軌跡映射示意 . . . . . . . . . . . . . . . . . . . 28
圖 3.18 原始手寫軌跡 . . . . . . . . . . . . . . . . . . . . . . 29
圖 3.19 弧線調整後手寫軌跡 . . . . . . . . . . . . . . . . . . 29
圖 3.20 手寫開始手勢 . . . . . . . . . . . . . . . . . . . . . . 30
圖 3.21 手寫結束手勢(一般狀態) . . . . . . . . . . . . . . 30
圖 3.22 手寫開始手勢辨識流程 . . . . . . . . . . . . . . . . . 31
圖 3.23 單一時刻訓練特徵 . . . . . . . . . . . . . . . . . . . 32
圖 4.1 神經元 . . . . . . . . . . . . . . . . . . . . . . . . . . 33
圖 4.2 多層感知機 . . . . . . . . . . . . . . . . . . . . . . . . 35
圖 4.3 sigmoid . . . . . . . . . . . . . . . . . . . . . . . . . . 37
圖 4.4 tanh . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
圖 4.5 循環式神經網路網路架構 . . . . . . . . . . . . . . . . 38
圖 4.6 循環式神經網路之神經元架構 . . . . . . . . . . . . . . 38
圖 4.7 梯度消失 . . . . . . . . . . . . . . . . . . . . . . . . . 39
圖 4.8 長短期記憶單元 (LSTM Unit) . . . . . . . . . . . . . 40
圖 4.9 長短期記憶前饋階段 . . . . . . . . . . . . . . . . . . . 41
圖 4.10 不同架構的 RNNLSTM 對時間展開示意 . . . . . . . 44

圖 5.1 受試者三維手寫軌跡 . . . . . . . . . . . . . . . . . . . 47
圖 5.2 受試者三維手寫軌跡 . . . . . . . . . . . . . . . . . . . 48
圖 5.3 左:Leap Motion 右:本實驗設備 (使用螢幕手寫) . 49
圖 5.4 左:Leap Motion 右:本實驗設備 (不使用螢幕手寫) 49
圖 5.5 受試者 A 資料一 . . . . . . . . . . . . . . . . . . . . . 50
圖 5.6 受試者 A 資料二 . . . . . . . . . . . . . . . . . . . . . 51
圖 5.7 受試者 B 資料一 . . . . . . . . . . . . . . . . . . . . . 52
圖 5.8 受試者 B 資料二 . . . . . . . . . . . . . . . . . . . . . 53
圖 5.9 受試者 B 仿簽受試者 A 資料 . . . . . . . . . . . . . . 54
圖 5.10 神經網路架構 . . . . . . . . . . . . . . . . . . . . . . 56
圖 5.11 FAR,FRR 直方圖 . . . . . . . . . . . . . . . . . . . 58

表目錄
表 2.1 MPU-6050 輸出資料格式 . . . . . . . . . . . . . . . . 11
表 2.2 Accelerometer scale range . . . . . . . . . . . . . . . 11
表 2.3 Gyroscope scale range . . . . . . . . . . . . . . . . . . 11
表 3.1 手臂,手掌,手指長度 . . . . . . . . . . . . . . . . . 23
表 5.1 fastDTW 評估手寫樣本相似程度 . . . . . . . . . . . . 55
表 5.2 受試者 FAR、FRR . . . . . . . . . . . . . . . . . . . 58

參考文獻

[1] Sepp Hochreiter, Jurgen Schmidhuber. Long Short-Term Memory. Neural Computation 9(8):1735-1780, 1997.
[2] Alex Graves. Supervised Sequence Labelling with Recurrent Neural Network. http://www.cs.toronto.edu/~graves/
[3] P. J. Werbos. Backpropagation through time: what it does and how to do it. Proceedings of the IEEE, VOL, 78 NO. 10, Oct 1990
[4] Wojciech Zaremba. Recurrent Neural Network Regularization. ICLR 2015.
[5] Sebastian O.H. Madgwick, Andrew J.L. Harrison, Ravi Vaidyanathan. Estimation of IMU and MARG orientation using a gradient decent algorithm. 2011 IEEE International Conference on Rehabilitation Robotics. http://www.x-io.co.uk/open-source-imu-and-ahrs-algorithms/
[6] H. Sakoe ; Nippon Electric Company, Limited, Kawasaki, Japan ; S. Chiba. Dynamic programming algorithm optimization for spoken word recognition. IEEE Transactions on Acoustics, Speech, and Signal Processing VOL, 26 NO, 1, pp43-49, Feb 1978.
[7] Tu-Liang Hsu, Cheng-Ling Chu, Yi-Ju Tsai, and Jeen-shing Wang, Member, IEEE. An Inertial Pen With Dynamic Time Warping Recognizer for Handwriting and Gesture Recognition. IEEE SENSORS JOURNAL, VOL, 15 NO. 1, JANUARY 2015.
[8] 蘇木春, 張孝德. 機器學習類神經網路、模糊系統以及基因演算法修訂二版. 全華科技圖書股份有限公司, 2012, ISBN 957-21-4737-4.
[9] InvenSense. MPU-6000 and MPU-6050 Register Map and Descriptions Revsion 4.0.
[10] Werbos, Bishop. multilayer perceptron.
[11] Jeff Elman. Finding Structure in Time. CONGNITIVE SCIENCE 14, 179-211 1990.
[12] Stan Salvador, Philip Chan. FastDTW: Toward Accurate Dynamic Time Warping in Linear Time and Space. Dept. of Computer Sciences Florida Institute of Technology Melbourne, FL 32901.

指導教授

范國清(Kuo-Chin Fan)

審核日期

2016-8-18

推文