人臉偵測與追蹤及人眼偵測

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：46

、訪客IP：18.219.91.251

姓名

黃南雄(Nan-Syong Huang) 查詢紙本館藏

畢業系所

資訊工程學系

論文名稱

人臉偵測與追蹤及人眼偵測
(Face Detection and Tracking with Pupil Orientation Estimation)

相關論文

★ 影片指定對象臉部置換系統	★ 以單一攝影機實現單指虛擬鍵盤之功能
★ 基於視覺的手寫軌跡注音符號組合辨識系統	★ 利用動態貝氏網路在空照影像中進行車輛偵測
★ 以視訊為基礎之手寫簽名認證	★ 使用膚色與陰影機率高斯混合模型之移動膚色區域偵測
★ 影像中賦予信任等級的群眾切割	★ 航空監控影像之區域切割與分類
★ 在群體人數估計應用中使用不同特徵與回歸方法之分析比較	★ 以視覺為基礎之強韌多指尖偵測與人機介面應用
★ 在夜間受雨滴汙染鏡頭所拍攝的影片下之車流量估計	★ 影像特徵點匹配應用於景點影像檢索
★ 自動感興趣區域切割及遠距交通影像中的軌跡分析	★ 基於回歸模型與利用全天空影像特徵和歷史資訊之短期日射量預測
★ Analysis of the Performance of Different Classifiers for Cloud Detection Application	★ 全天空影像之雲追蹤與太陽遮蔽預測

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

人臉辨識中，如何正確取得人臉位置是一個重要的研究，因此我
們提出結合追蹤與偵測的方法來找到需要辨識的區域，進一步，辨識
的部分又可以分為人的身分辨識以及人的行為辨識，後者我們又可以
分析眼睛注視的方向，可見光的瞳孔偵測上應用上相當廣泛，像是行
車是否有專心注視前方或是分析行人注視廣告看板中的位置等等，先
行的方法已經被提出了許多，有些是分析梯度、有些是分析曲率等
等，但是這些狀況很容易受到不是眼睛區域的影響，甚至有可能找到
頭髮的區域，因此，我們提出了一個的方法來改進結果，這個方法包
含了膚色偵測，主要是避免找到瞳孔位置是落在膚色的區域中，而且
這個方法結合了哈爾特徵級聯分類器以及臉部對齊的資訊，透過兩者
資訊來找到接近眼睛位置，再根據人的雙眼聯動的條件，對於位移以
及角度上進一步的修正，這部分實驗在BioID 臉部影像資料庫以及自
己建立AIPR LAB 人臉影片資料庫。更進一步，我們比較了我們以及
其他的方法，在結果上有著顯著的正確率以及穩定性。

摘要(英)

Face-locating in videos is an important issue in face recognition.
Therefore, we propose a solution which combines tracking and detecting
methods in order to find and recognize the face regions. In face recognition,
there are many researches about face perception such as emotion,
gaze estimation, identity analysis,etc. Our research we focus on the gaze
estimation in the visible light due to the visible cameras are universal
devices everywhere. This technology can be applied on many different
situations. For example, to alert the driver while he/she is not driving
carefully; to show Ads where the passengers are looking at on the lcd ad
board. Those are widely used applications nowadays. Some researches
have been proposed for that such as calculate by gradients or by curvature,
etc. However, sometimes it is possible to detect non-eye regions
by those methods. The non-eye regions might be hair or eyebrow. To
avoid those problems we propose a algorithm to correct the location of
eyes. The algorithm includes skin detections, haar cascade classifier,
face alignment and a correction based on conjunctive eye movements.
We test our result on BioID image database and our video samples. Finally,
we compare our proposed algorithm to other methods, and ours
has better performance with high accuracy and robustness.

關鍵字(中)

★ 人臉
★ 追蹤
★ 瞳孔
★ 偵測

關鍵字(英)

★ Tracking
★ Pupils
★ Detection

論文目次

中文摘要............................................................................................. i
頁次
英文摘要............................................................................................. ii
謝誌.................................................................................................... iii
目錄.................................................................................................... iv
圖目錄................................................................................................vii
表目錄................................................................................................ ix
一、緒論.............................................................................. 1
1.1 研究動機. . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 系統簡介. . . . . . . . . . . . . . . . . . . . . . . . 1
1.3 論文架構. . . . . . . . . . . . . . . . . . . . . . . . 2
二、文獻背景....................................................................... 4
2.1 臉部辨識. . . . . . . . . . . . . . . . . . . . . . . . 4
2.1.1 主成分分析演算法. . . . . . . . . . . . . . . . . . . 4
2.1.2 臉部對齊. . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 臉部偵測. . . . . . . . . . . . . . . . . . . . . . . . 5
2.2.1 自適應增強分類器. . . . . . . . . . . . . . . . . . . 7
2.2.2 哈爾特徵. . . . . . . . . . . . . . . . . . . . . . . . 7
2.2.3 多區塊區域二進位圖形. . . . . . . . . . . . . . . . 8
2.2.4 級聯分類器. . . . . . . . . . . . . . . . . . . . . . . 9
2.3 人眼分析. . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.1 瞳孔偵測. . . . . . . . . . . . . . . . . . . . . . . . 10
2.3.2 注視方向分析. . . . . . . . . . . . . . . . . . . . . 11
2.4 追蹤學習偵測演算法. . . . . . . . . . . . . . . . . . 11
2.4.1 偵測機制. . . . . . . . . . . . . . . . . . . . . . . . 12
2.4.2 追蹤機制. . . . . . . . . . . . . . . . . . . . . . . . 14
2.4.3 學習機制. . . . . . . . . . . . . . . . . . . . . . . . 14
2.5 追蹤學習偵測演算法加速版. . . . . . . . . . . . . . 14
三、人臉追蹤偵測................................................................ 17
3.1 人臉追蹤. . . . . . . . . . . . . . . . . . . . . . . . 17
3.2 人臉分群. . . . . . . . . . . . . . . . . . . . . . . . 17
3.3 人臉追蹤. . . . . . . . . . . . . . . . . . . . . . . . 17
3.4 加強偵測機制. . . . . . . . . . . . . . . . . . . . . 18
四、瞳孔偵測....................................................................... 20
4.1 瞳孔中心分析. . . . . . . . . . . . . . . . . . . . . 20
4.1.1 平均梯度法. . . . . . . . . . . . . . . . . . . . . . . 20
4.1.2 膚色偵測. . . . . . . . . . . . . . . . . . . . . . . . 21
4.1.3 裁切邊緣非人眼區域. . . . . . . . . . . . . . . . . . 21
4.1.4 平均瞳孔中心. . . . . . . . . . . . . . . . . . . . . 21
4.2 瞳孔偵測. . . . . . . . . . . . . . . . . . . . . . . . 22
4.2.1 生物特性. . . . . . . . . . . . . . . . . . . . . . . . 23
4.2.2 角度與位移判別機制. . . . . . . . . . . . . . . . . . 23
五、實驗.............................................................................. 26
5.1 實驗環境. . . . . . . . . . . . . . . . . . . . . . . . 26
5.1.1 硬體. . . . . . . . . . . . . . . . . . . . . . . . . . 26
5.1.2 軟體. . . . . . . . . . . . . . . . . . . . . . . . . . 26
5.2 資料庫. . . . . . . . . . . . . . . . . . . . . . . . . 26
5.2.1 BioID 臉部影像資料庫. . . . . . . . . . . . . . . . 26
5.2.2 AIPR Lab 人臉影片資料庫. . . . . . . . . . . . . . 26
5.2.3 AIPR Lab 人臉影片資料庫II . . . . . . . . . . . . . 28
5.3 人臉偵測追蹤. . . . . . . . . . . . . . . . . . . . . 28
5.4 眼睛偵測與臉部對齊資訊評估. . . . . . . . . . . . 30
5.5 瞳孔偵測. . . . . . . . . . . . . . . . . . . . . . . . 33
5.5.1 BioID 影像資料庫. . . . . . . . . . . . . . . . . . . 33
5.5.2 AIPR Lab 人臉影片. . . . . . . . . . . . . . . . . . 35
5.5.3 所提出的方法不同階段結果比較. . . . . . . . . . . 36
5.6 眼睛方向判別. . . . . . . . . . . . . . . . . . . . . 38
5.6.1 評估方法一. . . . . . . . . . . . . . . . . . . . . . . 38
5.6.2 評估方法二. . . . . . . . . . . . . . . . . . . . . . . 39
六、結論.............................................................................. 41
6.1 結論. . . . . . . . . . . . . . . . . . . . . . . . . . 41

6.2 未來研究. . . . . . . . . . . . . . . . . . . . . . . . 41
參考文獻............................................................................................. 42

圖目錄
圖1.1 人臉追蹤偵測. . . . . . . . . . . . . . . . . . . . . . 2
圖1.2 瞳孔偵測與注視方向偵測. . . . . . . . . . . . . . . . 3
圖2.1 臉部對齊概觀. . . . . . . . . . . . . . . . . . . . . . 6
圖2.2 臉部對齊示範. . . . . . . . . . . . . . . . . . . . . . 6
圖2.3 自適應增強分類器. . . . . . . . . . . . . . . . . . . . 7
圖2.4 濾波器. . . . . . . . . . . . . . . . . . . . . . . . . . 8
圖2.5 區域二進位圖形. . . . . . . . . . . . . . . . . . . . . 9
圖2.6 多區塊區域二進位圖形. . . . . . . . . . . . . . . . . 9
圖2.7 級聯分類器. . . . . . . . . . . . . . . . . . . . . . . . 9
圖2.8 原圖. . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
圖2.9 經曲度計算過後. . . . . . . . . . . . . . . . . . . . . 11
圖2.10 機率分佈結果. . . . . . . . . . . . . . . . . . . . . . 11
圖2.11 追蹤學習偵測演算法框架. . . . . . . . . . . . . . . 12
圖2.12 追蹤架構. . . . . . . . . . . . . . . . . . . . . . . . 13
圖2.13 二進位值提取方式. . . . . . . . . . . . . . . . . . . 13
圖2.14 掃描線對. . . . . . . . . . . . . . . . . . . . . . . . 16
圖2.15 叢集. . . . . . . . . . . . . . . . . . . . . . . . . . . 16
圖2.16 緊縮技術. . . . . . . . . . . . . . . . . . . . . . . . 16
圖3.1 人臉分群. . . . . . . . . . . . . . . . . . . . . . . . . 18
圖3.2 加強追蹤機制. . . . . . . . . . . . . . . . . . . . . . 19
圖4.1 相關向量. . . . . . . . . . . . . . . . . . . . . . . . . 21
圖4.2 膚色偵測. . . . . . . . . . . . . . . . . . . . . . . . . 21
圖4.3 對於膚色偵測裁切邊緣. . . . . . . . . . . . . . . . . 22
圖4.4 平均瞳孔中心. . . . . . . . . . . . . . . . . . . . . . 22
圖4.5 瞳孔中心機率分佈圖. . . . . . . . . . . . . . . . . . . 23
圖4.6 修正機制. . . . . . . . . . . . . . . . . . . . . . . . . 24
圖4.7 巴特沃斯濾波器. . . . . . . . . . . . . . . . . . . . . 25
圖5.1 BioID 影像資料庫. . . . . . . . . . . . . . . . . . . . 27
圖5.2 AIPR Lab 人臉資料庫. . . . . . . . . . . . . . . . . . 27
圖5.3 追蹤到的人臉結果. . . . . . . . . . . . . . . . . . . . 28
圖5.4 AIPR Lab 人臉資料庫II . . . . . . . . . . . . . . . . 28
圖5.5 臉部對齊在AIPR 的準確率. . . . . . . . . . . . . . . 31
圖5.6 臉部對齊在BioID 的準確率. . . . . . . . . . . . . . . 31
圖5.7 眼睛偵測在AIPR 的準確率. . . . . . . . . . . . . . . 32
圖5.8 眼睛偵測在BioID 的準確率. . . . . . . . . . . . . . . 32
圖5.9 比較三種方法在AIPR 的準確率. . . . . . . . . . . . 32
圖5.10 比較三種方法在BioID 的準確率. . . . . . . . . . . 33
圖5.11 平均梯度在BioID 測試的準確率. . . . . . . . . . . 34
圖5.12 等高線的曲率法在BioID 測試的準確率. . . . . . . . 34
圖5.13 提出的方法在BioID 測試的準確率. . . . . . . . . . 34
圖5.14 平均梯度法在AIPR 測試的準確率. . . . . . . . . . 35
圖5.15 等高線的曲率法在AIPR 測試的準確率. . . . . . . . 36
圖5.16 提出的方法在AIPR 測試的準確率. . . . . . . . . . 36
圖5.17 提出的方法經過膚色偵測在AIPR 測試的準確率. . . 37
圖5.18 提出的方法經過平均中心機制在AIPR 測試的準確率37
圖5.19 提出的方法(A)與平均梯度法(B)的比較. . . . . . . . 38
圖5.20 提出的方法(A)與缺少角度位移判別機制的提出方
法(C)比較. . . . . . . . . . . . . . . . . . . . . . . . . . 39
圖5.21 注視區域劃分. . . . . . . . . . . . . . . . . . . . . . 39
圖5.22 平均梯度法(A)與提出的方法(B)的比較. . . . . . . . 40
圖5.23 提出的方法(B)與缺少角度位移判別機制的提出方
法(C)比較. . . . . . . . . . . . . . . . . . . . . . . . . . 40

表目錄
表5.1 臉部偵測結果. . . . . . . . . . . . . . . . . . . . . . 29
表5.2 臉部偵測追蹤結果. . . . . . . . . . . . . . . . . . . . 29
表5.3 臉部偵測追蹤時間分析(ms/per frame) . . . . . . . . . 29
表5.4 GPU 追蹤版本與CPU 追蹤版本比較. . . . . . . . . 30
表5.5 使用BioID 資料庫的準確率比較表. . . . . . . . . . . 33
表5.6 使用AIPR 資料庫的準確率比較表. . . . . . . . . . . 35
表5.7 提出的方法中各階段在AIPR 資料庫的準確率比較表. 37

參考文獻

[1] Timm and Barth. Accurate eye centre localisation by means of
gradients. In Proceedings of the Int. Conference on Computer
Theory and Applications (VISAPP), volume 1, pages 125-130,
Algarve, Portugal, 2011. INSTICC.
http://www.inb.uni-luebeck.de/fileadmin/files/PUBPDFS/
TiBa11b.pdf
[2] Basilio, Jorge Alberto Marcial and Torres, Gualberto Aguilar
and Pérez, Gabriel Sánchez and Medina, L. Karina Toscano and
Meana, Héctor M. Pérez. Explicit Image Detection using YCbCr
Space Color Model as Skin Detection. Proceedings of the
2011 American Conference on Applied Mathematics and the 5th
WSEAS International Conference on Computer Engineering and
Applications,123-128, World Scientific and Engineering Academy
and Society (WSEAS), 2011.
http://dl.acm.org/citation.cfm?id=1959666.1959689
[3] Ian Fasel and Bret Fortenberry and Javier Movellan. A generative
framework for real time object detection and classification. Computer
Vision and Image Understanding,182-210, 2005.
http://dl.acm.org/citation.cfm?id=1959666.1959689
[4] Ren, Shaoqing and Cao, Xudong and Wei, Yichen and Sun, Jian.
Face Alignment at 3000 FPS via Regressing Local Binary Features.
in CVPR , IEEE Computer Society, , pp. 1685-1692
http://dblp.uni-trier.de/db/conf/cvpr/cvpr2014.html#
RenCW014
[5] Turk, Matthew and Pentland, Alex. Eigenfaces for Recognition. J.
Cognitive Neuroscience, 1991.
42
http://dx.doi.org/10.1162/jocn.1991.3.1.71
[6] Viola, P. and Jones, M. Rapid object detection using a boosted
cascade of simple features. in Computer Vision and Pattern
Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE
Computer Society Conference on, pp. I-511-I-518 vol.1
http://ieeexplore.ieee.org/xpl/abstractMetrics.jsp?tp=
&arnumber=990517
[7] Zhang, Lun and Chu, Rufeng and Xiang, Shiming and Liao, Shengcai
and Li, Stan Z. Face Detection Based on Multi-block LBP Representation.
Proceedings of the 2007 International Conference on
Advances in Biometrics, p11 - 18, 2007, Springer-Verlag.
http://dl.acm.org/citation.cfm?id=2391659.2391662
[8] Lin, Yu-Tzu and Lin, Ruei-Yan and Lin, Yu-Chihand Lee, Greg
C. Real-time eye-gaze estimation using a low-resolution webcam.
Multimedia Tools and Applications, p543 - 568, 2013.
http://dx.doi.org/10.1007/s11042-012-1202-1
[9] Kalal, Zdenek and Mikolajczyk, Krystian and Matas, Jiri. Tracking-
Learning-Detection. IEEE Trans. Pattern Anal. Mach. Intell,
p1409 - 1422, 2012, IEEE Computer Society.
http://dx.doi.org/10.1109/TPAMI.2011.239
[10] Gurcan, Ilker and Temizel, Alptekin. Heterogeneous CPU–GPU
tracking–learning–detection (H-TLD) for real-time object tracking.
Journal of Real-Time Image Processing, p1 - 15, 2015.
http://dx.doi.org/10.1007/s11554-015-0538-y
[11] Juránek, Roman; Zemcík, Pavel; Herout, Adam. Implementing the
Local Binary Patterns with SIMD Instructions of CPU WSCG
2010: Poster Proceedings: 18th International Conference in Central
Europe on Computer Graphics, Visualization and Computer Vision
in co-operation with EUROGRAPHICS, p. 39-42.
https://otik.uk.zcu.cz/handle/11025/1111
[12] Valenti, R. and Gevers, T. Accurate Eye Center Location
Through Invariant Isocentric Patterns IEEE Transactions
43
on Pattern Analysis and Machine Intelligence, vol 34, p1785
- 1798, 2012. https://ivi.fnwi.uva.nl/isis/publications/
2012/ValentiTPAMI2012
[13] Jesorsky, O., Kirchberg, K., and Frischholz, R. Robust face detection
using the Hausdorff distance In Proceedings of the 3rd AVBPA,
LNCS, pages 90–95, Halmstad, Sweden. Springer, 2001. http://
dl.acm.org/citation.cfm?id=646073.677460

指導教授

鄭旭詠(Cheng Hsu-Yung)

審核日期

2016-8-5

推文