具自動色溫校正的智慧化視覺感測器

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：18

、訪客IP：13.58.216.18

姓名

呂榮華(Jung-Hua Lu) 查詢紙本館藏

畢業系所

資訊工程學系在職專班

論文名稱

具自動色溫校正的智慧化視覺感測器

相關論文

★ 整合GRAFCET虛擬機器的智慧型控制器開發平台	★ 分散式工業電子看板網路系統設計與實作
★ 設計與實作一個基於雙攝影機視覺系統的雙點觸控螢幕	★ 智慧型機器人的嵌入式計算平台
★ 一個即時移動物偵測與追蹤的嵌入式系統	★ 一個固態硬碟的多處理器架構與分散式控制演算法
★ 基於立體視覺手勢辨識的人機互動系統	★ 整合仿生智慧行為控制的機器人系統晶片設計
★ 嵌入式無線影像感測網路的設計與實作	★ 以雙核心處理器為基礎之車牌辨識系統
★ 基於立體視覺的連續三維手勢辨識	★ 微型、超低功耗無線感測網路控制器設計與硬體實作
★ 串流影像之即時人臉偵測、追蹤與辨識─嵌入式系統設計	★ 一個快速立體視覺系統的嵌入式硬體設計
★ 即時連續影像接合系統設計與實作	★ 基於雙核心平台的嵌入式步態辨識系統

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

至系統瀏覽論文 (2024-7-1以後開放)

摘要(中)

摘要
影像辨識是工業視覺檢測的核心技術，而照明和色溫經常是影響辨識性能最主要的原因之一，正確的色溫估測可以有效提升影像辨識性能。傳統的解決方案主要關注於在特定光源下如何透過演算法補償圖像色度。本研究設計了一個智慧化校正色溫的視覺感測器，藉由光譜感測器的六個光譜反射訊號，建立一個神經網路色彩校正模型，在不同的照明環境下進行取像，可提供良好的色彩恆定性。我們在ARM Cortex-M7的嵌入式平台實現了取像、光譜量測、神經網路色彩校正、和打光控制功能，完成了一個可自動校正色溫的智慧化視覺感測系統。最後，我們以咖啡豆烘培程度檢測，來驗證此一視覺感測系統。本系統不需透過複雜的演算法補償圖像色度亦不需拍攝多張圖像比較差異，僅需在使用前實施環境色溫的校正即可達到優異的影像辨識結果。對於色差變異嚴重的檢測環境，我們的系統也可以達到良好的檢測的可靠度，可以應用在廣泛的視覺檢測。

摘要(英)

Abstract
Image recognition is the core technology of industrial vision detection, and lighting and color temperature are often one of the most important reasons to affect identification performance. Correct color temperature estimation can effectively improve image recognition performance. The traditional solution focuses on how to compensate the image chroma through the algorithm under a specific light source. In this study, an intelligent visual sensor with positive color temperature is designed, and a neural network color correction model is established by six spectral reflection signals of spectral sensors, which can provide good color constancy by image in different illumination environments. We have realized the functions of image, spectral measurement, neural network color correction, and light control in the embedded platform of ARM Cortex-M7, and completed an intelligent visual sensing system which can automatically and more positive color temperature. Finally, we verify this visual sensing system by testing the baking degree of coffee beans. This system does not need to compensate the image chroma through the complex algorithm also does not need to take multiple images to compare the difference, only needs to implement the ambient color temperature correction before the use can achieve excellent image identification results. For the detection environment with serious chromatic aberration variation, our system can also achieve good reliability of detection, which can be applied to a wide range of visual inspection.

關鍵字(中)

★ 色彩恆定
★ 色溫
★ 打光

關鍵字(英)

★ Color constancy
★ Color temperature
★ LED

論文目次

目錄
摘要 I
Abstract II
致謝 III
目錄 IV
圖目錄 VI
表目錄 VIII
第一章、緒論 1
1.1 研究背景 1
1.2 研究目的 2
1.3 論文架構 2
第二章、技術回顧 3
2.1 顏色恆定相關估算技術 3
2.1.1 校正圖像技術 3
2.1.1.1 灰色世界假設(Gray World Assumption，GWA) 3
2.1.1.2 白色區塊法(White Patch，Max-RGB) 4
2.1.1.3 Shade Of Gray World 4
2.1.2 光源補償技術 5
2.1.2.1 估算色溫補償技術 5
2.1.2.2 三色LED色溫補償技術 7
2.2 神經網路色彩校正 7
2.2.1 混合式神經網路 8
2.2.2 改良式機率神經網路 10
2.3 深度神經網路色彩校正 12
2.3.1 AlexNet-based CNN 12
2.3.2 Color Constancy by Deep Leraning 13
第三章、具自動色溫校正的智慧化視覺感測器架構設計 15
3.1 系統架構 15
3.2 色彩校正 16
3.2.1 色溫估測類神經模型 17
3.2.2 三色LED調色比例 19
3.3 LED控制 19
3.3.1 RGB補償換算公式 20
3.3.2 LED參數控制 20
第四章、系統驗證與實驗結果 22
4.1 實驗環境 22
4.1.1 硬體開發平台 22
4.1.2 攝影機 23
4.1.3 頻譜儀感測器 24
4.1.4 三色LED圓環 25
4.2 系統整合驗證 28
4.2.1 LED光源打光控制 28
4.2.2 頻譜儀量測控制 29
4.3 色溫校正模組驗證 31
4.3.1 色溫校正類神經網路訓練與驗證 31
4.3.2 LED色度控制 32
4.4 實驗驗證結果與比較 33
4.4.1 實驗驗證 33
4.4.2 對照實驗結果比較 36
第五章、結論 40
5.1 結論 40
5.2 未來展望 41
參考文獻 42

圖目錄
圖2.1 混合神經網路估計光源程序 8
圖2.2 SOM架構 9
圖2.3 機率神經網路架構 9
圖2.4 改良式機率神經網路架構 10
圖2.5 多平滑參數之機率神經網路用於色彩品質控制流程 11
圖2.6 估計光源CNN 架構 12
圖2.7 深層卷積神經網路架構 13
圖2.8 Step 1. 使用物件標籤在 imagenet 上進行訓練 13
圖2.9 Step 2. 使用現有顏色恆定性方法的標籤對具有Step 1.參數ImageNet進行訓練 14
圖2.10 Step 3. 使用公開且真實的數據對深度模型以及之前學習階段獲得的特徵層次系數與參數進行微調 14
圖3.1 視覺感測器智慧打光系統架構 15
圖3.2 色彩校正系統架構 15
圖3.3 色溫估測類神經網路訓練系統架構 15
圖3.4 色溫估測類神經網路 16
圖3.5 三色LED調色比例系統架構 19
圖3.6 LED控制模組流程 19
圖3.7 串聯模式 20
圖3.8 採用類比調光及PWM調光時的燈光或LED電流 21
圖4.1 STM32F767ZI開發板 22
圖4.2 OV7725 攝影機 23
圖4.3 AS7262感測器架構 22
圖4.4 六個通道光譜波長 22
圖4.5 LED結構 23
圖4.6 數據傳輸的方法 24
圖4.7 LED串聯電路 25
圖4.8 視覺感測器實體架構圖 28
圖4.9 上方打光 29
圖4.10 右側打光 29
圖4.11 下方打光 29
圖4.12 左側打光 29
圖4.13 6000K色溫 30
圖4.14 5500K色溫 33
圖4.15 4000K色溫 33
圖4.16 3500K色溫 30
圖4.17 2800K色溫 40
圖4.18 IT8.7/2顏色標準規範 40
圖4.19 色度控制前後比較圖 40
圖4.20 打光控制圖 41
圖4.21 由左至右分別是淺烘培、中烘培和深烘培的咖啡豆 42

表目錄
表3.1 LED特性參數 20
表4.1 簡易規格與支援 23
表4.2 OV7725 Sensor簡易規格表 24
表4.3 PIN Function 26
表4.4 數據傳輸時間(TH+TL=1.25us±150ns) 26
表4.5 24 Bit發送資料結構與順序 26
表4.6 IT8.7/2中編號D4(綠色)的頻譜儀反射光譜數據(nm) 30
表4.7 頻譜儀反射數據&R^′ G^′ B^′估測數據 32
表4.8 Delta E比較數據 33
表4.9 R^′ G^′ B^′調色比例數據 34
表4.10 校正後的圖像RGB與RGB比對標準 34
表4.11 咖啡豆篩選驗證數據 15
表4.12 無補光、無色溫校正的咖啡豆篩選數據 36
表4.13 具補光校正的咖啡豆篩選數據 37
表4.13 具色溫校正的咖啡豆篩選數據 38

參考文獻

參考文獻
[1] J. Sönke, "How to measure color using spectrometers and calibrated
photographs", Journal of Experimental Biology, vol. 219, no. 6, pp. 772-778, 2016.
[2] J. A. Endler and P. W. Mielke JR, “Comparing entire colour patterns as birds see them”, Biological Journal of the Linnean Society, vol. 86, no. 14,pp. 405-431, 2005.
[3] X. Qu, S. C. Wong and C. K. Tse, "Temperature Measurement Technique for Stabilizing the Light Output of RGB LED Lamps", IEEE Transactions on Instrumentation and Measurement, vol. 59, no. 3, pp. 661-670, 2010.
[4] K. Eric, P. Koeckhoven and K. Sivakumar, "Improving Color Accuracy of Colorimetric Sensors", Sensors, vol. 18, no. 4, pp. 1252, 2018.
[5] U. Yang and K. Sohn, “Image-based color temperature estimation for color constancy”, Electronics Letters, vol. 47, no. 5, pp. 322-324, 2011.
[6] D. H. Foster, “Color constancy”, Vision Research, vol. 51, no. 7, pp. 674-700, 2011.
[7] J. V. D. Weijer, T. Gevers and T. Gevers, "Edge-Based Color Constancy", IEEE Trans. Image Processing, vol. 16, no. 9, pp. 2207-2214, 2007.
[8] K. Barnard, V. Cardei and B. Funt, "A comparison of computational color constancy algorithms. I: Methodology and experiments with synthesized data", IEEE Trans. Image Processing, vol. 11, no. 9, pp. 972-984, 2002.
[9] K. Barnard, L. Martin, V. Cardei and B. Funt, "A comparison of computational color constancy Algorithms. II. Experiments with image data", IEEE Trans. Image Processing, vol. 11, no. 9, pp. 985-996, 2002.
[10] G. Buchsbaum, "A spatial processor model for object colour perception", Journal of the Franklin Institute, vol. 310, no. 1, pp. 1-26, 1980.
[11] Land and H. Edwin, "The Retinex Theory of Color Vision", Scientific American, vol. 237, no. 6, pp. 108-128, 1977.
[12] G. Finlayson and E. Trezzi, "Shades of gray and colour constancy", Proc. IS&T/SID 12th Color Imaging Conf., pp. 37-41, 2004.
[13] S. Bianco, G. Ciocca, C. Cusano and R. Schettini, "Classification-Based Color Constancy." In 2008 International Conference on Visual Information Systems: Web-based Visual Information Search & Management, pp. 104-113, 2008.
[14] D. Lee and K. Plataniotis, “A taxonomy of color constancy and invariance algorithm”, In Advances in Low-Level Color Image Processing, pp. 55–94, 2014.
[15] 林育如, “以混合式神經網路為基礎的數位相機自動白平衡”, 義守大學電機工程研究所碩士論文, 2004.
[16] T. Kohonen, “Self-Organizing Maps”, Springer Series in Information Sciences, Springer-Verlag, Berlin, Heidelberg, vol. 30, no. 3, pp. 85-144, 1997.
[17] D.F. Specht, "A general regression neural network", IEEE Transactions on Neural Networks, vol. 2, no. 6, pp. 568-576, 1991.
[18] A. Zaknich, "Introduction to the modified probabilistic neural network for general signal processing applications", IEEE Transactions on Signal Processing, vol. 46, no. 7, pp. 1980-1990, 1998.
[19] M. M. Deza and E. Deza, "Encyclopedia of Distances", Encyclopedia of Distances, Springer, Berlin, Heidelberg, pp. 1-583, 2009.
[20] P. D. Wasserman, “Advanced Methods in Neural Computing”, Advanced Methods in Neural Computing, John Wiley & Sons, Inc., New York, NY, USA, 1993.
[21] 徐子恆, “以改良式機率神經網路為基礎的色彩轉換”, 義守大學電機工程研究所碩士論文, 2004.
[22] R. Eberhart, J. Kennedy, "A New Optimizer Using Particles Swarm Theory", IEEE Proc. Sixth International Symposium on Micro Machine and Human Science (Nagoya Japan), pp. 39-43, 1995.

[23] S. Bianco, C. Cusano and R. Schettini, "Color Constancy Using CNNs", in 2015 IEEE Conference on Computer Vision and Pattern Recognition Workshops, pp. 81-89, 2015.
[24] V. Nair and G. E. Hinton, "Rectified Linear Units Improve Restricted Boltzmann Machines", in ICML′10 Proceedings of the 27th International Conference on International Conference on Machine Learning, pp. 807-814, 2010.
[25] A. Krizhevsky, I. Sutskever and G. E. Hinton, "ImageNet Classification with Deep Convolutional Neural Networks", in 2012 Advances in neural information processing systems, pp. 1097-1105, 2012.
[26] J. Deng, W. Dong, R. Socher, L. J. Li, K. Li and F.F. Li, "ImageNet: A large-scale hierarchical image database", in 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248-255, 2009.
[27] W. Mokrzycki and M. Total, "T Color difference Delta E - A survey", Faculty of Appl. Informat. Mathemat. Warsaw Univ. Life Sci., pp. 383-411, 2011.

指導教授

陳慶瀚(Ching-Han Chen)

審核日期

2019-7-3

推文