應用深度學習演算法萃取移動式測繪系統影像之道路標線

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：105

、訪客IP：3.21.100.34

姓名

張致維(Chang, Chih-Wei) 查詢紙本館藏

畢業系所

遙測科技碩士學位學程

論文名稱

應用深度學習演算法萃取移動式測繪系統影像之道路標線
(Deep Learning for Extracting Road Markings from Mobile Mapping System Images)

相關論文

★ 三維房屋模型實景紋理影像製作與敷貼之研究	★ 紋理輔助高解析度衛星影像分析應用於偵測入侵性植物分布之研究
★ 利用高光譜影像偵測外來植物-以恆春地區銀合歡為例	★ 以視訊影像進行三維房屋模型實景紋理敷貼之研究
★ 區塊式Level of Detail地景視覺模擬之研究	★ 高光譜影像立方體紋理特徵之三維計算
★ 漸變式多重解析度於大型地景視覺模擬之應用	★ 區塊式LOD網格細化於大型地形視覺模擬之應用
★ 多層次精緻度三維房屋模型之建置	★ 高光譜影像立方體於特徵空間之三維紋理計算
★ 影像修補技術於牆面紋理影像遮蔽去除之應用	★ 結合遙測影像與GIS資料以資料挖掘技術進行崩塌地辨識-以石門水庫集水區為例
★ 利用近景影像提高三維建物模型之細緻化等級	★ 以地面及空載光達點雲重建複雜物三維模型
★ 以半自動化模式建置公開資料之三維建物模型	★ 高精緻度房屋模型結合蟻群演算法於室內最佳路徑選擇之應用

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

隨著電腦運算能力的進步與空間資訊領域的發展，政府與企業相繼投入自動駕駛系統的相關研究及開發。自動駕駛車（以下簡稱自駕車）技術往往仰賴多種車載感測器進行即時運算，然而若能利用預先建置的高精地圖提供自駕車周遭環境的空間資訊作為定位定向輔助，便能大幅減低車載電腦的運算負擔。因此，如何高效率地產製高精地圖的向量圖資是開發自駕車應用中至關重要的一個環節。本研究之目的為應用開源測繪車影像資料集與深度學習演算法，萃取移動式測繪系統影像中的道路標線，自動化地產製可供高精地圖使用的向量圖資。
主要研究內容分成三部份：(1)影像語意分割(2)直接地理定位(3)道路標線修正。影像語意分割的部份，本研究使用開源測繪車影像資料集ApolloScape訓練深度學習模型，為使得訓練成果符合測試資料的環境條件，以提升影像辨識的準確度，本研究切除訓練資料中車頂入鏡部份，並移除部份逆光與雜訊之影像，再以移動式測繪系統影像測試模型的訓練成果。接著，在直接地理定位的部份，為了求取道路標線的物空間坐標資訊，本研究結合攝影測量技術與移動式測繪系統提供之相機內、外方位參數，將辨識出的道路標線標籤投影至三維空間坐標。最後，依據《道路交通標誌標線號誌設置規則》分別修正不同類別的道路標線投影的成果，產出道路標線的向量圖資。研究成果顯示，本研究提出的深度學習演算法可以有效地辨識出移動式測繪系統影像中的道路標線，而且後續的道路標線修正步驟中亦能修正錯誤辨識與缺漏，產出正確有效的道路標線向量圖資。

摘要(英)

With the growing computing capacity and the development in the field of Geoinformation, governments and enterprises have actively invested in the research and development of autonomous driving systems. Most autonomous driving technologies rely on multiple on-board sensors for real-time operation. However, the implementation of pre-built High-Definition map (HD Map) can provide detail information of the surrounding environment for self-driving cars. For instance, positioning and orientation, which can significantly reduce the computational burden of on-board computers. Therefore, efficiently producing data layers for HD maps is an important step in the development of self-driving car technology. The purpose of this research is to apply the open source street scene image dataset and deep learning algorithms to extract lane markings from the Mobile Mapping System (MMS) images, and to automatically create the data layer for HD maps.
The proposed scheme consists of three parts: (1) semantic segmentation, (2) direct georeferencing, (3) lane marking correction. In the semantic segmentation part, this study uses the open source self-driving car image dataset ApolloScape to train the deep learning model. In order to increase the accuracy of image segmentation, this study crop the training images and remove the surveying car-roof area which is not shown in the test data. Also, it removes parts of training images with high illumination and noise. Afterward, in order to get the coordinates of lane markings, this study uses photogrammetry method and orientation parameters of camera to derived the positional information of the lane markings. Finally, produce the HD Map data layer according to the regulations issued by Ministry of Transportation and Communications, Taiwan.
The experimental results show that the proposed method can effectively identify the road markings in the MMS images. In addition, the developed method can further correct the mis-classified and missing parts in the subsequent lane marking correction steps, and produce reliable road marking data layer for High -Definition Map.

關鍵字(中)

★ 深度學習
★ 移動式測繪系統
★ 道路標線辨識
★ 高精地圖

關鍵字(英)

★ Deep Learning
★ Mobile Mapping System (MMS)
★ Lane Marking Recognition
★ HD Map

論文目次

摘要 I
Abstract III
誌謝 V
目錄 VI
圖目錄 IX
表目錄 XI
一、緒論 1
1-1 研究背景 1
1-2 研究動機與目的 3
二、文獻回顧 5
2-1 人工神經網路 5
2-1-1 神經元 5
2-1-2 梯度下降法 8
2-1-3 反向傳播法 10
2-2 卷積神經網路 10
三、研究方法 14
3-1 研究方法概述 14
3-2 研究資料 16
3-2-1 影像資料 16
3-2-2 參考規範資料 21
3-3 影像語意分割 21
3-4 直接地理定位 27
3-5 道路標線修正 28
四、研究成果 32
4-1 實驗介紹 32
4-1-1 訓練影像前處理 33
4-1-2 訓練參數設置 35
4-1-3 辨識成果後處理 38
4-1-4 相機參數修正 39
4-1-5 測試區域介紹 41
4-2 實驗成果 43
4-2-1 模型訓練成果驗證 43
4-2-2 街景影像辨識成果 46
4-2-3 道路標線修正成果 50
五、結論與建議 54
參考資料 58
附　錄 60
深度學習演算法 60
main_Apollo.py 60
train.py 63
predict.py 69
data_loader.py 76
unet_model.py 80
訓練影像前處理 85
main_convert.m 85
convertImage.m 86
id2trainid_lane.m 87
直接地理定位 89
spaceIntersection.m 89
inverseProjective.m 93
refineRotationAngle.m 94
道路標線修正 96
showPtCloud.m 96
seperateLineClass.m 103
curveFitting.m 103
patchFitting.m 104
centroidLineBuffer.m 106
writeShpfile.m 106

參考文獻

內政部（2009）。市區道路及附屬工程設計標準。
內政部（2011）。國土測繪圖資服務雲。檢自：http://maps.nlsc.gov.tw/S_Maps/wmts
交通部（2011）。道路交通標誌標線號誌設置規則。
陳敬典（2018）。自動駕駛車發展現況與未來趨勢。車輛研測專刊，1-2，頁15-26。
鄭錦桐、車文韜、廖玲琬（2019）。高精地圖製作與交通運輸商業應用趨勢。土木水利，46（2），頁51-58。
Al-Saffar, A. A. M., Tao, H., & Talab, M. A. (2017). Review of deep convolution neural network in image classification. 2017 International Conference on Radar, Antenna, Microwave, Electronics, and Telecommunications (ICRAMET), 26-31.
Badrinarayanan, V., Kendall, A., & Cipolla, R. (2017). Segnet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE transactions on pattern analysis and machine intelligence, 39(12), 2481-2495.
Brostow, G. J., Fauqueur, J., & Cipolla, R. (2009). Semantic object classes in video: A high-definition ground truth database. Pattern Recognition Letters, 30(2), 88-97.
Cordts, M., Omran, M., Ramos, S., Rehfeld, T., Enzweiler, M., Benenson, R., Franke, U., Roth, S., & Schiele, B. (2016). The cityscapes dataset for semantic urban scene understanding. Proceedings of the IEEE conference on computer vision and pattern recognition, 3213-3223.
Demuth, H. B., Beale, M. H., De Jess, O., & Hagan, M. T. (2014). Neural network design: Martin Hagan.
Firmin, S. (2018, Sep 10). Online: It′s a No Brainer: An Introduction to Neural Network. Retrieved from https://community.alteryx.com/t5/Data-Science/It-s-a-No-Brainer-An-Introduction-to-Neural-Networks/ba-p/300479
Geiger, A., Lenz, P., Stiller, C., & Urtasun, R. (2013). Vision meets robotics: The kitti dataset. The International Journal of Robotics Research, 32(11), 1231-1237.
Huang, X., Cheng, X., Geng, Q., Cao, B., Zhou, D., Wang, P., Lin, Y., & Yang, R. (2018). The apolloscape dataset for autonomous driving. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 954-960.
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2017). Imagenet classification with deep convolutional neural networks. Communications of the ACM, 60(6), 84-90.
LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324.
Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. Proceedings of the IEEE conference on computer vision and pattern recognition, 3431-3440.
Parmar, R. (2018, Sep 2). Online: Detection and Segmentation through ConvNets. Retrieved from https://towardsdatascience.com/detection-and-segmentation-through-convnets-47aa42de27ea
Ronneberger, O., Fischer, P., & Brox, T. (2015). U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical image computing and computer-assisted intervention, 234-241.
Russakovsky, O., Deng, J., Su, H., Krause, J., Satheesh, S., Ma, S., Huang, Z., Karpathy, A., Khosla, A., & Bernstein, M. (2015). Imagenet large scale visual recognition challenge. International journal of computer vision, 115(3), 211-252.
Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.
Wang, P., Chen, P., Yuan, Y., Liu, D., Huang, Z., Hou, X., & Cottrell, G. (2018). Understanding convolution for semantic segmentation. 2018 IEEE winter conference on applications of computer vision (WACV), 1451-1460.
Zhu, Z., Liang, D., Zhang, S., Huang, X., Li, B., & Hu, S. (2016). Traffic-sign detection and classification in the wild. Proceedings of the IEEE conference on computer vision and pattern recognition, 2110-2118.

指導教授

蔡富安(Fuan Tsai)

審核日期

2020-12-24

推文