基於深度強化學習的電動公車最佳充電站選擇

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：24

、訪客IP：18.188.114.150

姓名

梁偉軒(Leung Wai Hin) 查詢紙本館藏

畢業系所

通訊工程學系

論文名稱

基於深度強化學習的電動公車最佳充電站選擇
(Optimal Electric Bus Charging Station Selection Based on Deep Reinforcement Learning)

相關論文

★ 非結構同儕網路上以特徵相似度為基準之搜尋方法	★ 以階層式叢集聲譽為基礎之行動同儕網路拓撲架構
★ 線上RSS新聞資料流中主題性事件監測機制之設計與實作	★ 耐延遲網路下具密度感知的路由方法
★ 整合P2P與UPnP內容分享服務之家用多媒體閘道器：設計與實作	★ 家庭網路下簡易無縫式串流影音播放服務之設計與實作
★ 耐延遲網路下訊息傳遞時間分析與高效能路由演算法設計	★ BitTorrent P2P 檔案系統下載端網路資源之可調式配置方法與效能實測
★ 耐延遲網路中利用訊息編碼重組條件之資料傳播機制	★ 耐延遲網路中基於人類移動模式之路由機制
★ 車載網路中以資料匯集技術改善傳輸效能之封包傳送機制	★ 適用於交叉路口環境之車輛叢集方法
★ 車載網路下結合路側單元輔助之訊息廣播機制	★ 耐延遲網路下以靜態中繼節點（暫存盒）最佳化訊息傳遞效能之研究
★ 耐延遲網路下以動態叢集感知建構之訊息傳遞機制	★ 跨裝置影音匯流平台之設計與實作

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

至系統瀏覽論文 (2026-8-19以後開放)

摘要(中)

隨著電動車的普及，充電基礎設施的需求日益增長。本研究的目標是開發一個基於深度強化學習的最佳充電站選擇演算法，以提升電動公車的充電效率。本文提出利用深度強化學習（Deep Reinforcement Learning, DRL）的方法，使用Deep Q Network（DQN）來作為最佳充電站的選擇。
本研究針對電動公車的充電需求建立模組，並引入DQN來改善充電站選擇。通過使用歷史充電資料和公車軌跡資料，演算法能夠學習到在不同情況下的最佳充電站選擇策略。DQN使用Q值函數來預測每個狀態下的期望獎勵，並基於這些預測來進行決策。利用訓練過的模型，我們可以使用當前資料來選擇充電站。在實驗結果部分，本研究比較不同獎勵函數對選擇充電站的影響。
本研究主要是分析出最佳充電站選擇策略，以減少人工選擇充電站的成本，對於推動電動車充電基礎設施的發展具有重要意義。

摘要(英)

With the widespread adoption of electric vehicles, the demand for charging infrastructure is increasingly growing. This study aims to develop an optimal charging station selection algorithm based on deep reinforcement learning to enhance the charging efficiency of electric buses. This paper proposes using Deep Reinforcement Learning (DRL) methods, utilizing the Deep Q Network (DQN) for optimal charging station selection.
This study establishes a model for the charging needs of electric buses and introduces DQN to improve the selection of charging stations. By using historical charging data and bus trajectory data, the algorithm can learn the optimal charging station selection strategy under different circumstances. The DQN uses the Q-value function to predict the expected reward for each state and makes decisions based on these predictions. With the trained model, we can use current data to select charging stations.
In the experimental results section, this study compares the impact of different reward functions on selecting charging stations.
The main focus of this research is to analyze the optimal charging station selection strategy to reduce the cost of manual selection of charging stations, which is of significant importance for promoting the development of electric vehicle charging infrastructure.

關鍵字(中)

★ 電動公車
★ 充電站選擇
★ 人工智慧
★ 深度強化學習

關鍵字(英)

★ Electric bus
★ Charging station selection
★ Artificial intelligence
★ Deep reinforcement learning

論文目次

摘要 v
Abstract vi
圖目錄 x
表目錄 xi
1 簡介 1
1.1 情境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 現況與問題討論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 研究方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.4 研究貢獻 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2 背景與相關文獻探討 10
2.1 充電樁標準 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.1 充電標準 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.1.2 充電樁通訊協定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.2 充電站選擇 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
2.2.1 物聯網（Internet of Things, IoT） . . . . . . . . . . . . . . . . . . 12
2.2.2 車聯網 (Vehicle-to-Everything, V2X) . . . . . . . . . . . . . . . . . 12
2.2.3 移動群體感知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.2.4 電動車的充電站選擇 . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3 機器學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.1 強化學習 (Reinforcement Learning) . . . . . . . . . . . . . . . . . . 16
2.3.2 Deep Q Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
3 研究方法 18
3.1 情境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 系統架構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.2.1 駕駛端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.2.2 充電站 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.3 路線資訊供應商 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.4 雲端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.3 問題定義 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.3.1 充電請求 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.3.2 充電時間 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.3 充電站 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.4 Deep Q Network (DQN) 應用在充電站選擇 . . . . . . . . . . . . . . . . . 30
3.4.1 狀態 (State) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.4.2 動作 (Action) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.4.3 獎勵函數 (Reward Function) . . . . . . . . . . . . . . . . . . . . . 32
3.4.4 Deep Q Network(DQN) . . . . . . . . . . . . . . . . . . . . . . . . 33
4 實驗與結果分析 35
4.1 實驗環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2 實驗設計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2.1 資料來源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2.2 資料預處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
4.2.3 對照組 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2.4 指標 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2.5 實驗設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
4.3 實驗結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.3.1 獎勵函數比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.3.2 對照組比較 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5 結論與未來研究 55
5.1 結論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
5.2 未來研究 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
參考文獻 56

參考文獻

[1] 中華民國交通部. 交通部統計查詢網. [Online]. Available: https://stat.motc.gov.tw/
[2] 中華民國交通部公共運輸及監理司. (2023) 交通部辦理「電動時代．淨零未來」行動論壇暢談運具電動化及無碳化未來願景. [Online]. Available: https://www.motc.gov.tw/ch/app/news_list/view?module=news&id=14&serno=db20c86e-7204-43a2-8339-ed6d0ebfc3d8
[3] 國家發展委員會. 臺灣 2050 淨零排放. [Online]. Available: https://www.ndc.gov.tw/Content_List.aspx?n=FD76ECBAE77D9811
[4] 行政院國家永續發展委員會, “氣候變遷與淨零轉型專案小組永續發展目標年度工作概況,” 111 年國家永續發展年報, pp. 47–49, 2022. [Online]. Available: https://ncsd.ndc.gov.tw/_ofu/FileDatabase/cdd16adf-24c9-4691-83c9-46117c54fa36/111%E5%B9%B4%E5%9C%8B%E5%AE%B6%E6%B0%B8%E7%BA%8C%E7%99%BC%E5%B1%95%E5%B9%B4%E5%A0%B1(PDF).pdf
[5] 中華民國交通部. (2023) 臺灣 2050 淨零轉型「運具電動化及無碳化」關鍵戰略行動計畫. [Online]. Available: https://ncsd.ndc.gov.tw/_ofu/FileDatabase/e5a60e2d-3ba0-4a6a-96f2-2d8b47235d5/%E9%81%8B%E5%85%B7%E9%9B%BB%E5%8B%95%E5%8C%96%E5%8F%8A%E7%84%A1%E7%A2%B3%E5%8C%96%E9%97%9C%E9%8D%B5%E6%88%B0%E7%95%A5%E8%A1%8C%E5%8B%95%E8%A8%88%E7%95%AB(%E6%A0%B8%E5%AE%9A%E6%9C%AC).pdf
[6] 行政院. (2023) 2030 年客運車輛電動化推動計畫. [Online]. Available: https://www.ey.gov.tw/Page/5A8A0CB5B41DA11E/fbaa04ca-a430-48e7-8ba1-0b35d1dc4879
[7] 謝進盛, 潘奕言, 陳俊智, 張曼蘋, 邱書昱, and 趙容萱, “陽光行動／車多樁少！用地寸土寸金電動公車推展現隱憂,” 聯合報. [Online]. Available:https://udn.com/news/story/124032/7958116
[8] 中華民國交通部公路總局. (2023) 中央補助公共充電樁設置計畫，公路總局籲請縣市政府加速申請及執行. [Online]. Available: https://www.motc.gov.tw/ch/app/news_list/view?module=news&id=14&serno=0d19757c-00ec-4f58-b854-89903ba3626b
[9] “「專用電價」上路家用充電樁聰明裝輕鬆省,” 台電月刊, vol. 725, pp. 13–17, 2023. [Online]. Available: https://tpcjournal.taipower.com.tw/TPMM/2023/725/#p=14
[10] “「專設電表」社區充電兼顧安全與便利,” 台電月刊, vol. 725, pp. 6–12, 2023. [Online]. Available: https://tpcjournal.taipower.com.tw/article/6185
[11] F. Ahmad, A. Iqbal, I. Ashraf, M. Marzband et al., “Optimal location of electric vehicle charging station and its impact on distribution network: A review,” Energy Reports, vol. 8, pp. 2314–2333, 2022.
[12] A. Y. Lam, Y.-W. Leung, and X. Chu, “Electric vehicle charging station placement: Formulation, complexity, and solutions,” IEEE Transactions on Smart Grid, vol. 5, no. 6, pp. 2846–2856, 2014.
[13] K.-B. Lee, M. A. Ahmed, D.-K. Kang, and Y.-C. Kim, “Deep reinforcement learning based optimal route and charging station selection,” Energies, vol. 13, no. 23, p. 6255, 2020.
[14] S. P. Sathiyan, C. B. Pratap, A. A. Stonier, G. Peter, A. Sherine, K. Praghash, and V. Ganji, “Comprehensive assessment of electric vehicle development, deployment, and policy initiatives to reduce ghg emissions: opportunities and challenges,” IEEE Access, vol. 10, pp. 53 614–53 639, 2022.
[15] O. C. Alliance. (2023) Open charge point protocol. [Online]. Available: https://openchargealliance.org/protocols/open-charge-point-protocol/
[16] SAP. 什麼是物聯網（iot）？. [Online]. Available: https://www.sap.com/taiwan/products/artificial-intelligence/what-is-iot.html
[17] A. W. Services. 什麼是 iot (物聯網)？. [Online]. Available: https://aws.amazon.com/tw/what-is/iot/
[18] J. Lin, W. Yu, N. Zhang, X. Yang, H. Zhang, and W. Zhao, “A survey on internet of things: Architecture, enabling technologies, security and privacy, and applications,” IEEE internet of things journal, vol. 4, no. 5, pp. 1125–1142, 2017.
[19] S. Chen, J. Hu, Y. Shi, Y. Peng, J. Fang, R. Zhao, and L. Zhao, “Vehicle-toeverything (v2x) services supported by lte-based systems and 5g,” IEEE Communications Standards Magazine, vol. 1, no. 2, pp. 70–76, 2017.
[20] Gigabyte. Telematics | 車載資通訊系統. [Online]. Available: https://www.gigabyte.com/tw/Glossary/telematics
[21] Mediatek. 車載資通訊系統（telematics）. [Online]. Available: https://www.mediatek.tw/products/telematics-2
[22] A. Capponi, C. Fiandrino, B. Kantarci, L. Foschini, D. Kliazovich, and P. Bouvry, “A survey on mobile crowdsensing systems: Challenges, solutions, and opportunities,” IEEE communications surveys & tutorials, vol. 21, no. 3, pp. 2419–2465, 2019.
[23] J. Liu, H. Shen, H. S. Narman, W. Chung, and Z. Lin, “A survey of mobile crowdsensing techniques: A critical component for the internet of things,” ACM Transactions on Cyber-Physical Systems, vol. 2, no. 3, pp. 1–26, 2018.
[24] H. Yang, Y. Deng, J. Qiu, M. Li, M. Lai, and Z. Y. Dong, “Electric vehicle route selection and charging navigation strategy based on crowd sensing,” IEEE Transactions on Industrial Informatics, vol. 13, no. 5, pp. 2214–2226, 2017.
[25] L. P. Qian, X. Zhou, N. Yu, and Y. Wu, “Electric vehicles charging scheduling optimization for total elapsed time minimization,” in 2020 IEEE 91st Vehicular Technology Conference (VTC2020-Spring). IEEE, 2020, pp. 1–5.
[26] R. K. Ganti, F. Ye, and H. Lei, “Mobile crowdsensing: current state and future challenges,” IEEE communications Magazine, vol. 49, no. 11, pp. 32–39, 2011.
[27] X. Xiaoyu, Z. Huang, and Z. Lin, “Trajectory-based task allocation for crowd sensing in internet of vehicles,” in 2018 International Conference on Robots & Intelligent System (ICRIS). IEEE, 2018, pp. 226–231.
[28] E. Wang, R. Ding, Z. Yang, H. Jin, C. Miao, L. Su, F. Zhang, C. Qiao, and X. Wang, “Joint charging and relocation recommendation for e-taxi drivers via multi-agent mean field hierarchical reinforcement learning,” IEEE Transactions on Mobile Computing, vol. 21, no. 4, pp. 1274–1290, 2020.
[29] W. Zhang, H. Liu, H. Xiong, T. Xu, F. Wang, H. Xin, and H. Wu, “Rlcharge: Imitative multi-agent spatiotemporal reinforcement learning for electric vehicle charging station recommendation,” IEEE Transactions on Knowledge and Data Engineering, 2022.
[30] K. Gkiotsalitis, C. Iliopoulou, and K. Kepaptsoglou, “An exact approach for the multi-depot electric bus scheduling problem with time windows,” European Journal of Operational Research, vol. 306, no. 1, pp. 189–206, 2023.
[31] G. Wang, W. Li, J. Zhang, Y. Ge, Z. Fu, F. Zhang, Y. Wang, and D. Zhang, “sharedcharging: Data-driven shared charging for large-scale heterogeneous electric vehicle fleets,” Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, vol. 3, no. 3, pp. 1–25, 2019.
[32] M. Pustišek, A. Kos, and U. Sedlar, “Blockchain based autonomous selection of electric vehicle charging station,” in 2016 international conference on identification, information and knowledge in the Internet of Things (IIKI). IEEE, 2016, pp. 217–222.
[33] K. Arulkumaran, M. P. Deisenroth, M. Brundage, and A. A. Bharath, “Deep reinforcement learning: A brief survey,” IEEE Signal Processing Magazine, vol. 34, no. 6, pp. 26–38, 2017.
[34] Google. (2024) Google map routes api. [Online]. Available: https://developers.google.com/maps/documentation/routes?hl=en
[35] 中華民國交通部. 運輸資料流通服務平臺 (transport data exchange , tdx). [Online]. Available: https://tdx.transportdata.tw/

指導教授

胡誌麟(Chih-Lin Hu)

審核日期

2024-8-20

推文