深度Q學習用於尋找最佳拔管時機

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：84

、訪客IP：18.219.142.90

姓名

簡筠軒(Yun-Hsuan Chien) 查詢紙本館藏

畢業系所

生醫科學與工程學系

論文名稱

深度Q學習用於尋找最佳拔管時機
(Deep Q Learning for Weaning Mechanical Ventilation in Intensive Care Units)

相關論文

★ 發展酵素非限制性全基因體調控因子解析方法	★ 利用健保資料庫探討常見複雜疾病之中草藥處方研究
★ 主觀影響療癒的案例與主觀在醫療重要性的探討	★ 中藥單方的適應症與其於中藥複方中的重要性之間的關係
★ 精神分裂症病患與正常人之DNA甲基化網絡的差異	★ 躁鬱症病患的精子之DNA 甲基化的網路分析
★ Cloud-R:以R軟體與雲端技術為基礎的生物統計應用網站	★ 中草藥藥性與中草藥遺傳演化樹之關係
★ 利用階層式叢集及不同分類方法分析人類正常組織特異性基因	★ 由ENCODE計畫分析脫氧核醣核酸酶I與組蛋白修飾
★ 皮膚痣圖片毛髮辨識去除	★ 中醫癌症處方多由癰瘍、和解之劑與寒方組成，並隨氣溫下降而更改組成
★ 主成分分析與叢集分析於DNA微陣列數據前處理的應用與實作	★ 確認與中醫處方有關的環境和社會經濟變數
★ 與中醫處方有關的社會經濟變量關係網絡的確認與分析	★ 開發CNN模型預測學生是否退學— 練習如何建立AI模型以從NGS短序列片段數據中偵測SNP

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

本文希望透過深度強化學習演算法來評估最佳的拔管時機，呼吸器是重症監護病房中相當常用的輔助手段，同時伴隨不同鎮靜及鎮痛藥物的使用以緩解病患的痛苦，過去這項醫療決策的判斷大多依靠醫生的經驗，並沒有明確的量化準則。根據醫生的專業能力以及病患的身體條件（年齡、體重）的不同，醫療決策會有不同程度的變化，由於人為的判斷時常受到主觀意識的影響，引進人工智慧的輔助能更加客觀。
在Medical Information Mart for Intensive Care (MIMIC)-III 資料庫演示版本 (v1.4)中，我們篩選出使用呼吸器的病患，將他們的用藥記錄以及不同時刻的生理數據進行整理，並將這些資料輸入我們所建立的深度Q學習神經網路 (deep Q network, DQN) 供機器學習，並調整模型中的各項超參數 (hyperparameter) 以得到最佳的訓練效果。經過不斷的學習，機器習得了可以判斷最佳拔管時機的策略後，接著再利用離線策略評估 (off-policy evaluation) 的方式來評估機器所採取的策略是否優於臨床醫生的判斷。

摘要(英)

In this research, we want to use deep reinforcement learning algorithms to evaluate the best extubation timing. Ventilators are a common intervention in intensive care units. At the same time, different sedative and analgesic drugs are used to relieve the pain of patients. In the past, this medical treatment decision-making mostly relied on the doctors’ experience, and there was no clear quantitative criterion. According to the professional abilities of the doctors and the physical conditions of the patients, such as age and weight, the medical decision-making varies. To avoid subjective consciousness, the assistance of introducing artificial intelligence will be more objective.
In the Medical Information Mart for Intensive Care (MIMIC)-III database demo (v1.4), we screen out patients using mechanical ventilators, organize their medication records and physiological data at different hours. We use this data as input to train DQN and tune the hyperparameters in the model to achieve a better training result. After the machine has learned the best extubation timing, we use off-policy evaluation to determine whether the machine can take better strategies that exceed clinicians.

關鍵字(中)

★ 機器學習
★ 深度強化學習
★ 深度Q網路
★ 呼吸器
★ 拔管時機

關鍵字(英)

★ machine learning
★ deep reinforcement learning
★ deep Q network
★ DQN
★ mechanical ventilation
★ extubation

論文目次

摘要 i
英文摘要 ii
致謝 iii
目錄 iv
圖目錄 v
表目錄 vi
符號說明 vii
一、緒論 1
1-1 人工智慧 (artificial intelligence, AI) 1
1-2 深度學習 (deep learning) 6
1-3 研究動機 9
二、研究內容與方法 11
2-1 數據來源 11
2-2 資料前處理 13
2-3 建立DQN模型 17
三、結果 21
3-1 最佳的模型 21
3-2 離線策略評估 (off-policy evaluation) 21
四、結論 23
參考文獻 25
附錄一 27
附錄二 33
附錄三 36

參考文獻

Ambrosino, N., & Gabbrielli, L. (2010). The difficult-to-wean patient. Expert review of respiratory medicine, 4(5), 685-692.
Bellman, R. (1957). A Markovian decision process. Journal of mathematics and mechanics, 679-684.
Collins, J. A., Rudenski, A., Gibson, J., Howard, L., & O’Driscoll, R. (2015). Relating oxygen partial pressure, saturation and content: the haemoglobin–oxygen dissociation curve. Breathe, 11(3), 194-201.
Conti, G., Mantz, J., Longrois, D., & Tonner, P. (2014). Sedation and weaning from mechanical ventilation: time for ‘best practice’to catch up with new realities?. Multidisciplinary respiratory medicine, 9(1), 1-5.
Goldberger, A. L., Amaral, L. A., Glass, L., Hausdorff, J. M., Ivanov, P. C., Mark, R. G., Mietus, J. E., Moody, G. B., Peng, C. K. & Stanley, H. E. (2000). PhysioBank, PhysioToolkit, and PhysioNet: components of a new research resource for complex physiologic signals. circulation, 101(23), e215-e220.
Goldstone, J. (2002). The pulmonary physician in critical care 10: Difficult weaning. Thorax, 57(11), 986-991.
Hughes, C. G., McGrane, S., & Pandharipande, P. P. (2012). Sedation in the intensive care setting. Clinical pharmacology: advances and applications, 4, 53.
Johnson, A. E., Pollard, T. J., Shen, L., Lehman, L. W. H., Feng, M., Ghassemi, M., Moody, B., Szolovits, P., Celi, L. A. & Mark, R. G. (2016). MIMIC-III, a freely accessible critical care database. Scientific data, 3(1), 1-9.
Johnson, A., Pollard, T., & Mark, R. (2019). MIMIC-III Clinical Database Demo (version 1.4). PhysioNet. https://doi.org/10.13026/C2HM2Q.
Mnih, V., Kavukcuoglu, K., Silver, D., Graves, A., Antonoglou, I., Wierstra, D., & Riedmiller, M. (2013). Playing atari with deep reinforcement learning. arXiv preprint arXiv:1312.5602.
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S. & Hassabis, D. (2015). Human-level control through deep reinforcement learning. nature, 518(7540), 529-533.
Prasad, N., Cheng, L. F., Chivers, C., Draugelis, M., & Engelhardt, B. E. (2017). A reinforcement learning approach to weaning of mechanical ventilation in intensive care units. arXiv preprint arXiv:1704.06300.
Watkins, C. J., & Dayan, P. (1992). Q-learning. Machine learning, 8(3), 279-292.
Wunsch, H., Wagner, J., Herlim, M., Chong, D., Kramer, A., & Halpern, S. D. (2013). ICU occupancy and mechanical ventilator use in the United States. Critical care medicine, 41(12).
Yu, C., Ren, G., & Dong, Y. (2020). Supervised-actor-critic reinforcement learning for intelligent mechanical ventilation and sedative dosing in intensive care units. BMC medical informatics and decision making, 20(3), 1-8.

指導教授

王孫崇

審核日期

2022-7-11

推文