應用遞歸神經網路於適當的時機回答問題

以作者查詢圖書館館藏

、以作者查詢臺灣博碩士

、以作者查詢全國書目

、勘誤回報

、線上人數：14

、訪客IP：18.222.35.77

姓名

韓任倢(Jen-Chieh Han) 查詢紙本館藏

畢業系所

資訊工程學系

論文名稱

應用遞歸神經網路於適當的時機回答問題
(Answer Questions at the Right Time with Recurrent Neural Networks)

相關論文

★ A Real-time Embedding Increasing for Session-based Recommendation with Graph Neural Networks	★ 基於主診斷的訓練目標修改用於出院病摘之十代國際疾病分類任務
★ 混合式心臟疾病危險因子與其病程辨識於電子病歷之研究	★ 基於 PowerDesigner 規範需求分析產出之快速導入方法
★ 社群論壇之問題檢索	★ 非監督式歷史文本事件類型識別──以《明實錄》中之衛所事件為例
★ 應用自然語言處理技術分析文學小說角色之關係：以互動視覺化呈現	★ 基於生醫文本擷取功能性層級之生物學表徵語言敘述：由主成分分析發想之K近鄰算法
★ 基於分類系統建立文章表示向量應用於跨語言線上百科連結	★ Code-Mixing Language Model for Sentiment Analysis in Code-Mixing Data
★ 藉由加入多重語音辨識結果來改善對話狀態追蹤	★ 對話系統應用於中文線上客服助理:以電信領域為例
★ 使用多任務學習改善使用者意圖分類	★ 使用轉移學習來改進針對命名實體音譯的樞軸語言方法
★ 基於歷史資訊向量與主題專精程度向量應用於尋找社群問答網站中專家	★ 使用YMCL模型改善使用者意圖分類成效

檔案

[Endnote RIS 格式]

[Bibtex 格式]

[相關文章]

[文章引用]

[完整記錄]

[館藏目錄]

[檢視]

[下載]

本電子論文使用權限為同意立即開放。
已達開放權限電子全文僅授權使用者為學術研究之目的，進行個人非營利性質之檢索、閱讀、列印。
請遵守中華民國著作權法之相關規定，切勿任意重製、散佈、改作、轉貼、播送，以免觸法。

摘要(中)

近年在中文自然語言領域技術成熟後，開始進一地往生活的應用上深掘，而對話系統也在這個時候逐漸蓬勃發展。從使用者輸入的句子中將字一一拆解，釐清是否與該應用領域的知識有關聯，辨識的同時還要讓系統能夠記得內容，最後串聯彼此間的連結，從而理解到使用者想問的問題，使系統回覆使用者適當的答案。而這一切的研究都有很大程度的進展，但在大部分的對話系統，都會預設使用者每輸入一次、系統則回覆一次，也就是one turn的形式。然而在實務上，仍是有使用者在描述問題會以多次地輸入句子，而同時客服人員在等待的狀況，思考如何解決這個問題，則是本次研究的目標。
我們使用現實中的中文對話資料，除了文字以外加入命名實體標籤、句與句之間的時間間隔等特徵，來學習深度學習的模型，找出適當的特徵。並採用具有記憶性且在有序列關聯的資料中，發揮優良的長短期記憶模型來尋求問題的出口，接著適時地加入注意力機制來提升效率。而且採用預先訓練詞向量，減少未知詞雜訊所造成的負面影響。最終，本論文比較多種特徵並引用注意力機制來學型模型，並引用注意力機制來點綴，相較於常見的單句輸入就回答的方式，在中文電信領域的對話資料集中平均大約提升了2%。

關鍵詞：回答時機; 時間間隔; 對話; 深度學習; 長短期記憶模型; 注意力機制; 詞向量; 命名實體

摘要(英)

In recent years, the technique of natural language processing is growing mature and expand to the application on real life. Then dialogue system also establish a strong position. You need to segment each word of sentence and figure out if relate to the domain. When recognizing, the system must remember the content. And finally, connect all the relation of words and realize the real question of user’s input. Then make system answer the question at the right time. Everything is fine, but it still has some problem. In most of dialogue system, after user inputting the question, the system will answer right away. In implement, it exists some situation like user will input many times to describe their problem. And customer service staff is just waiting. So it is what the problem, our research need to deal with.
We mainly use the dialogue data with words, named entity tags, time interval and so on. Using these features to train the deep learning model and find the appropriate ones. Try LSTM, including the gate to remember the content and being good at coping with sequence, and attention mechanism to get the better result. Then we use the pre-training word embedding to reduce the noisy in data. In the end, out thesis compares many kinds of features, and uses attention mechanism to train the model. Then determine which time of user’s input is fine to answer the question. In the telecom domain dialogue dataset, the model is about 2% higher than the one-input and one-answer situation.

Keywords: Answer Time; Time Interval; Dialogue; Deep Learning; Long-Short Term Memory; Attention Mechanism; Word Embedding; Named Entity

關鍵字(中)

★ 回答時機
★ 時間間隔
★ 對話
★ 深度學習
★ 長短期記憶模型
★ 注意力機制
★ 詞向量
★ 命名實體

關鍵字(英)

★ Answer Time
★ Time Interval
★ Dialogue
★ Deep Learning
★ Long-Short Term Memory
★ Attention Mechanism
★ Word Embedding
★ Named Entity

論文目次

摘要 I
ABSTRACT II
致謝 III
目錄 IV
圖目錄 VII
表目錄 VIII
第一章緒論 1
1.1 研究背景 1
1.2 研究動機 2
1.3 章節概要 3
第二章相關研究 5
2.1 對話系統(DIALOGUE SYSTEM) 5
2.1.1 對話資訊 6
2.1.2 自然語言理解(Nature Language Understanding) 7
2.2 時間序列(TIME SERIES) 8
2.3 命名實體辨識(NAMED ENTITY RECOGNITION, NER) 8
2.4 深度學習(DEEP LEARNING) 9
2.4.1 詞向量(Word2vec) 9
2.4.2 循環神經網路(Recurrent Neural Network, RNN) 10
2.4.3 長短期記憶網路(Long Short-Term Memory, LSTM) 11
2.4.4 注意力機制(Attention Mechanism) 12
2.5 混淆矩陣(CONFUSION MATRIX) 13
第三章系統架構 16
3.1 模組架構 16
3.1.1 前處理模組 16
3.1.2 歷史資訊模組 17
3.1.3 決策模組框架 18
3.2 模型描述 18
3.2.1 編碼器(Encoder) 19
3.2.2 句子編碼器(Sentence Encoder) 20
3.2.3 分類器(Classifier) 20
3.2.4 模型一句子 20
3.2.5 模型二句子結合特徵 20
3.2.6 模型三句子結合特徵及注意力機制 21
第四章資料集與特徵 23
4.1 TURN數與輸入句數的統計 23
4.2 訓練即測試資料集 25
4.3 特徵提取方式 26
4.3.1 BIO - 命名實體標籤(Name Entity Tag) 26
4.3.2 是否為疑問句 27
4.3.3 語句之順序(Utterance Sequence) 28
4.3.4 距離上一句的時間間隔(Last Time Interval) 28
4.3.5 距離下一句的時間間隔(Next Time Interval) 29
4.3.6 總說話時間(Total Time) 29
第五章實驗方法與討論 31
5.1 參數說明 31
5.2 實驗結果 31
5.2.1 Baseline 31
5.2.2 模型一 34
5.2.3 模型二 34
5.2.4 模型三 35
5.3 錯誤分析 36
5.3.1 插話與未答的相對嚴重性 38
5.3.2 具有爭議性的「距離下一句話的時間間隔」 41
第六章結論與未來展望 43
6.1 實驗成果 43
6.2 未來方向 43
參考文獻 44

參考文獻

Wen, T.-H., Vandyke, D., Mrksic, N., Gasic, M., Rojas-Barahona, L. M., Su, P.-H., . . . Young, S. (2016). A network-based end-to-end trainable task-oriented dialogue system. arXiv preprint arXiv:1604.04562.
Li, X., Chen, Y.-N., Li, L., Gao, J., & Celikyilmaz, A. (2017). End-to-end task-completion neural dialogue systems. arXiv preprint arXiv:1703.01008.
Chi, T.-C., Chen, P.-C., Su, S.-Y., & Chen, Y.-N. (2017). Speaker role contextual modeling for language understanding and dialogue policy learning. arXiv preprint arXiv:1710.00164.
Zhang, X., & Wang, H. (2016). A Joint Model of Intent Determination and Slot Filling for Spoken Language Understanding. Paper presented at the IJCAI.
Kim, S., & Banchs, R. E. (2014). Sequential labeling for tracking dynamic dialog states.
Henderson, M. (2015). Machine learning for dialog state tracking: A review. Paper presented at the Proc. of The First International Workshop on Machine Learning in Spoken Language Processing.
Ma, W.-Y., & Chen, K.-J. (2005). Design of CKIP Chinese word segmentation system. Chinese and Oriental Languages Information Processing Society, 14(3), 235-249.
Weigend, A. S. (2018). Time series prediction: forecasting the future and understanding the past: Routledge.
Li, P.-H., Dong, R.-P., Wang, Y.-S., Chou, J.-C., & Ma, W.-Y. (2017). Leveraging Linguistic Structures for Named Entity Recognition with Bidirectional Recursive Neural Networks. Paper presented at the Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.
Mikolov, T., Sutskever, I., Chen, K., Corrado, G. S., & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. Paper presented at the Advances in neural information processing systems.
Rumelhart, D. E., Hinton, G. E., & Williams, R. J. (1985). Learning internal representations by error propagation. Retrieved from
Elman, J. L. (1990). Finding structure in time. Cognitive science, 14(2), 179-211.
Karpathy, A. (2015). The unreasonable effectiveness of recurrent neural networks. Andrej Karpathy blog.
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780.
Bahdanau, D., Cho, K., & Bengio, Y. (2014). Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473.
Chen, P.-C., Chi, T.-C., Su, S.-Y., & Chen, Y.-N. (2017). Dynamic time-aware attention to speaker roles and contexts for spoken language understanding. arXiv preprint arXiv:1710.00165.
Yang, Z., Yang, D., Dyer, C., He, X., Smola, A., & Hovy, E. (2016). Hierarchical attention networks for document classification. Paper presented at the Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies.
Kingma, D., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.

指導教授

蔡宗翰(Tzong-Han Tsai)

審核日期

2018-7-27

推文