Hệ thống trả lời tự động tư vấn tuyển sinh sau đại học

Nội dung text: Hệ thống trả lời tự động tư vấn tuyển sinh sau đại học

1. Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII về Nghiên cứu cơ bản và ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00166 HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC Trần Thanh Trâm1, Trần Thanh Phước2, Nguyễn Thị Anh Thư3, Nguyễn Thế Hữu4, Văn Thế Thành5 1,3,5Phòng Sau đại học, Đại học Công nghiệp Thực phẩm TP. HCM 4Khoa Công nghệ thông tin, Đại học Công nghiệp Thực phẩm TP. HCM 2Phòng Lab NLP & KD, Khoa Công nghệ thông tin, Đại học Tôn Đức Thắng tramtt@hufi.edu.vn, tranthanhphuoc@tdtu.edu.vn, thunta@hufi.edu.vn, huunt@hufi.edu.vn, thanhvt@hufi.edu.vn TÓM TẮT: Cùng với đào tạo đại học thì đào tạo Sau đại học là một trong hai nhiệm vụ đào tạo chính của một trường đại học định hướng nghiên cứu. Các trường đại học luôn mong muốn thông tin về Sau đại học của trường mình luôn đến được kịp thời và đúng đắn cho học viên tiềm năng. Về phía người học cũng luôn mong muốn tiếp cận được nhanh nhất, hiệu quả nhất thông tin về chương trình học mà mình quan tâm. Vì vậy, chúng tôi đã xây dựng hệ thống trả lời tự động về tuyển sinh Sau đại học giúp cho việc tương tác hiệu quả hơn giữa trường đại học và học viên tiềm năng. Chúng tôi sử dụng hướng tiếp cận học sâu bao gồm hai mô hình chính là: mô hình phân loại ý định người dùng (Intent Classification) và mô hình máy đọc hiểu văn bản (Machine Reading Comprehension) để xây dựng hệ thống trả lời tự động. Chúng tôi sử dụng hai bộ dữ liệu cho thử nghiệm, bao gồm: bộ dữ liệu Stanford Question Answering Dataset (SQuAD) dành cho huấn luyện học chuyển đổi và bộ dữ liệu nghiệp vụ Sau đại học của phòng Đào tạo Sau đại học Trường Đại học Công nghiệp Thực phẩm TP. HCM cho huấn luyện và kiểm tra hệ thống trả lời tự động. Bước đầu cho thấy hệ thống trả lời tự động cho kết quả rất khả quan và có thể áp dụng mở rộng cho nhiều nghiệp vụ ở các phòng ban khác. Từ khóa: Phân loại văn bản, trả lời tự động, phân loại ý định, máy đọc hiểu văn bản. I. GIỚI THIỆU Trong thời đại thông tin hiện nay, nhu cầu tra cứu thông tin là vô cùng cần thiết. Nhằm nâng cao khả năng cạnh tranh, các tổ chức/doanh nghiệp mong muốn thông tin được cung cấp đến người dùng nhanh chóng và chính xác. Thông tin đến người dùng càng nhanh, càng chính xác thì tổ chức/doanh nghiệp càng có lợi thế cạnh tranh. Trong lĩnh vực giáo dục, đặc biệt là đào tạo bậc đại học và Sau đại học, hai bậc đào tạo này đang dần trở thành một dịch vụ, trong đó dịch vụ hướng tới khách hàng là sinh viên/học viên và trường đại học chính là nơi cung cấp dịch vụ. Trường nào cung cấp dịch vụ giáo dục tốt hơn thì học viên sẽ học nhiều hơn và được xã hội đánh giá cao hơn. Gần đây, khi nhu cầu học tập của con người càng có xu hướng đi lên thì việc học Sau đại học chính là mong muốn của nhiều sinh viên khi vừa mới tốt nghiệp Đại học, của nhiều người đang đi làm và đã có bằng đại học muốn có thêm nhiều cơ hội tiến xa hơn trong công việc, có cơ hội phát triển kiến thức sâu rộng cho bản thân, Qua đó có thể thấy rằng việc tư vấn tuyển sinh Sau đại học và chọn ngành học phù hợp là nhu cầu mà xã hội đang rất quan tâm. Mặc dù hằng năm, phần lớn các Trường (đơn vị) đều tổ chức các đợt tư vấn tuyển sinh Sau đại học cho thí sinh là các bạn sinh viên năm cuối, cử nhân, học viên về chương trình đào tạo Sau đại học, tuy nhiên việc này còn phụ thuộc vào nhiều yếu tố như địa điểm, thời gian, nhân sự, do đó chỉ có thể hỗ trợ được một bộ phận thí sinh ở thành phố hoặc những thí sinh có điều kiện tham dự, và đa phần các thí sinh ở những vùng sâu, vùng xa lại không có điều kiện tham gia. Bên cạnh đó, một số Trường cũng đã có thiết lập các trang web để nhận và trả lời các câu hỏi của thí sinh, nhưng các trang này đa phần là nhận câu hỏi từ thí sinh và trả lời trong một khoảng thời gian nhất định có thể là vài giờ nhưng cũng có thể là vài ngày, thậm chí là vài tuần, dẫn tới tình trạng thí sinh phải chờ đợi, gây chán nản và có thể sẽ tìm tới một sự tư vấn từ nơi khác. Từ những thực trạng trên chúng tôi nhận thấy rằng việc cần có một hệ thống trả lời tự động về tư vấn tuyển sinh Sau đại học để hỗ trợ các thí sinh hoặc những người có nhu cầu học Sau đại học là việc rất cần thiết. Với mong muốn cung cấp thông tin tuyển sinh Sau đại học một cách nhanh chóng và chính xác, có thể hoạt động một cách liên tục và tự động 24/7, đáp ứng hầu hết các thắc mắc cơ bản của thí sinh, chúng tôi đề xuất xây dựng hệ thống trả lời tự động về tư vấn tuyển sinh Sau đại học tại Trường Đại học Công nghiệp Thực phẩm TP. HCM (ĐH CNTP TP. HCM), hệ thống này sẽ giúp cho học viên có thể tương tác/tiếp cận nhanh chóng với các thông tin Sau đại học của trường. Thay vì học viên phải trực tiếp đến trường, gửi email hoặc gọi điện cho nhân viên tư vấn tuyển sinh trong giờ hành chính thì giờ đây, thông qua hệ thống phần mềm này, học viên có thể hỏi bất cứ lúc nào và bất cứ nơi đâu, hệ thống sẽ tư vấn trả lời hoặc gợi ý trả lời chính xác, nhanh chóng, từ đó đem lại sự hài lòng cho học viên. Qua đó giúp nâng cao năng lực tuyển sinh Sau đại học của trường, góp phần nâng cao vị trí đào tạo Sau đại học của Trường ĐH CNTP TP. HCM. Hệ thống trả lời tự động hiện đã được ứng dụng trong nhiều lĩnh vực, đặc biệt là lĩnh vực tiếp thị (marketing), bán hàng tự động, chăm sóc khách hàng, Hiện cũng có khá nhiều công cụ tạo Chatbot [1] phổ biến hiện nay như: ChatFuel, Messnow, ManyChat, Chatty People, Harafunnel, Shoplus, Hana, Các công cụ này giúp người dùng dễ dàng khởi tạo một Chatbot miễn phí trên ứng dụng Facebook Messenger cũng như một số mạng xã hội khác. Ở khía cạnh hẹp hơn là xét trong lĩnh vực giáo dục. Hiện tại chưa có bất kỳ hệ thống phần mềm trả lời tự động về tư vấn tuyển sinh Sau đại học tại các trường đại học, và hiển nhiên là chưa có hệ thống này tại Trường ĐH CNTP TP. HCM. Trong phần này, tôi xin mô tả vắn tắt công trình duy nhất liên quan đến hệ thống trả lời tự động cho lĩnh vực giáo dục tại Việt Nam. Hệ thống được xem là gần với hệ thống của chúng tôi nhất là “Hệ thống hỗ trợ tư vấn tuyển sinh đại học” của Nguyễn Thái Nghe và cộng sự [2]. Hệ thống cho phép người dùng có thể tra cứu, hỏi đáp thông tin
2. Trần Thanh Trâm, Trần Thanh Phước, Nguyễn Thị Anh Thư, Nguyễn Thế Hữu, Văn Thế Thành 173 tuyển sinh đại học thông qua tin nhắn điện thoại. Nhóm tác giả đã xử lý một số bài toán trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP: Natural language processing) như: phân đoạn từ, loại bỏ stop word, tìm keyword, sử dụng SVM để phân lớp câu hỏi, sử dụng TFIDF và độ đo cosine cho bài toán tìm độ tương đồng văn bản. Hệ thống tư vấn này có khả năng tiếp nhận câu hỏi của thí sinh từ trang Web/Email hoặc qua tin nhắn SMS và phản hồi tức thì lại cho thí sinh thông qua hệ thống chuyên gia. Như phần trên tôi đã đề cập, tất cả các công trình hiện tại đều chưa đề cập đến nghiệp vụ tuyển sinh Sau đại học, dù đây được xem là một nhiệm vụ quan trọng của một trường đại học. Các kết quả bước đầu tương đối khả quan, tuy nhiên, các hệ thống trên vẫn còn một số điểm cần cải tiến. Ví dụ như công trình [2], hệ thống chỉ sử dụng thuật toán SVM để thực hiện phân lớp câu hỏi. Dữ liệu được sử dụng để huấn luyện trong công trình này cũng là một hạn chế dù các tác giả có đề cập đến vấn đề “xây dựng tập dữ liệu tốt hơn cho sau này”. Công trình này cũng chưa sử dụng hướng tiếp cận học sâu đã và đang được áp dụng rộng rãi hiện nay. Trong bài báo này, chúng tôi bước đầu nghiên cứu và xây dựng hệ thống trả lời tự động cho nghiệp vụ tuyển sinh Sau đại học theo hướng học sâu. Với hệ thống này, học viên hoàn toàn tiếp cận được thông tin cơ bản của nghiệp vụ tuyển sinh Sau đại học mà không cần phải tốn công đến trường tìm hiểu, không cần phải trực tiếp hỏi hoặc gọi điện cho nhân viên phòng đào tạo Sau đại học trong giờ hành chính. Cấu trúc của bài báo bao gồm các phần như sau: Phần 2 trình bày một số kiến thức nền tảng có liên quan đến hệ thống trả lời tự động. Phương pháp xây dựng hệ thống trả lời tự động được trình bày ở Phần 3. Phần 4 và Phần 5 lần lượt trình bày kết quả thử nghiệm và kết luận của bài báo. II. KIẾN THỨC NỀN TẢNG Trong phần này, chúng tôi sẽ trình bày một số kiến thức nền tảng có liên quan đến bài toán trả lời tự động, bao gồm: phân loại ý định người dùng, trả lời tự động, máy đọc hiểu văn bản, học chuyển đổi, mô hình BERT và XLM. A. Phân loại ý định người dùng Phân loại ý định (IC: intent classification) là bài toán tự động phân loại ý định hoặc mục đích của người dùng dưới dạng văn bản, thuộc bài toán phân loại văn bản (text classification), gần giống với các bài toán khác như phát hiện thư rác (spam detection), phân tích cảm xúc (sentiment analysis), phân loại báo (news categorization), Các hướng tiếp cận đã giải quyết hiệu quả cho bài toán phân loại văn bản điều có thể áp dụng cho bài toán phân loại ý định từ các thuật toán cổ điển (Naive Bayes, SVM, mô hình markov ẩn - HMM) cho đến các mô hình mạng nơ ron tích chập, mạng nơ ron hồi quy. B. Trả lời tự động Trả lời tự động (QA: Question Answering) là một vấn đề được nghiên cứu khá nhiều trong lĩnh vực NLP. Khó khăn lớn nhất trong việc xây dựng và phát triển hệ thống này là chuyển đổi các kiến thức từ ngôn ngữ tự nhiên sang một dạng thông tin mà máy có thể hiểu. Hiện nay, QA cũng đã được sử dụng để phát triển các hệ thống hội thoại [3] và chatbot [4] để nâng cao tương tác với con người. C. Máy đọc hiểu văn bản Máy đọc hiểu văn bản (MRC: machine reading comprehension) được xem là một tác vụ mở rộng của QA. Mục đích của MRC là dạy cho máy có khả năng đọc hiểu một văn bản, học một ngữ cảnh cho trước để trả lời các câu hỏi liên quan. Với sự phát triển của học sâu, các mô hình nơ ron đã đem lại kết quả ấn tượng và đầy hướng hẹn cho MRC. Hiện nay, MRC được ứng dụng rộng rãi trong các hệ thống khác như tác nhân đàm thoại [5][6], dịch vụ hỗ trợ khách hàng [7], trả lời tự động, Tác giả Clark [8] cho rằng MRC là một trong những tiêu chí để đánh giá sự phát triển của AI thông qua việc máy có thể hiểu các khái niệm trừu tượng trong văn bản để đưa ra các quyết định. D. Học chuyển đổi Học chuyển đổi (transfer learning) [9] nhằm mục đích dùng kiến thức được học từ một nhiệm vụ nào đó sang một nhiệm vụ có liên quan khác, điều này giúp giảm thiểu tập dữ liệu và thời gian huấn luyện cũng như cải thiện hiệu suất của công việc [10]. Trong lĩnh vực trả lời tự động, học chuyển đổi sẽ dùng kiến thức từ lĩnh vực có lượng dữ liệu lớn, phong phú hơn (gọi là miền mở (Open domain)) sang một lĩnh vực nào đó có lượng dữ liệu nhỏ (gọi là miền đóng (close domain)). Kỹ thuật transfer learning được ứng dụng rộng rãi và mang lại thành công to lớn trong nhiều lĩnh vực. Trong NLP, kỹ thuật này cũng áp dụng vào các tác vụ như nhận dạng thực thể có tên [11], phân tích cú pháp [12], và đặc biệt là trong lĩnh vực trả lời tự động trên kho dữ liệu nghèo tài nguyên như tiếng Việt nói chung và cho nghiệp vụ tuyển sinh Sau đại học nói riêng. E. Mô hình BERT Năm 2018, tác giả Devlin [13] và các cộng sự giới thiệu một kỹ thuật mới có tên là Bidirectional Encoder Representations from Transformers (BERT) dựa trên kiến trúc Transformer [14] để huấn luyện mô hình ngôn ngữ. Kỹ thuật này đã mang lại kết quả đột phá cho hàng loạt bài toán NLP, trong đó có bài toán MRC. Mô hình BERT được huấn
3. 174 HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC luyện kết hợp theo hai chiến lược gồm Masked Language Model và Next Sentence Prediction. Mô hình BERT là một trong mô hình được chúng tôi sử dụng trong phần thử nghiệm của hệ thống trả lời tự động tư vấn tuyển sinh Sau đại học. F. Mô hình XLM Vào tháng 11 năm 2019, tác giả Conneau và các cộng sự thuộc nhóm nghiên cứu AI của Facebook đã công bố mô hình tên là XLM-RoBERTa (XLM-R) [15], mô hình này chỉ tập trung huấn luyện dựa trên chiến lược Masked Language Model và loại bỏ đi chiến lược Next Sentence Prediction. Nhóm tác giả công bố hai model gồm XLM-Rbase với 250 triệu tham số và XLM-Rlarge với 560 triệu tham số được huấn luyện trên 2.5 terabyte dữ liệu với 100 ngôn ngữ (trong đó có tiếng Việt) từ Common Crawl. Mô hình XLM-R đã đạt kết quả đột quá trên nhiều kho dữ liệu đa ngôn ngữ chuẩn (benmark) như MLQA [16]. Nhóm tác giả còn phát hiện rằng mô hình XLM-R không chỉ hoạt động hiệu quả trên các ngôn ngữ giàu tài nguyên như tiếng Anh mà còn hoạt động tốt trên các ngôn ngữ nghèo tài nguyên như tiếng Việt. Cùng với mô hình BERT, chúng tôi cũng áp dụng hai mô hình này cho bài toán phân loại ý định và bài toán MRC. Thực nghiệm cho thấy hai mô này cho kết quả vượt trội hơn các mô hình khác, kể cả mô hình BERT. III. XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TUYỂN SINH SAU ĐẠI HỌC Trong phần này, chúng tôi trình bày hai nội dung: (1) mô hình hoạt động tổng quát của hệ thống trả lời tự động, (2) kiến trúc ứng dụng của hệ thống trả lời tự động tuyển sinh Sau đại học. A. Mô hình hoạt động của hệ thống QA Hình 1. Mô hình hoạt động của hệ thống Hình 1 thể hiện quá trình hoạt động của một hệ thống QA, bao gồm các bước sau: Cho một câu hỏi tiếng Việt Q vào hệ thống QA. Đầu tiên, câu hỏi Q sẽ được mô hình IC phân loại ý định và trả về nội dung C. Tiếp theo, câu hỏi Q và nội dung C sẽ được mô hình MRC để xử lý và tìm ra câu trả lời A phù hợp nhất. Trong thực nghiệm, chúng tôi sử dụng ba mô hình BERT, XLM-Rbase và XLM-Rlarge cho cả hai bài toán IC và bài toán MRC. Sau đó, chúng tôi sẽ chọn mô hình cho kết quả tốt nhất để áp dụng cho hệ thống trả lời tự động tuyển sinh Sau đại học. B. Kiến trúc ứng dụng của hệ thống trả lời tự động tuyển sinh Sau đại học Hình 2. Kiến trúc ứng dụng
4. Trần Thanh Trâm, Trần Thanh Phước, Nguyễn Thị Anh Thư, Nguyễn Thế Hữu, Văn Thế Thành 175 Hình 2 thể hiện kiến trúc của ứng dụng trả lời tự động cho nghiệp vụ tư vấn tuyển sinh Sau đại học Trường ĐH CNTP TP. HCM. Hệ thống được xây dựng trên môi trường web với hai thành phần chính Frontend và Backend. Quy trình thực hiện theo thứ tự như sau: Người dùng sẽ nhập câu hỏi hoặc câu truy vấn vào ứng dụng thông qua giao diện web (Frontend). Backend sẽ đưa dữ liệu nhận được vào hệ thống trả lời câu hỏi tự động thông qua giao diện lập trình ứng dụng (API) kèm theo những tham số cần thiết. Tại đây, API sẽ tương tác với các dịch vụ (Service) bằng cách đưa câu truy vấn vào mô hình phân loại ý định để xác định đúng yêu cầu người dùng và trả về nội dung văn bản tương ứng từ cơ sở dữ liệu. Tiếp đó API tương tác với dịch vụ khác, nhận đầu vào là một câu truy vấn và một nội dung văn bản, đưa vào mô hình máy đọc hiểu văn bản và phản hồi lại câu trả lời phù hợp nhất thuộc nội dung đó. Trường hợp hệ thống trả lời câu hỏi với trọng số (score) thấp hơn ngưỡng yêu cầu thì hệ thống sẽ truy vấn vào cơ sở dữ liệu để đưa ra những câu hỏi tương tự với câu hỏi đầu vào. Backend sẽ nhận kết quả và phản hồi lại cho giao diện web (Frontend). IV. THỬ NGHIỆM A. Dữ liệu thử nghiệm 1. Kho dữ liệu SQuAD: Kho dữ liệu Stanford Question Answering Dataset (SQuAD) phiên bản 1.1 [17] được công bố vào năm 2016 và là một trong những dữ liệu được nghiên cứu rộng rãi trong các bài toán QA và MRC tiếng Anh. Để tạo được bộ dữ liệu này, tác giả đã chọn 536 bài viết từ Wikipedia tiếng Anh. Sau khi loại bỏ các thành phần không cần thiết như dữ liệu bảng, ảnh hoặc các đoạn văn bản dưới 500 ký tự, còn lại 23.215 đoạn văn. Tác giả sử dụng phương pháp nguồn lực đám đông (crowdsourcing) trên Amazon Mechanical Turk để tạo tổng cộng 107.785 câu hỏi. Tập dữ liệu này chứa nhiều chủ đề khác nhau nhưng đây không phải là một bộ dữ liệu QA miền mở, vì tác giả cho rằng mục đích của QA miền mở là trả lời các câu hỏi từ một nguồn tài liệu lớn, bộ dữ liệu này không giải quyết điều đó mà chỉ cần rút trích câu trả lời để phục vụ cho bài toán MRC. Vào tháng 4 năm 2018, bộ dữ liệu SQuAD phiên bản 2.0 được công bố [18], được tăng cường thêm hơn 50.000 câu hỏi không có câu trả lời, để đánh giá các mô hình không chỉ có khả năng trả lời các câu hỏi mà còn xác định được các câu hỏi không có câu trả lời nằm trong đoạn văn đó. Trong bài báo này, chúng tôi chỉ nghiên cứu, tham khảo và xây dựng dữ liệu của mình dựa trên bộ dữ liệu SQuAD v1.1. Hình 3 là một ví dụ về cặp câu hỏi - câu trả lời trong trong một đoạn văn của kho dữ liệu SQuAD v1.1. Bảng 1 giải thích các thuật ngữ trong file JSON của Hình 3. Hình 3. Ví dụ các cặp câu hỏi - câu trả lời trong một đoạn văn thuộc SQuAD v1.1 theo định dạng JSON Bảng 1. Cấu trúc của tập dữ liệu dạng JSON Tên trường Ý nghĩa data Chứa toàn bộ nội dung của tập dữ liệu. version Thông tin về phiên bản của tập dữ liệu. title Chủ đề của tập dữ liệu. paragraphs Chứa các đoạn văn và bộ câu hỏi, câu trả lời. context Chứa đoạn văn được trích từ trường content của dữ liệu thô. qas Chứa bộ câu hỏi và các câu trả lời. answers Chứa các bộ câu trả lời và vị trí bắt đầu của câu trả lời trong đoạn văn.
5. 176 HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC Tên trường Ý nghĩa answer_start Vị trí bắt đầu của câu trả lời dựa trên đoạn văn. text Câu trả lời của câu hỏi question Chứa câu hỏi có liên quan tới một vấn đề được đề cập trong đoạn văn. id Được trích từ phần dữ liệu thô. 2. Kho dữ liệu vi_SquAD 1.1 Hiện tại, vẫn chưa có kho dữ liệu lớn về trả lời tự động cho tiếng Việt. Vì vậy, chúng tôi đã dịch từ Anh sang Việt kho dữ liệu SQuAD 1.1 thông qua hệ thống Google Translate và đặt tên là vi_SQuAD v1.1. Chúng tôi làm việc này dựa trên ý tưởng tác giả Lee [19] đã áp dụng hiệu quả cho tiếng Hàn. Sau khi loại bỏ tất cả các đoạn văn bản và câu trả lời dịch sai hoặc dịch thiếu, kết quả thu được 60.000 cặp câu hỏi - câu trả lời. Kho ngữ liệu này được chia với tỉ lệ 80 % làm tập huấn luyện (train) và 20 % tập xác thực (valid). Kho dữ liệu này được sử dụng để huấn luyện mô hình học chuyển đổi cho hệ thống trả lời tự động của chúng tôi. Hình 4 là một ví dụ về cặp câu hỏi - câu trả lời trong một đoạn văn của kho dữ liệu vi_SquAD v1.1. Đây là bản dịch của của đoạn văn trong kho dữ liệu SQuAD v1.1 ở Hình 3. Hình 4. Ví dụ các cặp câu hỏi - câu trả lời tiếng Việt trong một đoạn văn thuộc vi_SQuAD v1.1 theo định dạng JSON 3. Kho dữ liệu tư vấn tuyển sinh Sau đại học HUFI-PostGrad Kho dữ liệu này được xây dựng dựa trên tài liệu “Quy chế tuyển sinh Sau đại học Trường Đại học Công nghiệp Thực phẩm”. Trong quá trình xây dựng tập dữ liệu, vì những câu hỏi hay câu trả lời đều không thể sinh tự động nên chúng tôi phải làm thủ công toàn bộ quá trình kết hợp với mô hình Crowdsourcing (nguồn lực đám đông) với sự hỗ trợ nhiệt tình từ thầy cô, người thân, bạn bè, các bạn sinh viên, để thu thập câu hỏi và câu trả lời cho dữ liệu này, giúp cho việc thu thập câu hỏi được đa dạng trong cách diễn đạt và câu trả lời được thu thập rõ ràng, chính xác hơn. Đặc điểm của kho dữ liệu HUFI-PostGrad như sau: Trường context không được quá ngắn hay quá dài. Để đảm bảo mô hình hiểu được ngữ cảnh, trường context sẽ có độ dài khoảng từ 3 đến 5 câu. Nếu có trường hợp một câu trong context quá dài thì sẽ cắt ra thành context mới những vẫn đảm bảo ý nghĩa. Mỗi một trường context sẽ phải có ít nhất 20 bộ câu hỏi và câu trả lời. Yêu cầu này để đảm bảo cho việc huấn luyện không bị thiếu dữ liệu. Câu hỏi đặt ra phải là câu có liên quan trực tiếp đến đoạn văn ở trường context, câu hỏi này có thể trả lời bằng một khoảng văn bản liên tục. Đặt câu hỏi theo nhiều cách diễn đạt của bản thân. Điều này giúp tập dữ liệu phong phú hơn tránh được việc mô hình chỉ trả lời được một dạng câu hỏi. Câu trả lời phải là đoạn văn bản liên tục được trích từ nội dung của trường context. Sau khi phân tách thành câu hỏi - câu trả lời, chúng tôi thu được tổng cộng 1.571 cặp câu hỏi - câu trả lời qua 45 đoạn nội dung văn bản. Đối với bài toán phân loại ý định, đầu vào là một câu hỏi và đầu ra là một lớp thuộc trong 45 loại nội dung văn bản này, để đánh giá các mô hình chúng tôi chia tập dữ liệu theo tỉ lệ xấp xỉ: 60 % tập huấn luyện (train), 20 % tập xác thực (valid), 20 % tập kiểm tra (test). Hình 5 minh hoạ một ví dụ trong kho dữ liệu HUFI_PostGrad. B. Các độ đo để đánh giá kết quả thử nghiệm 1. Độ đo đánh giá cho IC Đối với bài toán phân loại nhiều lớp, độ chính xác (accuracy) không phải là độ đo đánh giá phù hợp khi các lớp mất cân bằng. Chúng tôi sử dụng một độ đo khác là F1-score là trung bình của Precise (P) và Recall (R) với True Positives (TP) là số lượng mà bộ phân loại dự đoán đúng lớp, False Positives (FP) là số lượng mà bộ phân loại dự đoán sai so với lớp đúng thực tế và False Negatives (FN) là số lượng số lượng mà bộ phân loại dự đoán sai qua lớp khác.
6. Trần Thanh Trâm, Trần Thanh Phước, Nguyễn Thị Anh Thư, Nguyễn Thế Hữu, Văn Thế Thành 177 Macro-average F1 score (F1-Score) được tính độc lập từng lớp rồi tính trung bình lại theo công thức sau: ∑ 2. Độ đo đánh giá cho MRC Chúng tôi sử dụng hai độ đo tương tự [17] gồm Exact Match (EM) và Macro-averaged F1 score. Exact Match (EM): tính % số dự đoán khớp hoàn toàn với câu trả lời chính xác. Macro-averaged F1 score: tính trung bình phần dự đoán nằm trong câu trả lời chính xác. Phần dự đoán và câu trả lời chính xác sẽ thành các túi từ, tính F1 của chúng và tiếp theo tính trung bình của tất cả các câu hỏi. Hình 5. Ví dụ một mẫu dữ liệu trong HUFI_PostGrad C. Kết quả thử nghiệm Kết quả thử nghiệm các mô hình cho bài toán IC và bài toán MRC được thể hiện ở Bảng 2 và Bảng 3. Bảng 2. Kết quả thử nghiệm cho bài toán IC STT Mô hình F1-Score 01 BERT 0.944 02 XLM-Rbase 0.952 03 XLM-Rlarge 0.967 Bảng 3. Kết quả thử nghiệm cho bài toán MRC với độ đo EM / F1-Score STT Mô hình EM/F1-Score 01 BERT 56.680 / 76.460 02 XLM-Rbase 56.073 / 78.016 03 XLM-Rlarge 62.437 / 81.202 D. Thảo luận Từ kết quả thực nghiệm, chúng tôi nhận thấy rằng hệ thống XLM-Rlarge cho kết quả tốt nhất. Dựa vào bộ dữ liệu kiểm tra, chúng tôi phát hiện có rất nhiều trường hợp hệ thống XLM-Rlarge cho kết quả tốt hơn so với hai hệ thống còn lại. Đó cũng là minh chứng giải thích cho sự vượt trội của hệ thống XLM-Rlarge. Vì vậy, chúng tôi đã sử dụng mô hình XLM-Rlarge cho hệ thống trả lời tự động tư vấn tuyển sinh Sau đại học của Trường ĐH CNTP TP. HCM.
7. 178 HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH SAU ĐẠI HỌC Bảng 4 trình bày 6 ví dụ trong bộ dữ liệu kiểm tra, trong đó 3 ví dụ cho kết quả gần như nhau cho cả 3 hệ thống, và 3 ví dụ mà hệ thống XLMR_Large cho kết quả tốt hơn 2 hệ thống còn lại. Ngữ cảnh: “Đào tạo trình độ thạc sĩ được thực hiện theo hình thức đào tạo chính quy. Ngôn ngữ chính thức dùng trong đào tạo trình độ thạc sĩ là tiếng Việt. Phương thức tuyển sinh đào tạo trình độ thạc sĩ gồm: thi tuyển đối với người Việt Nam và xét tuyển đối với người nước ngoài có nguyện vọng học thạc sĩ tại Việt Nam. Việc tuyển sinh đào tạo trình độ thạc sĩ được tổ chức tối đa 2 lần mỗi năm. Thời gian đào tạo trình độ thạc sĩ tối thiểu 01 năm và tối đa 04 năm (tùy theo chương trình theo hướng ứng dụng hoặc hướng nghiên cứu). Thời gian đào tạo trình độ thạc sĩ hướng ứng dụng tối thiểu 01 năm và tối đa 03 năm. Thời gian đào tạo trình độ thạc sĩ hướng nghiên cứu tối thiểu 1,5 năm và tối đa 04 năm.” Bảng 4. Một số ví dụ trong bộ dữ liệu kiểm tra STT Câu hỏi BERT XLM-Rbase XLM-Rlarge 1 Đào tạo thạc sĩ bằng ngôn ngữ gì ? Tiếng Việt Tiếng Việt Tiếng Việt 2 Đào tạo thạc sĩ theo hình thức nào ? Đào tạo chính Đào tạo chính quy Đào tạo chính quy quy 3 Tuyển sinh thạc sĩ mấy lần ? 2 lần mỗi năm Tối đa 2 lần mỗi năm Tối đa 2 lần mỗi năm 4 Thời gian học thạc sĩ bao lâu ? Tối thiểu 01 Tối thiểu 01 năm và tối đa Tối thiểu 01 năm và tối đa năm 04 năm 04 năm 5 Thời gian học thạc sĩ theo hướng ứng dụng Tối thiểu 01 Tối thiểu 01 năm Tối thiểu 01 năm và tối đa bao lâu ? năm 03 năm 6 Thời gian học thạc sĩ theo hướng nghiên 01 năm Tối thiểu 1,5 năm Tối thiểu 1,5 năm và tối đa cứu bao lâu ? 04 năm Trong 6 ví dụ trên thì hệ thống XLM-Rlarge cho kết quả đúng cả 6 trường hợp. Hệ thống BERT cho kết quả đúng 3 trường hợp đầu và sai 3 trường hợp sau. Hệ thống XLM-Rbase cho kết quả đúng ở 4 trường hợp đầu và sai ở 2 trường hợp cuối. V. KẾT LUẬN Trong bài báo này, chúng tôi đã bước đầu xây dựng được một hệ thống trả lời tự động cho nghiệp vụ tư vấn tuyển sinh Sau đại học Trường ĐH CNTP TP. HCM. Chúng tôi đã sử dụng hai mô hình chủ đạo là phân loại ý định (Intent classification) và máy đọc hiểu văn bản (machine reading comprehension) để xây dựng hệ thống trả lời tự động này. Ngoài ra, chúng tôi cũng đã xây dựng được kho dữ liệu tương đối lớn bằng cách dịch từ Anh sang Việt kho ngữ liệu SQuAD v1.1 dựa trên Google Translate. Kho dữ liệu này được sử dụng để huấn luyện mô hình học chuyển đổi. Bên cạnh đó, kho dữ liệu HUFI_PostGrad cũng được khởi tạo thủ công từ tài liệu “Quy chế tuyển sinh Sau đại học Trường Đại học Công nghiệp Thực phẩm”. Kho dữ liệu được sử dụng cho quá trình huấn luyện và kiểm tra kết quả của hệ thống. Để tăng chất lượng của hệ thống trả lời tự động nói chung và nghiệp vụ tuyển sinh Sau đại học nói riêng, chúng tôi cho rằng cần phải có một kho dữ liệu QA tiếng Việt thật lớn và chất lượng để huấn luyện cho mô hình học chuyển đổi. Hiện tại, hệ thống của chúng tôi vẫn chỉ sử dụng kho dữ liệu được dịch từ kho dữ liệu tiếng Anh thông qua Google Translate. Việc sai sót trong quá trình dịch tự động là điều không thể tránh khỏi và hiển nhiên sẽ ảnh hưởng đến chất lượng của mô hình huấn luyện sử dụng kho dữ liệu được dịch này. Kho dữ liệu HUFI_PostGrad cũng cần được cải tiến cả số lượng và chất lượng. Hiện tại, kho ngữ liệu này hoàn toàn được khởi tạo thủ công từ tài liệu sẵn có của Phòng Sau đại học ĐH CNTP TP. HCM. Trong tương lai, chúng tôi sẽ tiếp tục tìm hiểu các kỹ thuật tự động khác nhằm tăng số lượng cũng như chất lượng cho kho ngữ liệu này. VI. LỜI CẢM ƠN Đề tài được thực hiện bằng nguồn kinh phí hỗ trợ từ Chương trình Vườn ươm Sáng tạo Khoa học và Công nghệ Trẻ, được quản lý bởi Trung tâm Phát triển Khoa học và Công nghệ Trẻ - Thành Đoàn Thành phố Hồ Chí Minh và Sở Khoa học và Công nghệ Thành phố Hồ Chí Minh, theo hợp đồng số “08/2019/HĐ-KHCNT-VƯ”. TÀI LIỆU THAM KHẢO [1] Mohammad Nuruzzaman and Omar Khadeer Hussain, “A Survey on Chatbot Implementation in Customer Service Industry through Deep Neural Networks”, A Survey on Chatbot Implementation in Customer Service Industry through Deep Neural Networks, 2018. [2] Nguyễn Thái Nghe và Trương Quốc Định, “Hệ thống hỗ trợ tư vấn tuyển sinh đại học”, Tạp chí Khoa học Trường Đại học Cần Thơ, pp.152-159, 2015. [3] Daniel Jurafsky and James H. Martin, “Speech and Language Processing: An Introduction to Natural Language Processing”, Computational Linguistics and Speech Recognition, 2008.
8. Trần Thanh Trâm, Trần Thanh Phước, Nguyễn Thị Anh Thư, Nguyễn Thế Hữu, Văn Thế Thành 179 [4] Silvia Quarteroni, “A Chatbot-based Interactive Question Answering System”, 11th Workshop on the Semantics and Pragmatics of Dialogue: 8390, 2007. [5] D. Hewlett, L. Jones, and A. Lacoste, “Accurate supervised and semi-supervised machine reading for long documents”, in Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2011-2020, 2017. [6] Siva Reddy, Danqi Chen, and Christopher D. Manning, “CoQA: A conversational question answering challenge”, Transactions of the Association for Computational Linguistics, Volume 7, pp. 249-266, 2019. [7] L. Cui, S. Huang, F. Wei, C. Tan, C. Duan, and M. Zhou, “Superagent: a customer service chatbot for e-commerce websites”, in Proceedings of ACL , System Demonstrations, pp. 97-102, 2017. [8] P. Clark and O. Etzioni, “My Computer Is an Honor Student - but How Intelligent Is It? Standardized Tests as a Measure of AI”, AIMag, vol. 37, no. 1, pp. 5-12, 2016. [9] Pan, S. J. and Yang, Q, “A Survey on Transfer Learning”, IEEE Transactions on Knowledge and Data Engineering, volume 22, no. 10, pp. 1345-1359, 2010. [10] Sewon Min, Minjoon Seo, and Hannaneh Hajishirzi, “Domain Adaptation in Question Answering”, ArXiv, abs/1702.02171, 2017. [11] K. Sparck Jones, “A statistical interpretation of term specificity and its application in retrieval”, Journal of documentation, vol. 28, no. 1, pp. 11-21, 1972. [12] T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, and J. Dean, “Distributed representations of words and phrases and their compositionality”, in Advances in neural information processing systems, pp. 3111-3119, 2013. [13] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”, In Proceedings of NAACL-HLT 2019, pp. 4171-4186, 2019. [14] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin, “Attention is all you need”, in Advances in Neural Information Processing Systems, pp. 5998- 6008, 2017. [15] Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer, and Veselin Stoyanov, “Unsupervised Cross-lingual Representation Learning at Scale”, in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 8440-8451, 2020. [16] Patrick Lewis, Barlas Oguz, Ruty Rinott, Sebastian Riedel, and Holger Schwenk, “MLQA: Evaluating cross- lingual extractive question answering”, in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7315-7330, 2020. [17] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang, “SQuAD: 100,000+ Questions for Machine Comprehension of Text”, in Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2383-2392, 2016. [18] Pranav Rajpurkar, Robin Jia, and Percy Liang, “Know What You Don’t Know: Unanswerable Questions for SQuAD”, in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 784- 789, 2018. [19] Kyungjae Lee, Kyoungho Yoon, Sunghyun Park, and Seung-won Hwang, “Semi-supervised Training Data Generation for Multilingual Question Answering”, in Proceedings of the Eleventh International Conference on Language Resources and Evaluation, 2018. AN AUTOMATED ANSWERING SYSTEM FOR POSTGRADUATE ADMISSION ADVISORY Tran Thanh Tram, Tran Thanh Phuoc, Nguyen Thi Anh Thu, Nguyen The Huu, Van The Thanh ABSTRACT: Along with undergraduate training program, Postgraduate training program is one of the two main training missions of a research-oriented university. Universities always want their postgraduate information to be promptly and properly delivered to potential students. As for learners, they always want to have the fastest and most effective information about the curricula they are interested in. Therefore, we have built an automated answering system for postgraduate admission to facilitate a more effective interaction between the university and potential students. We have used the deep learning approach including two main models (Intent Classification model and Machine Reading Comprehension model) to build the automated answering system. We have used two corpora for experiment, including the Stanford Question Answering Dataset (SQuAD) for transfer learning training and the Postgraduate dataset of the Ho Chi Minh City University of Food Industry for training and testing process. The experiment shows that our automated answering system has given very positive results and can be extended to many majors in other departments.