Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi quy

Nội dung text: Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi quy

1. 230 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC Một số giải pháp tối ưu tập luật mờ TSK trích xuất từ máy học véc-tơ hỗ trợ hồi quy Nguyễn Đức Hiển Trường cao đẳng Công nghệ thông tin – Đại học Đà Nẵng ndhien@cit.udn.vn Tóm tắt. Trích xuất tập luật mờ TSK từ máy học véc-tơ hỗ trợ là một trong những hướng tiếp cận để xây đựng mô hình mờ cho các bài toán dự đoán, dự báo. Những nghiên cứu trước đây theo hướng tiếp cận này cho thấy mô hình mờ được huấn luyện tự động dựa trên tập dữ liệu đầu vào, dẫn đến những hạn chế chủ yếu như kích thước tập luật lớn, thiếu đặc trưng, thiếu tính bao phủ. Trong bài báo này, nhóm tác giả nghiên cứu đế xuất và thực nghiệm một số giải pháp nhằm rút gọn, tối ưu tập luật mờ TSK trích xuất được nhưng vẫn đảm bảo hiệu quả dự đoán, dự báo của mô mình. Từ khóa: Mô hình mờ TSK, Máy học Véc-tơ hỗ trợ, Mô hình mờ hướng dữ liệu, Mô hình dự báo hồi quy. 1 Đặt vấn đề Mô hình mờ được biết đến như là một mô hình khá hiệu quả trong việc xử lý những thông tin mơ hồ và không chắc chắn; đồng thời nó cũng thể hiện những lợi thế rõ ràng trong việc biểu diễn và xử lý tri thức. Hoạt động của mô hình mờ phụ thuộc vào hệ thống các luật mờ và quá trình suy diễn trên tập luật mờ đó. Đã có nhiều tác giả nghiên cứu và đề xuất các phương thức để xây dựng các mô hình mờ hướng dữ liệu [3, 4, 5, 6, 7, 8, 9, 10]. Vấn đề trích xuất mô hình mờ từ máy học véc-tơ hỗ trợ (SVM – Support Vector Machine) được nhóm tác giả J.-H Chiang và P.-Y Hao nghiên cứu và công bố lần đầu tiên vào năm 2004 [3]. Một trong những vấn đề của máy học véc-tơ hỗ trợ là tính chính xác của mô hình thu được tỷ lệ thuận với số lượng support-vector (Sv) sinh ra; điều này đồng nghĩa với việc nếu tăng tính chính xác của mô hình thì số lượng luật mờ của mô hình mờ trích xuất được cũng sẽ tăng lên. Nói cách khác là khi tăng hiệu suất của mô hình thì đồng nghĩa với việc làm giảm tính “sáng sủa” (tính “có thể hiểu được”) của mô hình. Như vậy vấn đề đặt ra là làm thế nào có thể trích xuất được hệ thống mờ đảm bảo độ tin cậy của kết quả dự đoán, đồng thời hạn chế được số lượng luật mờ trong mô hình. Trong bài báo này, chúng tôi đề xuất giải pháp tích hợp kỹ thuật phân cụm k-Means để rút gọn tập luật mờ trích xất được, đồng thời đưa ra giải pháp lựa chọn giá trị tối ưu của các tham số để có thể đảm bảo được độ tin cậy của kết quả dự đoán dựa vào mô hình trích xuất được. Các phần tiếp theo của bài báo bao gồm: phần 2 trình bày sơ lược về sự tương đương của mô hình mờ TSK và máy học véc-tơ hỗ trợ làm cơ sở cho việc xây dựng thuật toán trích xuất mô hình mờ; phần 3 giới thiệu thuật toán fm-SVM* cho phép trích xuất tập luật mờ rút gọn từ SVM, trong đó có tích hợp kỹ thuật phân cụm k-Means; phần 4 giới thiệu một mô hình thực nghiệm dự báo hồi quy, trong đó có kết hợp so sánh với một số kết quả của những mô hình đề xuất trước đó. Cuối cùng, trong phần 5 chúng tôi nêu lên một số kết luận và định hướng nghiên cứu tiếp theo.
2. Nguyễn Đức Hiển 231 2 Trích xuất mô hình mờ TSK từ máy học vevcs-tơ hỗ trợ Hệ thống mờ TSK bao gồm một tập các luật mờ “IF – THEN”, với phần kết luận của mỗi luật này là một hàm (không mờ) ánh xạ từ các tham số đầu vào tới tham số đầu ra của mô hình [3,4,5,6,10]. Giả sử có một hệ thống mờ TSK với m luật mờ được biểu diễn như sau: j j j Rj: IF x1 is A1 and x2 is A2 and and xn is An THEN z = gj(x1, x2, , xn) , với j = 1, 2, , m (1) Trong đó xi(i = 1, 2, . n) là các biến điều kiện; z là các biến quyết định của hệ thống mờ j được xác định bởi hàm gj(. ); Ai là những thuật ngữ ngôn ngữ xác định bởi hàm thành viên tương ứng μ j (x). Lưu ý, μ j (x) là hàm thành viên mờ được xác định trên một véc-tơ nhiều Ai Ai chiều. Đầu ra của hệ thống mờ được tính toán như sau: m j ∑ z (μ j (x)) j=1 A f(x) = m (2) ∑ μ j (x) j=1 A với n μ j (x) = ∏ μ j (x ) (3) A A i i=1 i j Trong đó, z là giá trị đầu ra của hàm gj(. ). Bên cạnh đó, với vai trò giải quyết vấn đề tối ưu hóa hồi quy, lý thuyết cơ bản của SVM có thể được vắn tắt như sau [2,3,6,8]: Cho một tập dữ liệu huấn luyện {(x1, y1), , (xl, yl)} ⊂ 풳 × ℝ, trong đó 풳 xác định miền dữ liệu đầu vào. Với ε-Support Vector Regression, bài toán tối ưu hóa ràng buộc cần giải quyết là: l 1 T ∗ min w w + C ∑(ξi + ξi ) (4) w,b,ξ,ξ∗ 2 i=1 T Sao cho: (w . Φ(xi) + b) − yi ≤ ε + ξi, T ∗ ∗ yi − (w . Φ(xi) + b) ≤ ε + ξi , với ξi, ξi ≥ 0, và i = 1, 2, , l ∗ Trong đó, C là tham số chuẩn tắc, ε là sai số cho phép, ξi, ξi là những biến lỏng, Φ(x) là hàm ánh xạ phi tuyến tính để tiền xử lý dữ liệu phí tuyến tính đầ vào bằng cách ánh xạ và không gian thuộc tính nhiều chiều ℱ. Và từ đó đưa đến việc giải bài toán Quadratic Programming:
3. 232 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC 푙 1 − ∑(α − α∗)(α − α∗)(Φ(x )T. Φ(x )) 2 i i j j i j max 푖,푗 (5) α,α∗ l l ∗ ∗ − ε ∑(αi + αi ) − ∑ yi(αi + αi ) { i=1 i=1 Sao cho: l ∗ ∗ ∑(αi − αi ) = 0, and C ≥ αi, αi ≥ 0, i = 1, 2, , l i=1 ∗ Trong đó, αi, αi là những nhân tử Lagrange. Véc-tơ w có dạng: l ∗ w = ∑(αi − αi ). xi (6) i=1 Và hàm quyết định là: l ∗ T f(x) = ∑(αi − αi ) (Φ(xi) . Φ(xj)) + b (7) i=1 T Gọi K(xi, xj) = Φ(xi) . Φ(xj) là hàm nhân của không gian đầu vào; và hàm quyết định (7) được viết lại như sau: l ∗ f(x) = ∑(αi − αi )K(xi, x) + b (8) i=1 ∗ Những điểm đầu vào xi với (αi − αi ) ≠ 0 được gọi là những véc-tơ hỗ trợ (Svi). Xét hàm đầu ra của mô hình mờ TSK (2) và hàm quyết định của mô hình máy học Véc-tơ hồi quy (8). Để (2) và (8) đồng nhất với nhau, trước tiên chúng ta phải đồng nhất giữa hàm nhân trong (8) và hàm thành viên trong (2). Ở đây, để thỏa mãn điều kiện Mercer [1] hàm thành viên Gauss được chọn làm hàm nhân; đồng thời giá trị của b trong (8) phải bằng 0. Khi hàm Gauss được chọn làm hàm thành viên và hàm nhân, đồng thời số luật mờ bằng với số véc-tơ hỗ trợ (m = l) thì hàm quyết định (8) trở thành: l 2 ∗ 1 xi − x f(x) = ∑(αi − αi )exp (− ( ) ) (9) 2 σi i=1 và hàm kết quả đầu ra suy luận mờ (2) trở thành: 2 l j 1 xj − x ∑j=1 z exp (− ( ) ) 2 σj f(x) = 2 (10) l 1 xj − x ∑j=1 exp (− ( ) ) 2 σj Như cách biến đổi trong [8], hàm suy luận mờ (10) có thể viết lại như sau: l 2 1 xj − x f(x) = ∑ zjexp (− ( ) ) (11) 2 σj j=1
4. Nguyễn Đức Hiển 233 j ∗ Và chúng ta chọn: z = (αi − αi ) (12) Như vậy, trên cơ sở thỏa mãn các điều kiện để đồng nhất hàm đầu ra của SVMs và hệ thống mờ TSK, chúng ta có thể trích xuất được mô hình mờ TSK từ máy học Véc-tơ hỗ trợ. 3 Thuật toán trích xuất mô hình mờ TSK có tích hợp một số giải pháp tối ưu mô hình 3.1 Tối ưu hóa tham số các hàm thành viên Những tham số của hàm thành viên có thể được tối ưu hóa dùng những thuật toán gradient descent hoặc thuật toán di truyền (GAs). Trong trường hợp này, để nhận được tập mờ tối ưu, chúng tôi cập nhật gía trị các tham số của hàm thành viên theo các hàm thích nghi sau đây: (x − c)2 (x − c)2 σ (t + 1) = σ (t)δε [ exp (− )] (13) i i 1,i σ3 2σ2 −(x − c) (x − c)2 c (t + 1) = c (t)δε [ exp (− )] (14) i i 1,i σ2 2σ2 3.2 Lựa chọn tham số 훆 Một trong những đặc điểm của mô hình mờ là “tính có thể diễn dịch được” (intepretability) [14]. Tuy nhiên, đối với mô hình máy học véc-tơ hỗ trợ nếu tăng tính chính xác của mô hình thì số lượng véc-tơ hỗ trợ (SVs) cũng tăng lên, đồng nghĩa với số lượng luật mờ cũng tăng lên. Điều này làm cho tính phức tạp của hệ thống tăng lên và đặc biệt là “tính có thể diễn dịch được” của hệ thống mờ giảm đi. Thực nghiệm mô hình máy học véc-tơ hồi quy trên hàm hồi quy phi tuyến Sinc(x) được cho bởi công thức (15), với tập dữ liệu huấn luyện được xác định trên đoạn [-3π, 3π], cho thấy: sin ( ) 푖 ≠ 0 푆푖푛 ( ) = { (15) 1 푖 = 0 Trong quá trình xác định cấu trúc SVM, chúng tôi sử dụng tham số ε để điều chỉnh số lượng SVs. Theo kết quả thể hiện ở hình 1 chúng ta thấy: khi giá trị của tham số ε giảm đi thì số lượng SVs cũng tăng lên, đồng thời độ chính xác của kết quả dự đoán cũng tăng lên (đường đậm nét là đường dự đoán hồi quy, đường đánh dấu + là đường biểu diễn giá trị dữ liệu đúng).
5. 234 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC Hình. 1. Mối quan hệ giữa số lượng SVs và tham số ε (giá trị của ε tương ứng theo thứ tự các hình vẽ là 0.5, 0.2, 0.1 và 0.01). (a) b) Hình. 2 Phân bố của 50 và 6 hàm thành viên mờ Bằng cách giữ cố định giá trị tham số C = 10. Khi giá trị ε = 0.0, sẽ có 50 SVs nhận được từ mô hình, đồng nghĩa với việc chúng ta nhận được 50 luật mờ (chú ý rằng, trong trường hợp này tất cả các các mẫu dữ liệu huấn luyện được chọn làm SVs đầu ra). Hình 2a thể hiện phân bố của 50 hàm thành viên mờ tương ứng trong trường hợp này. Khi tăng giá trị tham số ε = 0.1, thì có 6 SVs nhận được tương ứng với 6 luật mờ. Hình 2b thể hiện phân bố của 6 hàm thành viên mờ tương ứng. 3.3 Rút gọn tập luật bằng cách tích hợp kỹ thuật phân cụm k-Means Tập luật mờ trích xuất từ động từ máy học véc-tơ hỗ trợ không tránh khỏi sự nhập nhằng trong luật mờ. Chính sự ngẫu nhiên của dữ liệu đầu vào làm cho các luật mờ học được có sự phân bố không đều, có nhiều luật mờ có hàm phân bố tương tự nhau (hình 2b). Kỹ thuật phân cụm k-Means là một giải pháp đề xuất để gom cụm các luật mờ có phân bố hàm thanh viên tương tự, từ đó có thể rút gọn các tập luật mờ, giảm tính nhập nhằng của tập luật trích xuất được. Ở đây, các giá trị 푖 = 푠푣푖, phương sai 휎푖 cũng chính là center và biên độ của các hàm thành viên mờ sẽ là dữ liệu đầu vào để thực hiện phân cụm với thuật toán k-Means. Số phân cụm k được lựa chọn ngẫu nhiên, trong trường hợp thực nghiệm này k được chọn bằng ½ số Support véc-tơ trích xuất được từ mỗi máy học SVM. Kết quả sau khi thực hiện thuật toán phân cụm, lập luật của mỗi phân cụm sẽ được thay thế bằng một luật duy nhất với các hàm thành viên mờ được xác định bởi các giá trị 푖 = 푠푣푖, phương sai 휎푖 trung tâm của mỗi cụm. Như vậy số luật trích xuất được từ mô hình chính xác sẽ là k luật, tương ứng với k phân cụm. 3.4 Đề xuất thuật toán trích xuất tập luật mờ Từ những phân tích trên, chúng tôi đã đề xuất thuật toán fm-SVM* (sơ đồ thuật toán ở hình 3).
6. Nguyễn Đức Hiển 235 Begin Input: Training data set Initialize parameters of SVMs Centers : 푖, 푖 = 1. . Variances : 휎푖, 푖 = 1. . Tối ưu hóa các tham số σi, ci Cluster (휎푖, 푠푣푖) using k-Means extract fuzzy rules from SVM IF x is Gaussmf(휎푖, 푠푣푖) THEN y is B Lựa chọn tham số ε và số phân cụm k tối ưu Output: TSK fuzzy model End Hình. 3. Sơ đồ thuật toán trích xuất tập luật mờ TSK. Thuật toán fm-SVM* cho phép trích xuất mô hình mờ TSK từ máy học véc-tơ hỗ trợ gồm các bước nhưu sau: Bước 1: huấn luyện SVMs với tập dữ liệu huấn luyện để trích xuất ra các véc-tơ hỗ trợ tương ∗ ứng với các giá trị 푖 = 푠푣푖, phương sai 휎푖, và (훼푖 − 훼푖 ) = Bước 2: tối ưu hóa các tham số Tối ưu hóa các tham số 휎푖, 푖, ε Bước 3: dùng thuật toán k-Means để phân cụm các (휎푖, 푠푣푖) thành k cụm Bước 4: chọn các (휎푖, 푠푣푖) là trung tâm của các cụm để thiết lập các hàm thành viên Gauss cho các luật mờ TSK; trong đó 푠푣푖 là trung tâm của hàm thành viên và 휎푖 là biên độ mờ. Tập các luật mờ TSK trích xuất được sẽ có dạng: 퐹 푖 푖푠 푠푠 (휎푖, 푠푣푖) 푖 푖푠 Điểm mới của mô hình fm-SVM* được đề xuất so với các mô hình trước đó mà nhóm tác giả đã nghiên cứu là:
7. 236 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC 1) Sử dụng kỹ thuật phân cụm k-Means để phân cụm các hàm thành viên mờ có phân bố tương tự, từ đó thay thể các luật mờ trong một phân cụm bằng một luật duy nhất, đó chính là center của mỗi phân cụm 2) Điều chỉnh để lựa chọn giá trị tối ưu cho các tham số ε và k cho từng mô hình thực tế bằng cách thực nghiệm trên tập dữ liệu Validation 4 Mô hình thực nghiệm dự báo giá cổ phiếu 4.1 Mô hình thực nghiệm Trong phần này, chúng tôi đề xuất một mô hình trích xuất luật mờ dự đoán giá cổ phiếu bằng cách sử dụng thuật toán fm-SVM* đã đề xuất. Sơ đồ khối của mô hình được thể hiện trong hình. 4. Part 1 fm-SVM 1 Part 2 fm-SVM 2 Phân cụm Mô hình Dữ liệu Lựa chọn thuộc dữ liệu tính dữ liệu vào vào bằng SOM mờ Part n-1 fm-SVM n-1 Part n fm-SVM n Hình. 4. Mô hình mờ dự đoán giá cổ phiếu. Lựa chọn dữ liệu đầu vào. Để có sự so sánh với kết quả của L.J. Cao và Francis E.H. Tay trong [12,13], chúng tôi lựa chọn dữ liệu đầu vào là các chỉ số giá cổ phiếu hằng ngày . Các thuộc tính dữ liệu đầu vào cụ thể hiện trong Bảng 1. Bảng 1. Các thuộc tính dữ liệu vào. Ký hiệu Thuộc tính Công thức tính ̅̅̅̅̅̅̅̅̅̅̅̅̅̅ 1 EMA100 푃푖 − 100(푖) 2 RDP-5 (푃(푖) − 푃(푖 − 5))/푃(푖 − 5) ∗ 100 3 RDP-10 (푃(푖) − 푃(푖 − 10))/푃(푖 − 10) ∗ 100 4 RDP-15 (푃(푖) − 푃(푖 − 15))/푃(푖 − 15) ∗ 100 5 RDP-20 (푃(푖) − 푃(푖 − 20))/푃(푖 − 20) ∗ 100 RDP+5 (푃̅̅̅(̅푖̅̅+̅̅̅5̅̅) − 푃̅̅̅(̅푖̅)̅)/̅푃̅̅(̅푖̅̅) ∗ 100 ̅̅̅̅̅̅ ̅̅̅̅̅̅̅̅̅̅̅ 푃(푖) = 3(푖) Trong đó, P(i) là chỉ số giá đóng phiên của ngày thứ i, RPD-m là tỷ lệ khác biệt trung bình m ngày (m-day relative difference in percentage of price – RDP) và EMAm(i) là m-day exponential moving average của giá đóng phiên ngày thứ i. Tiền xử lý dữ liệu vào. Trong nghiên cứu này, chúng tôi sử dụng thuật toán phân cụm SOM (Self-Organizing Map) để phân dữ liệu đầu vào thành các cụm theo sự tương đương phân bố thống kê của các điểm dữ liệu. Kết quả phân cụm bởi SOM sẽ giúp giải quyết được hai vấn đề [12]:
8. Nguyễn Đức Hiển 237 1) Kích thước dữ liệu trong từng cụm sẽ nhỏ hơn làm tăng tốc độ học của mô hình. 2) Dữ liệu trong các cụm có sự tương đương trong phân bố thống kê, như vậy sẽ hạn chế được các trường hợp nhiễu. Trích xuất mô hình mờ bằng fm-SVM*. Mỗi cụm dữ liệu vào đã được phân tách bằng SOM sẽ được đưa vào huấn luyện cho từng máy fm-SVM* tương ứng để trích xuất các luật mờ. Các tập luật mờ trích xuất được từ các máy fm-SVM* tương ứng với các cụm dữ liệu huấn luyện có thể được sử dụng để suy luận dự đoán giá cổ phiếu. Những luật mờ khai phá được từ dữ liệu đã được phân thành các cụm riêng biệt và được cải thiện tính “có thể diễn dịch được”, như vậy các chuyên gia con người có thể diễn dịch thành luật ngôn ngữ và từ đó có thể hiểu và đánh giá được các luật này. 4.2 Kết quả thực nghiệm Để đánh giá mô hình đề xuất, chúng tôi xây dựng một hệ thống thử nghiệm dựa trên bộ công cụ Matlab. Thuật toán học SVM của thư viện LIBSVM được phát triển bởi nhóm của Chih-Wei Hsu [11], được sử dụng để sản sinh ra các SVs từ dữ liệu huấn luyện, làm cơ sở để xây dựng thuật toán trích xuất các luật mờ fm-SVM*. Việc phân cụm dữ liệu đầu vào được thực hiện dựa trên bộ công cụ SOM được phát triển bởi Juha Vesanto và các đồng sự [15]. Sau cùng, chúng tôi sử dụng hàm AVALFIS trong thư viện công cụ Matlab Fuzzy Logic để suy luận dự báo giá cổ phiểu dựa vào các luật mờ sản xuất được. Nguồn dữ liệu. Nguồn dữ liệu thực nghiệm được chọn từ bốn mã cố phiếu của các tập đoàn và tổ chức tài chính lớn của Mỹ bao gồm: IBM Corporation stock (IBM), the Apple inc. stock (APPL), the the Standard & Poor’s stock index (S&P500), and the Down Jones Industrial Average index (DJI) (xem bảng 3). Tất cả các dữ liệu trên được lấy từ nguồn sàn chứng khoán Yahoo Finance ( Bảng 2. Nguồn dữ liệu thực nghiệm. Stocks Time Training Validation Testing IBM Corporation stock (IBM) 03/01/2000 - 30/06/2010 2409 200 200 Apple inc. stock (APPL) 03/01/2000 - 30/06/2010 2409 200 200 Standard & Poor’s stock index 03/01/2000 - 23/12/2008 2028 200 200 (S&P500) Down Jones Industrial Average 02/01/1991 - 28/03/2002 2352 200 200 index (DJI) Các kết quả thực nghiệm. Các tập dữ liệu Training được sử dụng để huấn luyện cho các mô hình để tạo ra các tập luật mờ tương ứng với từng mã cổ phiếu. Các tập dữ liệu Validation được sử dụng để suy luận thử với các tập luật mờ tương ứng với từng mã cổ phiểu. Từ đó, các tham số ε và k (số phân cụm bằng k-Means) được xác định bằng cách tùy chỉnh để có được các giá trị thông số đánh giá tốt nhất, gồm NMSE (Nomalized Mean Squared Error), MAE (Mean Absolute Error), và DS (Directional Symmetry). Trong đó NMSE và MAE đo lường độ lệch giữa giá trị thực tế và giá trị dự đoán, DS đo lường tỷ lệ dự đoán đúng xu hướng của giá trị RDP+5. Giá trị tương ứng của NMSE và MAE là nhỏ và của DS là lớn chứng tỏ rằng mô hình dự đoán tốt. Mô hình kết quả đã được tối ưu hóa các tham số bằng cách tinh chỉnh trên tập dữ liệu Validation được sử dụng để dự đoán trên tập dữ liệu Testing. Bên cạnh đó, chúng tôi cũng thử nghiệm dự đoán trên cùng bộ dữ liệu Testing với các mô hình khác được đề xuất trước đó, bao gồm SVM, mô hình kết hợp SOM+SVM và SOM+f-SVM. Mô hình SOM+SVM là mô hình
9. 238 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA 2018 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC dựa trên sự kết hợp của SOM và SVM, được đề xuất để dự đoán xu hướng cổ phiếu trong [16]. Mô hình SOM+f-SVM là mô hình kết hợp SOM với f-SVM thuần túy (chưa tối ưu tham số ε). Kết quả thực nghiệm dự đoán trên 200 mẫu dữ liệu testing được thể hiện trong bảng 3. Bảng 3. Kết quả dự đoán trên 200 mẫu dữ liệu thử nghiệm. SVM SOM+SVM SOM+f-SVM SOM+ fm-SVM* Mã cổ Số Số phiếu NMSE MAE DS NMSE MAE DS NMSE MAE DS NMSE MAE DS luật luật IBM 0.9278 0.0191 38.31 1.1028 0.0577 44.22 1355 1.1028 0.0577 44.22 15*6 1.0324 0.0554 50.75 APPL 1.0725 0.0110 34.33 1.1100 0.0445 52.76 1287 1.1100 0.0445 52.76 5*55 1.0467 0.0435 53.27 SP500 1.2687 0.0394 38.90 1.1081 0.1217 52.76 965 1.1081 0.1217 52.76 15*6 1.0836 0.1207 53.27 DJI 1.1015 0.0576 38.31 1.0676 0.1186 50.25 1025 1.0676 0.1186 50.25 5*35 1.0459 0.1181 51.76 So sánh giá trị các thông sô MNSE và MAE trong Bảng 3 ta thấy, trên cả 4 mã cổ phiếu, giá trị các thông số MNSE và MAE của mô hình SOM+fm-SVM đề xuất là nhỏ hơn so với mô hình SVM, điều này chứng tỏ độ sai lệch giữa giá trị dự đoán và giá trị thực tế của mô hình đề xuất là ít hơn so với hai mô hình kia. Bên cạnh đó, ta cũng thấy giá trị thông số DS của mô hình đề xuất lớn hơn so với mô hình SVM, điều này chứng tỏ tỷ lệ dự đoán đúng xu hướng của mô hình đề xuất cao hơn. So sánh kết quả của mô hình SOM+ fm-SVM* đề xuất với mô hình SOM+SVM và SOM+ fm-SVM* trong Bảng 4, ta thấy giá trị của những thông số của cả hai mô hình là tương đương. Điều này cũng dễ dàng lý giải được, bởi vì các thuật toán f-SVM và fm-SVM* đã rút trích ra tập luật mờ dùng cho mô hình dự đoán từ các máy SVMs, và như vậy mô hình dự đoán đề xuất kết hợp SOM với f-SVM và fm-SVM* sẽ thừa hưởng hiệu quả của mô hình SOM+SVM là điều tất yếu. Tuy nhiên, so với mô hình dự đoán SOM+SVM thì các mô hình mô hình mờ TSK có những ưu điểm sau: 1) Mô hình dự đoán SOM+SVM là một mô hình “hộp đen” đối với người dùng cuối, trong khi mô hình đề xuất cho phép trích xuất ra một tập luật mờ và quá trình suy luận sẽ được thực hiện trên tập luật này. Đối với người dùng cuối thì mô hình suy luận dựa trên một tập luật mờ sẽ dễ hiểu và sáng tỏ hơn. 2) Ngoài ra việc áp dụng SOM để phân cụm dữ liệu đầu vào thành từng tập nhỏ riêng biệt, bên cạnh hiệu quả mang lại là giảm kích thước dữ liệu vào và từ đó làm giảm độ phức tạp của thuật toán, tập luật sinh ra cũng sẽ được phân thành các cụm riêng biệt tương ứng, điều này cũng sẽ góp phần giúp cho chuyên gia con người dễ dàng đọc hiểu và phân tích các luật mờ học được. Điểm cải thiện của mô hình dựa trên fm-SVM* so với mô hình dựa trên f-SVM chính là số luật mờ trích xuất được trong từng mô hình dự đoán. Ví dụ, đối với mã cổ phiếu IBM, tổng số luật mờ theo mô hình SOM+f-SVM là 1355, nhưng với mô hình SOM+fm-SVM* thì chỉ có 90 luật (15*6). Như vậy, số luật mờ của mô hình đề xuất đã giảm đi rất nhiều so với mô hình SOM+f-SVM, trong khi tính chính xác của kết quả dự đoán vẫn được đảm bảo. 5 Kết luận Nghiên cứu này đề xuất một số giải pháp để tối ưu hóa mô hình mờ TSK trích xuất từ máy học véc-tơ hỗ trợ giải quyết bài toán dự báo hồi quy. Thuật toán fm-SVM* đề xuất cho phép điều chỉnh và lựa chọn giá trị tối ưu của các tham số ε và k trên cơ sở sử dụng tập dữ liệu Validation.
10. Nguyễn Đức Hiển 239 Các kết quả thực nghiệm trên dữ liệu Testing cho thấy mô hình dự đoán đề xuất thật sự mạng lại hiệu quả thể hiện ở chỗ: độ chính xác của kết quả dự đoán cao hơn hoặc tương tương đương so với các mô hình khác, thể hiện qua các giá trị của các thông số NMSE, MAE và DS, trong khi đó thì số lượng luật mờ của các mô hình được rút gọn đáng kể. Như đã trình bày ở phần 4 của bài báo, một trong những hiệu quả mang lại của việc rút gọn và gom cụm các luật mờ trích xuất được là sẽ giảm độ phức tạp trong quá trình suy luận, đồng thời giúp cho việc diễn dịch và phân tích các luật này dễ dàng hơn. Trong những nghiên cứu tiếp theo, chúng tôi sẽ nghiên cứu các giải pháp để tích hợp luật chuyên gia với tập luật mờ hướng dữ liệu nhằm nâng cao hiệu quả dự đoán. Tài liệu tham khảo 1. J. Shawe-Taylor and N. Cristianini: “Kernel Methods for Pattern Analysis”, Cambridge University Press (2004). 2. Corinna Cortes and Vladimir Vapnik: “Support-Vector Networks, Machine Learning”, Machine Learning, 20, 273-297 (1995). 3. J.-H Chiang, P.-Y Hao: “Support vector learning mechanism for fuzzy rule-based modeling: a new approach”, IEEE Trans. On Fuzzy Systems, vol. 12, pp. 1-12 (2004). 4. J.L. Castro, L.D. Flores-Hidalgo, C.J. Mantas, J.M. Puche: “Extraction of fuzzy rules from support vector machines”, Elsevier. Fuzzy Sets and Systems, 158, 2057–2077 (2007). 5. J.-S. R. Jang: “Anfis: adaptive-network-based fuzzy inference system”, IEEE Transactions on Systems, Man and Cybernetics, vol. 23, no. 3, pp. 665-685 (1993). 6. David Martens, Johan Huysmans, Rudy Setiono, Jan Vanthienen, Bart Baesens: “Rule Extraction from Support Vector Machines - An Overview of issues and application in credit scoring”, Studies in Computational Intelligence (SCI) 80: 33–63 (2008). 7. M. Azeem, M. Hanmandlu, N. Ahmad: “Generalization of adaptive neuro-fuzzy inference systems”, IEEE Transactions on Neural Networks, vol. 11, no. 6. 8. S. Chen, J. Wang, D. Wang: “Extraction of fuzzy rules by using support vector machines”, IEEE, Computer society, pp. 438-441 (2008). 9. Serge Guillaume, Luis Magdalena: “Expert guided integration of induced knowledge into a fuzzy knowledge base”, Soft Comput, Springer-Verlag 2006, 10:733-784 (2006). 10. Y. Jin, B. Sendhoff: “Extracting interpretable fuzzy rules from RBF networks”, Neural Processing Letters, vol. 17, no. 2, pp. 149-164 (2003). 11. Chih-Wei Hsu, Chih-Chung Chang, Chih-Jen lin: “A practical Guide to Support Vector Classification”, (2010). 12. Francis Eng Hock Tay and Li Yuan Cao: “Improved financial time series forecasting by combining Support Vector Machines with self-organizing feature map”, Intelligent Data Analysis 5, IOS press: 339-354 (2001). 13. L.J.Cao and Francis E.H.Tay: “Support vector machine with adaptive parameters in Financial time series forecasting”, IEEE trans. on neural network,vol. 14, no. 6 (2003). 14. John Yen, Reza Langari, “Fuzzy logic: Intelligence, Control, and Information”, Prentice hall, Uper dadle river, New Jersey (1999). 15. Juha Vesanto, Johan Himberg, Esa Alhoniemi, Jaha Parhankangas, “SOM Toolbox for Matlab 5”, (2000). 16. Duc-Hien Nguyen, Manh-Thanh Le: “A two-stage architecture for stock price forecasting by combining SOM and fuzzy-SVM”, International Journal of Computer Science and Infor-mation Security (IJCSIS), USA, ISSN: 1947-5500, Vol. 12 No. 8: 20-25 (2013).