Hệ khuyến nghị trong dự đoán sở thích người dùng ứng dụng trong kinh doanh thông minh

Nội dung text: Hệ khuyến nghị trong dự đoán sở thích người dùng ứng dụng trong kinh doanh thông minh

1. Lương Ngọc Tú, Phạm Nguyễn Hoàng Nam, Võ Hà Quang Định, Đặng Thái Thịnh 117 Hệ khuyến nghị trong dự đoán sở thích người dùng ứng dụng trong kinh doanh thông minh Lương Ngọc Tú, Phạm Nguyễn Hoàng Nam, Võ Hà Quang Định, Đặng Thái Thịnh Phòng Công nghệ thông tin, Trường Đại học Kinh tế Thành phố Hồ Chí Minh {tuln, nam, vhqdinh, thinhdt}@ueh.edu.vn Tóm tắt. Tăng cường năng lực cạnh tranh cho doanh nghiệp trong môi trường kinh doanh hiện nay là một việc làm hết sức cần thiết. Trong đó, thương mại điện tử phát triển mạnh ở Việt Nam trong vài năm gần đây. Sức ép cạnh tranh khiến doanh nghiệp cải tiến bằng quy trình, thu hút vốn đầu tư hay triển khai các hệ thống quản trị thông minh. Nghiên cứu này nhằm đưa ra một cách tiếp cận về sử dụng hệ thống khuyến nghị ứng dụng trong dự báo sở thích người dùng. Từ đó, xếp hạng các đề xuất theo phương pháp lọc cộng tác nhằm đưa ra những đề xuất về sản phẩm mà khách hàng có thể thích theo thứ tự nhằm gia tăng khả năng mua hàng cũng như lòng trung thành của khách hàng. Nghiên cứu cũng đề cử một cách thức triển khai lưu trữ dữ liệu bằng quan hệ tích hợp vào các hệ thống đang có và mô hình đánh giá sự hiệu quả của khuyến nghị. Từ khóa: hệ khuyến nghị, kinh doanh thông minh, thương mại điện tử, lọc cộng tác, dự đoán sở thích. 1 Giới thiệu Những tiến bộ trong công nghệ cùng với Internet tạo ra những tiếp cận thông tin trực tuyến và thúc đẩy thực hiện các công việc kinh doanh giao dịch trên Internet [2]. Dữ liệu trong không gian thông tin toàn cầu đang trên đà tăng nhanh hơn rất nhiều so với khả năng xử lý của một người dùng như thông tin cá nhân hoặc giao dịch của khách hàng trực tuyến. Vì thế sự quá tải thông tin đã trở thành một thách thức to lớn đối với ngành công nghệ thông tin, nhưng điều này cũng tạo ra cơ hội cho dịch vụ điện tử để phát triển các đề xuất thường được thiết kế theo đặc điểm yêu cầu cá nhân của mỗi người (hay còn gọi là cá nhân hóa). Các hệ thống khuyến nghị thường đề xuất các mặt hàng (thông tin, sản phẩm hoặc dịch vụ) mà người dùng quan tâm dựa trên các nhóm đặc điểm đối tượng khách hàng (demographics), tính năng của mặt hàng (features) hoặc sở thích người dùng (ví dụ như thang đo đánh giá hoặc lịch sử mua hàng). Trong bối cảnh của các trang chủ dựa trên nội dung là chủ yếu, thì hệ thống khuyến nghị có thể được sử dụng để mở đường cho việc truyền bá có chọn lọc từ một luồng thông tin lớn đến người dùng hoặc hỗ trợ quản lý hiệu quả thông tin của một cá nhân. Những dịch vụ nổi tiếng trên thế giới như GroupLens cung cấp các khuyến nghị dạng cá nhân hóa của các mục tin từ cách thấu hiểu danh sách thảo luận (discussion) có khối lượng lớn, những sản phẩm có doanh thu cao trên Internet, dựa trên ý kiến của những người dùng khác [9,10]. Trong việc sử dụng các thang đánh giá của các bài báo thực hiện bởi người dùng, GroupLens xác định được rằng những người dùng khác có nhu cầu thông tin hoặc thị hiếu tương tự như người dùng được chỉ định sẵn và đồng thời GroupLens cũng khuyến nghị các bài báo mà họ thích.
2. 118 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA CITA 2017 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC” Một ví dụ điển hình về hình thức này là dịch vụ của Amazon.com khi cung cấp một đề xuất được cá nhân hoá dựa trên lịch sử mua hàng, các mối quan tâm và sở thích của các khách hàng giống nhau. Những khuyến nghị như vậy cung cấp một dịch vụ cho khách hàng có chất lượng tương xứng với sự đánh giá của chính khách hàng cho các khuyến nghị. Nếu dịch vụ này có chất lượng cao, thì các khuyến nghị có thể tạo ra độ hài lòng và sự trung thành của khách, cũng như tăng doanh số bán hàng. Từ những nghiên cứu và hệ thống thực tế đã triển khai trong giai đoạn hiện nay cho thấy việc nghiên cứu dữ liệu của khách hàng, giao dịch, sản phẩm là một điều hết sức cần thiết để đưa ra những tư vấn thông minh cho người dùng. Qua đó các hệ thống khuyến nghị này sẽ mang lại doanh thu cao hơn và lượng khách hàng trung thành nhiều hơn. Tại Việt Nam, việc ứng dụng những hệ thống tư vấn như vậy còn khá ít, do đó động lực của bài nghiên cứu này chỉ ra những phương pháp hiện nay đang được triển khai để thiết kế các hệ khuyến nghị, hiện thực hóa một phương pháp và mang nó ứng dụng trong kinh doanh thông minh. 2 Những nghiên cứu liên quan Dựa trên loại dữ liệu và kỹ thuật được sử dụng để đưa ra các quyết định khuyến nghị, các hệ thống khuyến nghị có thể được phân loại rộng rãi thành những cách tiếp cận như sau: 2.1 Phương pháp khuyến nghị dựa trên sự phổ biến (popularity) Có nhiều biện pháp đánh giá sự phổ biến như tỷ lệ phần trăm khách hàng mua một mặt hàng, số khách hàng đã mua một mặt hàng, xếp hạng trung bình cho một mặt hàng [12,13]. Vì vậy, các mục phổ biến nhất được khuyến nghị cho người dùng. Vì cách tiếp cận này cung cấp các khuyến nghị mà không cần cá nhân hóa nên phương pháp khuyến nghị dựa trên sự phổ biến nhằm làm rõ ý nghĩa mà trong đó các kỹ thuật được cá nhân hóa chỉ tạo thành một tập hợp con của hệ thống khuyến nghị. Mặc dù cách tiếp cận này chỉ có thể cung cấp các khuyến nghị không được cá nhân hoá nhưng nó lại rất phổ biến do đơn giản và hiệu quả thường áp dụng khi hệ thống không biết người dùng là ai, như thế nào, một người dùng mới. 2.2 Phương pháp khuyến nghị dựa trên nội dung (content) Phương pháp khuyến nghị dựa trên nội dung xuất phát từ ý tưởng các đặc tính của những sản phẩm có thể hữu ích trong việc khuyến nghị những sản phẩm đó hoặc tương tự. Phương pháp này phù hợp với nội dung dựa trên lọc thông tin giả định rằng mức độ liên quan (đối với người dùng cụ thể) của một sản phẩm có thể được xác định bởi nội dung của nó (ví dụ được thể hiện bởi các đặc tính của bộ phim) [1]. Phương pháp khuyến nghị dựa trên nội dung cố gắng đề xuất các sản phẩm tương tự như những sản phẩm mà người dùng đã yêu thích trong quá khứ [3, 5]. Do đó, các đặc tính của những sản phẩm và sở thích của người dùng là những yếu tố duy nhất ảnh hưởng đến các quyết định khuyến nghị cho người dùng với phương pháp này. 2.3 Phương pháp khuyến nghị lọc cộng tác (collaborative filtering) Phương pháp khuyến nghị lọc cộng tác còn được gọi là phương pháp lọc xã hội hoặc phương pháp khuyến nghị tương quan giữa người dùng với người dùng [7]. Một hệ thống lọc cộng tác xác định những người có thị hiếu tương tự với người dùng và đề xuất các bộ phim họ thích [3]. Hệ thống lọc cộng tác của người dùng chia sẻ ý kiến của họ về các sản phẩm mà họ đã xem để người dùng khác của hệ thống có thể quyết định tốt hơn các sản phẩm nào sẽ nên mua tiếp
3. Lương Ngọc Tú, Phạm Nguyễn Hoàng Nam, Võ Hà Quang Định, Đặng Thái Thịnh 119 theo [5]. Với phương pháp này, sở thích của người dùng là đầu vào duy nhất cho các quyết định khuyến nghị. 2.4 Phương pháp khuyến nghị dựa trên sự liên kết (association) Phương pháp khuyến nghị dựa trên sự liên kết dựa vào sở thích của người dùng để xác định các sản phẩm thường xuyên tìm thấy có liên quan đến các sản phẩm mà người dùng đã chọn, hoặc những sản phẩm mà người dùng đã thể hiện sự quan tâm đến trong quá khứ [12,13]. Việc dự đoán điểm số ưa thích của người dùng đang hoạt động trên một bộ phim có thể dựa trên điểm số ưa thích của người dùng khác hơn là dựa trên các bộ phim tương tự. Điều này diễn ra tương tự như các sản phẩm thương mại điện tử khác. 2.5 Phương pháp khuyến nghị dựa trên đặc tính người dùng (demographics) Phương pháp này khuyến nghị các sản phẩm cho người dùng dựa vào sở thích của những người dùng khác có đặc tính tương tự. Không giống như các phương pháp khuyến nghị khác, phương pháp này khuyến nghị được đưa ra ở cấp độ mục tiêu, phương pháp khuyến nghị dựa trên đặc tính người dùng thường tạo ra các khuyến nghị ở cấp độ cấp tổng quát hơn. Phương pháp này liên quan đến học tập và lý luận với các mối quan hệ giữa đặc tính người dùng và thể loại sản phẩm ưa thích của họ, trong đó các thể loại ưa thích của người dùng được bắt nguồn từ các sở thích cá nhân của người dùng đã nêu trước đây và phân cấp các hạng mục sản phẩm. 2.6 Phương pháp khuyến nghị dựa trên danh tiếng (reputation) Phương pháp này tập trung vào việc xác định những người dùng mà người dùng theo dõi (trực tiếp hoặc gián tiếp) và sau đó sử dụng ý kiến của các cá nhân được chọn làm cơ sở để được khuyến nghị. Phương pháp khuyến nghị dựa trên danh tiếng có nguồn gốc từ các hoạt động xã hội bao gồm các nhà phê bình hoặc các nhà lãnh đạo chính trị, người nổi tiếng khác [8]. Nó nắm bắt một khía cạnh hoàn toàn khác nhau về xã hội dựa trên cơ sở phát hiện thông tin, nơi mà người ta đánh giá về con người một cách tổng quát hơn thay vì so sánh trực tiếp sở thích. 2.7 So sánh đặc điểm của các phương pháp khuyến nghị Bảng sau đây tóm tắt các đặc điểm của từng phương pháp khuyến nghị. Phương pháp khuyến nghị dựa trên danh tiếng vẫn đang trong giai đoạn hình thành và vẫn còn ít nghiên cứu về lĩnh vực này. Mỗi phương pháp khuyến nghị đều có những ưu điểm và khuyết điểm. Để bổ sung cho những điểm yếu của một người bằng điểm mạnh của một người khác, một số kỹ thuật lai đã được đề xuất. Một số nghiên cứu bởi Balabanovic và Soham [3] là một khuyến nghị lọc dựa trên nội dung dựa trên nội dung hỗn hợp hệ thống gợi ý các trang web cho người dùng. Sarwar và cộng sự [11] đề xuất một kỹ thuật khuyến nghị tích hợp các phương pháp dựa trên lọc cộng tác và hợp tác. Bảng 1. So sánh các phương pháp khuyến nghị Phương pháp Thông tin Các loại Mức độ khuyến nghị được sử dụng khuyến nghị cá nhân hóa Dựa trên sự phổ biến Sở thích người dùng Khuyến nghị top-N Không cá nhân hóa Đặc tính của bộ phim Dự đoán, khuyến nghị Dựa trên nội dung và sở thích cá nhân top-N và người dùng Cá nhân hóa của người dùng top-M
4. 120 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA CITA 2017 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC” Dự đoán và khuyến Lọc cộng tác Sở thích người dùng Cá nhân hóa nghị top-N Dự đoán và khuyến Dựa trên sự liên kết Sở thích người dùng Cá nhân hóa nghị top-N Đặc tính người dùng, sở thích cá nhân người Dự đoán, khuyến nghị Dựa trên đặc tính dùng, và đặc tính của top-N và người dùng Cá nhân hóa người dùng bộ phim (đặc biệt là top-M loại cấp bậc) Sở thích người dùng Khuyến nghị top-N, Dựa trên danh tiếng Cá nhân hóa và ma trận danh tiếng có thể dự đoán 3 Ứng dụng phương pháp lọc cộng tác vào kinh doanh Phương pháp lọc cộng tác mang lại hiệu quả khi người dùng trải nghiệm nhiều trên các hệ thống. Ví dụ: thay vì giới thiệu các bộ phim mà người dùng đã từng thích trong quá khứ, phương pháp lọc cộng tác đề xuất các bộ phim dựa trên ý kiến của các người dùng khác để dự đoán sở thích người dùng hiện tại đang truy cập vào hệ thống, đánh giá mức độ thích của họ với bộ phim mà họ chưa hề biết. Thông thường, bằng cách tính toán sự giống nhau của người dùng, một tập hơn những người dùng có mức độ tương đồng cao nhất được gọi là những người dùng lân cận (nearest neighbor) đã biết sở thích tương quan đáng kể với người dùng sẽ được tìm thấy. Sở thích của các người dùng lân cận được sử dụng một cách hiệu quả. Do đó, trong cách tiếp cận này, người dùng chia sẻ sở thích của mình về những phim hay sản phẩm họ đã xem để những người dùng khác có thể quyết định xem bộ phim hay sản phẩm nào. Phương pháp lọc cộng tác là kỹ thuật đề xuất thành công nhất và được phổ biến rộng rãi nhất cho đến nay. Các bước làm sau đây thực hiện phương pháp lọc cộng tác: a) Dimension Reduction (giảm kích thước về số chiều của dữ liệu): Chuyển đổi ma trận người dùng × sản phẩm ban đầu thành không gian thấp để giải quyết vấn đề thưa thớt và khả năng mở rộng của dữ liệu. Ma trận mới có đặc trưng tương đồng với ma trận cũ, nhằm giảm số chiều trong tính toán. b) Neighborhood Formation (hình thành các người dùng liên quan): Đối với người dùng đang hoạt động, hãy tính toán sự tương đồng giữa tất cả những người dùng khác và tạo ra một vùng lân với một số người dùng có cùng sở thích với người dùng đang hoạt động. c) Recommendation Generation (tạo ra khuyến nghị): Tạo khuyến nghị dựa trên sở thích của tập hợp những người dùng gần nhất của người dùng đang hoạt động. Bước 1: Giảm số chiều của dữ liệu. Giai đoạn giảm kích thước chuyển đổi ma trận ưu tiên người dùng ban đầu thành không gian thấp để giải quyết vấn đề thưa thớt và khả năng mở rộng thường gặp trong các trường hợp đề xuất lọc cộng tác. Biểu diễn ban đầu của dữ liệu đầu vào cho phương pháp lọc cộng tác là một ma trận ưu tiên của người dùng m × n, ở đó n là số người dùng và m là số lượng các sản phẩm. Sự biểu diễn này có thể gây ra vấn đề thưa thớt và khả năng mở rộng cho các hệ thống lọc cộng tác. Thưa thớt là do sản phẩm rất nhiều, người dùng rất nhiều, nhưng trung bình một người dùng thì chỉ xem một số ít sản phẩm. Ví dụ trong thực tế, khi một tập hợp lớn các bộ phim có sẵn, người dùng có thể đánh giá hay chọn một tỷ lệ rất thấp các bộ phim, kết quả là một ma trận rất thưa thớt. Do đó, hệ thống khuyến nghị lọc cộng tác có thể không đưa ra bất kỳ đề xuất nào cho
5. Lương Ngọc Tú, Phạm Nguyễn Hoàng Nam, Võ Hà Quang Định, Đặng Thái Thịnh 121 một người dùng cụ thể. Mặt khác, hệ thống lọc cộng tác yêu cầu người dùng tính toán tương tự mở rộng với n và m, và do đó, gặp vấn đề nghiêm trọng về khả năng mở rộng. Để khắc phục các vấn đề được mô tả liên quan đến biểu diễn ban đầu, ma trận thưa thớt có thể được chuyển đổi thành một không gian biểu diễn thấp hơn bằng cách sử dụng phương pháp Latent Semantic Indexing. Về cơ bản, cách tiếp cận này sử dụng một sự phân tích giá trị đơn lẻ cắt ngắn để có được sự sắp xếp ước chừng d của ma trận ưu tiên người dùng ban đầu n × m. Sự biểu diễn này làm giảm bớt vấn đề thưa thớt vì tất cả các mục trong ma trận n × d khác không, có nghĩa là tất cả n khách hàng bây giờ đều có sự yêu thích của họ trên các thẻ mục d. Hơn nữa, hiệu suất tính toán tính tương đồng của người sử dụng và khả năng mở rộng của nó được cải thiện đáng kể ≪ . Bước 2: Tìm kiếm người dùng liên quan. Sử dụng phương pháp hệ số tương quan Pearson để tính toán độ tương đồng giữa các người dùng [14]. Sự tương đồng người dùng a và b được tính như sau: m p p p p i ai a bi b sim ua, u b (1) m m (p p )2 ( p p ) 2 iai a  i bi b Với pai là đánh giá của người dùng a trên sản phẩm i, là trung bình đánh giá của người dùng a (hay còn nói là quan điểm khó dễ - sự khó tính của họ trong các đánh giá cũ), và m là tổng số các sản phẩm. Sau khi tính toán sự tương đồng giữa các người dùng khác so với người dùng a, các giá trị này được sắp xếp giảm dần và lấy Top-10, Top-20 hay Top-30 người dùng có tương đồng cao nhất với a để chuyển qua bước tiếp theo. Giá trị này có thể tùy chọn cho các hệ thống sử dụng. Nhiều nghiên cứu thực nghiệm chỉ ra rằng 10, 20, 30 là các giá trị thường nên sử dụng. Bước 3: Tạo ra các giá trị dự báo. Sau khi các người dùng tương đồng gần nhất của người dùng đang hoạt động được xác định, các đề nghị tiếp theo được tạo ra. Kể từ lúc quá trình lọc cộng tác được bắt đầu cho một người dùng cụ thể, phương pháp lọc cộng tác là điển hình cho dự đoán và các quyết định đề xuất Top-N. Để ước lượng điểm số ưu tiên dự đoán trên của sản phẩm ij của người dùng ua ta sử dụng các phương pháp sinh điểm số dự đoán như sau: a) Phương pháp trung bình có trọng số (Weighted average); b) Deviation-from-mean; c) Z-score average. Trong khuôn khổ nghiên cứu này, phương pháp Z-score được sử dụng để đưa dự đoán. Phương pháp được chứng minh là có hiệu quả cao trong phân tích, dự báo nhất là các sản phẩm thương mại điện tử [4, 6]. Để dự báo đánh giá của người dùng a trên sản phẩm i. Z-score average đề xuất công thức tính toán như sau: k ()p p ui u sim u, u u 1 a u  u pai p a k (2) sim u, u u 1 a u
6. 122 KỶ YẾU HỘI THẢO KHOA HỌC QUỐC GIA CITA 2017 “CNTT VÀ ỨNG DỤNG TRONG CÁC LĨNH VỰC” Như vậy ma trận thưa sản phẩm × người dùng sẽ được lấp đầy các giá trị dự đoán. Chúng sẽ được xếp hạng để đưa ra các dự đoán. 4 Kết quả và thảo luận Trong môi trường thương mại điện tử, hệ thống khuyến nghị đã hỗ trợ rất nhiều cho kinh doanh thông minh khi dự đoán sở thích của người dùng để tiếp thị trực tiếp những gì họ có thể thích để mua. Khách hàng luôn bị tràng ngập trong thông tin và ngay bản thân họ cũng không biết họ nên xem gì, nên mua gì. Hệ khuyến nghị sẽ đưa những gì họ có thể thích từ đó gia tăng doanh thu cho doanh nghiệp. Tuy nhiên, các kỹ thuật được đề cập trong nghiên cứu này không phải là đầy đủ tất cả. Ngành khoa học về dự báo luôn luôn thay đổi và phát triển, doanh nghiệp không nằm ngoài sự việc này, họ luôn luôn tìm cách cải tiến và tiếp cận khoa học một cách mạnh để nâng cao cạnh tranh. Phương pháp lọc cộng tác cung cấp các khuyến nghị dựa trên ý kiến của người dùng khác và cung cấp một số lợi ích không có ở phương pháp tiếp cận dựa trên nội dụng. Bằng cách sử dụng ý kiến của người dùng khác thay vì đặc điểm của sản phẩm, phương pháp lọc cộng tác có thể được sử dụng để đề xuất các sản phẩm có đặc điểm không được phân tích dễ dàng bằng các kỹ thuật trích xuất tự động. Hơn nữa, phương pháp này có khả năng giới thiệu các sản phẩm dựa trên chất lượng. Cuối cùng, vì ý kiến của những người dùng khác ảnh hưởng đến sản phẩm được đề xuất, phương pháp này có thể cung cấp các lựa chọn thoải mái cho người dùng, do đó tránh được các vấn đề vượt quá yêu cầu liên quan đến phương pháp tiếp cận dựa trên nội dung. Tuy nhiên, hệ thống còn rất nhiều thách thức ngoài các vấn đề thưa thớt và khả năng mở rộng, phương pháp lọc cộng tác gây ra các vấn đề khác của riêng nó. Các sản phẩm không được đánh giá hoặc lựa chọn đủ bởi các người dùng thì sẽ không được đề xuất một cách hiệu quả. Vì vậy, phương pháp lọc cộng tác có xu hướng đề xuất các sản phẩm phổ biến. Mặt khác, dù các sản phẩm mới có sẵn thường được người dùng quan tâm, phương pháp lọc cộng tác không thể đề xuất các mục mà không ai xếp hạng hoặc lựa chọn. Đối với những người dùng có thị hiếu khác biệt so với thông thường, sẽ không có người dùng khác biệt tương tự, dẫn đến việc đề xuất kém, đây là thách thức mà hệ thống chưa thể vượt qua. Cuối cùng, các sản phẩm khác nhau rất có thể có đặc điểm giống nhau. Phương pháp lọc cộng tác không thể tìm thấy mối liên kết tiềm ẩn này và xử lý các sản phẩm này một cách khác. Do đó, việc kết hợp giữa lọc cộng tác và nội dung là điều có thể giúp cải thiện chất lượng tư vấn cho khách hàng. Hệ thống hỗ trợ quyết định và hệ thống đề nghị nên được kết hợp với hệ thống thuơng mại điện tử trên các trang web để người sử dụng thông tin hoặc khách hàng trực tuyến có thể tiếp nhận các chi tiết hoặc tìm kiếm mà mua hàng. Hơn nữa hệ thống đề nghị có thể liên quan mật thiết đối với việc tái thiết và cá nhân hóa những trang web thuơng mại điện tử. Vì sự tiến hóa liên tục của các hệ thống đề nghị chúng ta có thể dễ dàng hiểu được tại sao các hệ thống thuơng mại điện tử lại được nâng cấp thường xuyên. Vì vậy việc phát triển phần mềm theo gói có thể trở thành một lĩnh vực hứa hẹn mang lại cho các hệ thống thuơng mại sự tương tác và khả năng tái sử dụng cao hơn. Thực tế chứng minh rằng ngành thuơng mại điện tử đã cho thấy sự phù hợp và tầm quan trọng của việc thu nhập nhiều hệ thống đề nghị cùng một lúc để trợ giúp cho dịch vụ đề nghị đối với khách hàng. Không có một hệ thống khuyến nghị đơn lẻ nào có thể thỏa mãn tất cả những nhu cầu khác biệt của khách hàng về chất lượng hoặc tầm bao quát rộng hơn. Tuy nhiên, từ một góc nhìn thực tế, việc khảo sát tác động của đặc điểm khách hàng đối với các phương diện hệ
7. Lương Ngọc Tú, Phạm Nguyễn Hoàng Nam, Võ Hà Quang Định, Đặng Thái Thịnh 123 thống đề nghị là một công việc rất quan trọng. Trong quảng cáo, marketing hoặc nghiên cứu về giá cả, họ đều có thể ứng dụng phương pháp này. Đánh giá kết quả đạt được so sánh về doanh số trong từng phương pháp hay còn gọi là A/B Testing sẽ giúp cho quá trình cải tiến việc áp dụng hệ khuyến nghị trong kinh doanh thông tin một cách hiệu quả hơn. Tài liệu tham khảo 1. Alspector, J., Kolcz, A., Karunanithi, N. Comparing Feature-based and Clique-based User Models for Movie Selection. In: Proceedings of the Third ACM Conference on Digital Libraries (DL’98), pp. 11-18, 1998. 2. Ansari, A., Essegaier, S., Kohli, R. Internet Recommendation Systems. In: Journal of Marketing Research, 37(3), pp. 363-375, 2000. 3. Balabanovic, M., Shoham, Y. Fab: Content-based, Collaborative Recommendation. In: Communications of the ACM, 40(3), pp. 66-72, 1997. 4. Shani, G., Gunawardana, A. Evaluating recommendation systems. In: Recommender Systems Handbook, pp. 257-297. 2001. 5. Herlocker, J. L., Konstan, J. A, Borchers, A., Riedl, J. An Algorithmic Framework for Performing Collaborative Filtering. In: Proceedings of the 22nd Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'99), pp. 230-237, 1999. 6. Herlocker, J. L., Konstan, J. A., Terveen, L. G., Riedl J. T. Evaluating collaborative filtering recommender systems. In: ACM Transactions on Information Systems (TOIS), 22(1), pp. 5-53 (2004) 7. Konstan, J. A., Miller, B. N., Maltz, D., Herlocker, J. L., L. Gordon, R. Riedl, J.: GroupLens: Applying Collaborative Filtering to Usenet News. In: Communications of the ACM, 40(3), pp. 77-87, 1997. 8. Lynch, C. Personalization and Recommender Systems in the Larger Context: New Directions and Research Questions. In: Proceedings of the 2nd DELOS Network of Excellence Workshop on Personalization and Recommender Systems in Digital Libraries (ERCIM), 2001. 9. Resnick, P., Iacovou, N., Suchak, M., Bergstrom, P., Riedl, J.:, GroupLens: An Open Architecture for Collaborative Filtering of Netnews. In: Proceedings of the Conference on Computer Supported Cooperative Work (CSCW), pp. 175-186, 1994. 10. Rucker, J., Polanco, M. J.: Siteseer: Personalized Navigation for the Web. In: Communications of the ACM, 40(3), pp. 73-76, 1997. 11. Sarwar, B. M., Karypis, G., Konstan, J. A., Riedl, J. Analysis of Recommendation Algorithms for E-Commerce. In: Proceedings of the 2nd ACM Conference on Electronic Commerce (EC’00), pp. 158-167, 2000. 12. Schafer, J. B., Konstan, J. A., Riedl, J. Recommender Systems in E-Commerce. In: Proceedings of the First ACM Conference on Electronic Commerce (EC’99), pp. 158-166, 1999. 13. Schafer, J. B., Konstan, J. A., Riedl, J. E-Commerce Recommendation Applications. In: Data Mining and Knowledge Discovery, 5(1), pp. 115-153, 2001. 14. Shardanand, U., Maes, P. Social Information Filtering: Algorithms for Automating “Word of Mouth”. In: Proceedings of Conference on Human Factors in Computing Systems (CHI’95), pp. 210-217, 1995.