Hệ tư vấn dựa trên phân tích hàm ý thống kế

Nội dung tài liệu: Hệ tư vấn dựa trên phân tích hàm ý thống kế

1. BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG PHAN QUỐC NGHĨA HỆ TƢ VẤN DỰA TRÊN PHÂN TÍCH HÀM Ý THỐNG KẾ Chuyên ngành: Khoa học máy tính Mã số: 62.48.01.01 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - Năm 2018
2. Công trình được hoàn thành tại: ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: 1. PGS. TS. Huỳnh Xuân Hiệp 2. TS. Đặng Hoài Phƣơng Phản biện 1: Phản biện 2: Phản biện 3: Luận án sẽ được bảo vệ trước Hội đồng chấm luận án cấp Đại học Đà Nẵng Vào hồi giờ ngày tháng năm . Có thể tìm hiểu luận án tại: - Thư viện Quốc gia - Trung tâm Thông tin – Học liệu, Đại học Đà Nẵng
3. 1 MỞ ĐẦU 1. Tính cấp thiết của luận án Vấn đề quá tải thông tin thật sự trở nên phổ biến với sự phát triển mạnh mẽ của Internet và các mạng xã hội, lượng thông tin mà con người được tiếp cận đang ngày càng mở rộng. Mỗi ngày, chúng ta sẽ tiếp xúc với nhiều nguồn thông tin: các thông tin trao đổi qua email, các bài báo trên mạng Internet, các bài đăng tải trên mạng xã hội, các thông tin quảng cáo từ các trang thương mại điện tử. Với sự mở rộng thông tin từ Internet và các mạng xã hội như hiện này, việc lựa chọn thông tin hữu ích để ra quyết định của người dùng máy tính và các thiết bị thông minh sẽ ngày một khó khăn hơn. Mô hình tư vấn được xem là một giải pháp hỗ trợ người dùng lựa chọn thông tin hiệu quả và được ứng dụng rộng rãi trong nhiều lĩnh vực. Mô hình tư vấn có khả năng tự động phân tích thông tin, phân loại, lựa chọn và cung cấp cho người dùng những sản phẩm, dịch vụ được quan tâm thông qua việc ứng dụng các kỹ thuật thống kê và trí tuệ nhân tạo. Trong đó, các giải thuật học máy có vai trò quan trọng. Để đáp ứng nhu cầu cung cấp thông tin hỗ trợ cho người dùng, nhiều mô hình tư vấn đã được đề xuất như: Mô hình tư vấn dựa trên lọc cộng tác, Mô hình tư vấn dựa trên lọc nội dụng, Mô hình tư vấn dựa trên các đặc tính nhân khẩu học, Mô hình tư vấn dựa trên tri thức, Mô hình tư vấn tích hợp. Tuy nhiên, với sự bùng nổ thông tin của các trang mạng xã hội và sự dang đa các sản phẩm trên các trang thương mại điện tử như hiện nay, các mô hình tư vấn hiện tại vẫn chưa đáp ứng đầy đủ các yêu cầu phức tạp của người sử dụng. Vì thế, các
4. 2 nghiên cứu về mô hình tư vấn vẫn tiếp tục được quan tâm như: nghiên cứu cả tiến các phương pháp và thuật toán để cải thiện độ chính xác của các mô hình tư vấn đã được đề xuất, nghiên cứu cải tiến các hệ thống để thích ứng với vấn đề bùng nổ thông tin và nghiên cứu đề xuất các mô hình tư vấn mới. Xuất phát từ tình hình thực tiễn trên, đề tài “Hệ tư vấn dựa trên phân tích hàm ý thống kê” được thực hiện trong khuôn khổ luận án tiến sĩ chuyên ngành khoa học máy tính với mong muốn được đóng góp một phần vào lĩnh vực nghiên cứu mô hình tư vấn. Cụ thể là mô hình tư vấn lọc cộng tác. 2. Mục tiêu, đối tƣợng và phạm vi nghiên cứu của luận án 2.1. Mục tiêu nghiên cứu Mục tiêu của luận án là nghiên cứu đề xuất các mô hình tư vấn lọc cộng tác ứng dụng các độ đo được đề xuất từ phương pháp phân tích hàm ý thống kê, khuynh hướng biến thiên hàm ý thống kê và luật kết hợp. 2.2. Đối tương nghiên cứu Các độ đo hấp dẫn khách quan, phương pháp phân tích hàm ý thống kê và các mô hình tư vấn. 2.3. Phạm vi nghiên cứu Tập trung nghiên cứu phương pháp phân tích hàm ý thống kê, khuynh hướng biến thiên hàm ý ‎thống kê, luật kết hợp và mô hình tư vấn. 3. Phƣơng pháp nghiên cứu Phân tích và tổng hợp lý thuyết kết hợp với thực nghiệm. 4. Bố cục của luận án Phần mở đầu. Chương 1: Tổng quan.
5. 3 Chương 2: Phân lớp độ đo hấp dẫn khách quan theo tham số hàm ý thống kê. Chương 3: Mô hình tư vấn dựa trên chỉ số hàm ý thống kê. Chương 4: Mô hình tư vấn lọc cộng tác dựa trên cường độ hàm ý thống kê. Chương 5: Mô hình tư vấn lọc cộng tác dựa trên tương đồng hàm ý thống kê. Kết luận và hướng phát triển. Phụ lục 5. Đóng góp của luận án - Đề xuất phương pháp phân lớp độ đo hấp dẫn khách quan theo tham số hàm ý thống kê. - Đề xuất mô hình tư vấn dựa trên chỉ số hàm ý ‎thống kê. - Đề xuất mô hình tư vấn lọc cộng tác dựa trên cường độ hàm ý thống kê. - Đề xuất mô hình tư vấn lọc cộng tác dựa trên tương đồng hàm ý thống kê. - Xây dựng được bộ công cụ thực nghiệm ARQAT trên ngôn ngữ R. CHƢƠNG 1. TỔNG QUAN Nội dung chính của chương này nghiên cứu tổng quan về độ đo hấp dẫn khách quan, phương pháp phân tích hàm ý thống kê, khuynh hướng biến thiên hàm ý thống kê và mô hình tư vấn. Nghiên cứu các mô hình tư vấn đã được đề xuất và phân tích ưu, nhược của từng mô hình. Trên cơ sở những nghiên cứu này, xác định rõ nội dung nghiên cứu của luận án.
6. 4 1.1. Phân tích hàm ý thống kê Phân tích hàm ý thống kê là một phương pháp phân tích dữ liệu cho phép phát hiện các luật bất đối xứng theo dạng “nếu a sau đó gần như b” hoặc “xem xét đến mức độ nào mà b sẽ đáp ứng hàm ý của a”. Mục đích của phương pháp này là phát hiện các xu hướng trong một tập các thuộc tính (biến) bằng cách sử dụng độ đo chỉ số hàm ý thống kê và độ đo cường độ hàm ý thống kê. Hình 1.1.1Mô hình biểu diễn phƣơng pháp phân tích hàm ý thống kê Giả sử là một tập gồm đối tượng hoặc cá nhân được mô tả bởi một tập hữu hạn các biến (thuộc tính) nhị phân. Gọi là một tập con gồm các đối tượng thỏa các thuộc tính ; Gọi là một tập con gồm các đối tượng thỏa các thuộc tính ; ̅ (tương ứng ̅ ) là phần bù của (tương ứng ); là số phần tử của tập ; là số phần tử của tập ; Số phản ví dụ ̅ ̅ là số đối tượng thỏa thuộc tính nhưng không thỏa thuộc tính . Gọi và là hai tập ngẫu nhiên có số phần tử là và tương ứng. Trong quá trình chọn mẫu, biến ngẫu nhiên ̅ ̅ tuân theo phân phối Poisson với tham số .
7. 5 Luật được cho là chấp nhận được đối với một ngưỡng cho trước α nếu: r r ̅ r ̅ (1.2) Chúng ta hãy xem xét trường hợp n ̅ Trong trường hợp này, biến ngẫu nhiên ̅ theo phân phối Poisson có thể được chuẩn hóa ngẫu nhiên như sau: n n n r ̅ n ̅ (1.3) √n n n n Trong thực nghiệm, giá trị quan sát q ̅ của ̅ được định nghĩa bởi: n n n n ̅ n q ̅ (1.4) √n n n n Giá trị này đo độ lệch giữa giá trị ngẫu nhiên và giá trị mong đợi khi a và b là hai biến độc lập. Giá trị này được gọi là chỉ số hàm ý thống kê. Khi độ xấp xỉ được điều chỉnh phù hợp (ví dụ  > 4), biến ngẫu nhiên q ̅ có giá trị xấp xỉ phân phối chuẩn với giá trị trung bình bằng 0 và phương sai bằng 1. Giá trị cường độ hàm ý thống kê của luật được định nghĩa bởi: ∫ r( ̅ ̅ ) { (1.5) ̅ Độ đo này được sử dụng để xác định độ không chắc chắn của các phản ví dụ (counter-example) ̅ trong tập E. Giá trị cường độ hàm ý thống kê được chấp nhận với ngưỡng cho trước nếu .
8. 6 1.2. Khuynh hƣớng biến thiên hàm ý thống kê Khuynh hướng biến thiên hàm ý thống kê là một phương pháp nghiên cứu nhằm kiểm tra tính ổn định của cường độ hàm ý thống kê để thấy được sự biến thiên rất nhỏ của các độ đo trong không gian lân cận của các tham số , . Để thấy rõ hơn về khuynh hướng biến thiên hàm ý thống kê, chúng ta tiến hành khảo sát độ đo chỉ số hàm ý thống kê theo 4 tham số với công thức độ đo được định nghĩa (1.4). Để quan sát sự biến thiên của q theo sự biến thiên của các tham số , chúng ta xem các tham số là các số thực thỏa mãn bất đẳng thức sau: n và sup (1.6) Trong trường hợp này q được xem như một hàm vi phân liên tục: ̅ r q (1.7) ̅ Hàm là một hàm 4 tham số. Để quan sát sự biến thiên của q theo các tham số chỉ cần lấy đạo hàm riêng theo từng tham số. Trên thực tế, sự biến thiên này nằm trong sự ước tính tăng của hàm q với sự biến thiên của q theo các biến thiên thành phần tương ứng , , . Vì vậy, chúng ta có công thức: ̅ (1.8) ̅ Lấy đạo hàm riêng của hàm q theo ta có công thức sau: ̅ (1.12) √ Từ công thức (1.12) cho thấy, nếu có khuynh hướng tăng thì chỉ số hàm ý thống kê q có khuynh hướng tăng.
9. 7 1.3. Mô hình tƣ vấn 1.3.1. Các khái niệm cơ bản 1.3.2. Mô hình tư vấn dựa trên lọc nội dung 1.3.3. Mô hình tư vấn dựa trên lọc cộng tác 1.3.4. Mô hình tư vấn dựa trên các đặc tính nhân khẩu học 1.3.5. Mô hình tư vấn dựa trên tri thức 1.3.6. Mô hình tư vấn dựa trên luật kết hợp 1.3.7. Mô hình tư vấn dựa trên phân tích hàm ý thống kê 1.3.8. Mô hình tư vấn tích hợp 1.4. Đánh giá mô hình tƣ vấn 1.4.1. Phương pháp xây dựng dữ liệu đánh giá 1.4.2. Phương pháp đánh giá mô hình tư vấn 1.5. Ứng dụng của mô hình tƣ vấn 1.6. Hƣớng phát triển của mô hình tƣ vấn 1.7. Kết luận chƣơng 1 Đóng góp của chương này nghiên cứu về độ đo hấp dẫn khách quan, phương pháp phân tích hàm ý thống kê. Nghiên cứu các mô hình tư vấn, phân tích ưu, nhược của từng mô hình. Đây là cơ sở để xác định nội dung nghiên cứu của luận án. CHƢƠNG 2. PHÂN LỚP CÁC ĐỘ ĐO HẤP DẪN KHÁCH QUAN THEO THAM SỐ HÀM Ý THỐNG KẾ Nội dung chính của chương này trình bày về độ đo hấp dẫn khách quan, các phương pháp phân lớp các độ đo hấp dẫn khách quan và đề xuất phương pháp phân lớp độ đo dựa trên cách tiếp cận bất đối xứng sử dụng các tham số hàm ý thống kê. Kết quả nghiên cứu của chương này được công bố tại các công trình ([3]), ([4]) trong danh mục công trình công bố của tác giả.
10. 8 2.1. Độ đo hấp dẫn khách quan Độ đo hấp dẫn khách quan là độ đo đánh giá các mẫu tri thức trên cơ sở phân phối của dữ liệu. Giả sử rằng chúng ta có một tập hữu hạn các giao dịch, với mỗi giao dịch chứa các sản phẩm trong tập . Luật kết hợp được biểu diễn dưới dạng trong đó A và B là hai tập phần tử rời nhau ( ) với a là các thuộc tính của các đối tượng thuộc tập A, b là các thuộc tính của các đối tượng thuộc tập B. Tập phần tử A (tương ứng B) được gắn với một tập con các giao dịch { } (tương ứng ). Tập phần tử ̅ (tương ứng ̅) được gắn kết ̅ ̅ { } (tương ứng ̅ ̅ ). Mỗi một luật được mô tả bằng 4 tham số: | | | | | | ̅ | ̅|. Khi đó, giá trị hấp dẫn của một luật kết hợp dựa trên một độ đo hấp dẫn khách quan sẽ được tính dựa trên 4 tham số của một luật ̅ . n 푛 T A 푛 ̅ B 푛 푛 ̅ 푛 Hình 2.1.2Bản số của một luật kết hợp 2.2. Phân lớp độ đo hấp dẫn khách quan 2.2.1. Phân lớp độ đo dựa trên khảo sát các thuộc tính 2.2.2. Phân lớp độ đo dựa trên khảo sát các hành vi 2.3. Phân lớp độ đo hấp dẫn khách quan theo tham số hàm ý thống kê
11. 9 2.3.1. Quy tắc xác định giá trị biến thiên của độ đo dựa trên đạo hàm riêng Giá trị biến thiên các độ đo hấp dẫn khách quan theo tham số hàm ý thống kê được xác định theo các quy tắc sau: - Nếu đạo hàm riêng theo tham số có giá trị dương thì thuộc tính biến thiên của độ đo theo tham số tương ứng được gán nhãn bằng 1; - Nếu đạo hàm riêng theo tham số có giá trị âm thì thuộc tính biến thiên của độ đo theo tham số tương ứng được gán nhãn bằng -1; - Nếu đạo hàm riêng theo tham số bằng không thì thuộc tính biến thiên của độ đo theo tham số tương ứng được gán nhãn bằng 0. 2.3.2. Quy tắc phân lớp độ đo dựa trên thuộc tính biến thiên Các độ đo được phân lớp theo quy tắc sau: - Nếu giá trị khảo sát của đạo hàm riêng có nhãn bằng 1 thì xếp độ đo vào lớp các độ đo tăng theo tham số tương ứng; - Nếu giá trị khảo sát của đạo hàm riêng có nhãn bằng -1 thì xếp độ đo vào lớp các độ đo giảm theo tham số tương ứng; - Nếu giá trị khảo sát của đạo hàm riêng có nhãn bằng 0 thì xếp độ đo vào lớp các độ đo độc lập tham số tương ứng; - Nếu giá trị khảo sát của đạo hàm riêng có nhãn nhiều hơn một giá trị (1, 0, -1) thì xếp độ đo đó vào lớp các độ đo khác. 2.4. Kết quả phân lớp các độ hấp dẫn khách quan bất đối xứng 2.4.1. Kết quả phân lớp các độ đo dựa trên đạo hàm riêng theo n 2.4.2. Kết quả phân lớp các độ đo dựa trên đạo hàm riêng theo 2.4.3. Kết quả phân lớp các độ đo dựa trên đạo hàm riêng theo 2.4.4. Kết quả phân lớp các độ đo dựa trên đạo hàm riêng theo 2.5. So sánh và đánh giá kết quả phân lớp theo tham số hàm ý thống kê - Lớp các độ đo độc lập với tham số n theo phương pháp phân lớp dựa trên khuynh hướng biến thiên hàm ý thống kê
12. 10 được xếp vào lớp các độ đo thỏa tính chất mô tả (Descriptive) theo phương pháp phân lớp dựa trên thuộc tính của độ đo. - Phần lớn các độ đo thỏa tính chất bất đối xứng đều tăng theo tham số và giảm theo tham số khi tính giá trị dựa trên luật kết hợp. - Lớp các độ đo thỏa tính chất thống kê (Statistical) luôn biến thiên tăng hoặc giảm với tham số hàm ý thống kê. 2.6. Kết luận chƣơng 2 Đóng góp chính của chương này là đề xuất phương pháp phân lớp các độ đo hấp dẫn khách quan dựa trên tham số hàm ý thống kê. Sau đó ứng dụng phương pháp này để tiến hành phân lớp trên 39 độ đo hấp dẫn khách quan bất đối xứng. Kết quả này có thể giúp cho người dùng lựa chọn độ đo phù hợp cho mô hình tư vấn lọc cộng tác. CHƢƠNG 3. MÔ HÌNH TƢ VẤN DỰA TRÊN CHỈ SỐ HÀM Ý THỐNG KÊ Nội dung chính của chương này đề xuất mô hình tư vấn dựa trên tiếp cận bất đối xứng sử dụng luật kết hợp, độ đo chỉ số hàm ý thống kê và đạo hàm riêng theo các tham số hàm ý thống kê. Mô hình này đặc biệt quan tâm đến mối quan hệ hàm ý giữa các thuộc tính điều kiện và các thuộc tính quyết định trên cùng một đối tượng để đưa ra kết quả tư vấn cho người dùng. Kết quả nghiên cứu của chương này được công bố tại các công trình (1), (2) trong danh mục công trình công bố của tác giả. 3.1. Luật kết hợp dựa trên thuộc tính quyết định 3.1.1. Định nghĩa luật kết hợp dựa trên thuộc tính quyết định Gọi { } là tập n người dùng, trong đó mỗi người dùng được lưu trữ như một giao dịch, được xem là cơ sở dữ liệu giao dịch; { } là tập m thuộc tính của mỗi người dùng, trong đó { }
13. 11 là tập các thuộc tính điều kiện, { } là tập các thuộc tính quyết định. Một luật kết hợp dựa trên tập thuộc tính quyết định được sinh từ cơ sở dữ liệu giao dịch là một biểu thức hàm ý có dạng: { | | | | | } 3.1.2. Thuật toán sinh luật kết hợp dựa trên thuộc tính quyết định Input: Tập dữ liệu giao dị h n ười dùng . Output: Tập luật kết hợp ho mô hình tư vấn. Begin ước 1: Duyệt toàn bộ tập để xá định support của mỗi ứng viên trong tập 1 thuộc tính, so sánh vớ m n_sup để ó được tập 1 thuộc tính ( ). ước 2: Sử dụng nối (join) để sinh ra phần tử ứng viên của tập thuộc tính. Loại bỏ các tập không phải là tập phổ biến t thu được tập thuộc tính. ước 3: Duyệt toàn bộ tập để xá định Support của mỗi ứng viên trong tập thuộc tính, so sánh vớ m n_sup để thu được tập k thuộc tính phổ biến ( ). ước 4: Lặp lại từ ướ ho đến khi tập ứng viên sinh ra là rỗng. ước 5: Với mỗi tập phổ biến , sinh các tập con không rỗng của . ước 6: Với mỗi tập con không rỗng của , sinh ra các luật: { | { } on n m n_ on } End. 3.2. Tham số hàm ý thống kê của luật kết hợp 3.2.1. Tham số hàm ý thống kê 3.2.2. Tham số hàm ý thống kê dựa trên ma trận nhị phân
14. 12 3.3. Tính chỉ số hàm ý thống kê và giá trị đạo hàm riêng dựa trên các tham số hàm ý thống kê 3.4. Mô hình tƣ vấn dựa trên chỉ số hàm ý thống kê 3.4.1. Định nghĩa mô hình tư vấn dựa trên chỉ số hàm ý thống kê Mô hình tư vấn dựa trên chỉ số hàm ý thống kê được định nghĩa như sau: Trong đó: - { } là tập n người dùng; - { } là tập m thuộc tính cho mỗi người dùng, trong đó { } là tập các thuộc tính điều kiện, { } là tập các thuộc tính quyết định; - { } là tập luật kết hợp được chọn cho mô hình; - là các hàm tính toán để tìm ra các luật kết hợp { } có giá trị tư vấn cho người dùng u dựa trên độ đo chỉ số hàm ý thống kê và đạo hàm riêng theo các tham số hàm ý thống kê. 3.4.2. Thuật toán tư vấn dựa trên chỉ số hàm ý thống kê Input: - Tập dữ liệu giao dịch; - Tập giá trị các thuộ tính đ ều kiện ( ) củ n ười dùng ; Output: Tập luật kết hợp hỗ trợ lựa chọn giá trị của thuộc tính quyết định; Begin ước 1: Sinh tập luật kết hợp dựa trên thuộc tính quyết định từ tập dữ liệu giao dịch. ước 2: á định giá trị các tham số hàm ý thống kê cho tập luật kết hợp: Với mỗi luật kết hợp dựa trên thuộc tính quyết định thuộc tập luật á định giá trị của tham số >; á định giá trị của tham số >; á định giá trị của tham số >; á định giá trị của tham số ̅ >;
15. 13 ước 3: Tính giá trị chỉ số hàm ý thống kê và giá trị đạo hàm riêng dựa trên các tham số hàm ý thống kê: Với mỗi luật kết hợp dựa trên thuộc tính quyết định thuộc tập luật RU ; ; ; ; ; ước 4: Chọn tập luật tư vấn ho n ười dùng : Với mỗi luật kết hợp dựa trên thuộc tính quyết định thuộc tập luật Nếu ( ) thì ư luật kết hợp vào tập luật tư vấn ho n ười dùng >; ; ; End. 3.5. Thực nghiệm 3.5.1. Dữ liệu thực nghiệm Mô hình được thực nghiệm trên hai tập dữ liệu: tập dữ Lenses của UCI và tập dữ liệu tuyển sinh đại học, cao đẳng chính quy của Trường Đại học Trà Vinh (DVT-Data). 3.5.2. Đánh giá độ chính xác của mô hình trên tập dữ liệu chuẩn
16. 14 Bảng 3.17. Kết quả tƣ vấn với các thuộc tính điều kiện {i1=1, i2=2, i3=2, i4=1} Từ kết quả tư vấn trong bảng 3.17, người dùng có xem xét dựa trên các giá trị của thuộc tính quyết định để đưa ra quyết định cuối cùng có sử dụng kính áp tròng hay không. 3.5.3. Đánh giá độ chính xác của mô hình trên tập dữ liệu thực Mô hình đã đưa ra 8 kết quả có chứa mã ngành học do thí sinh đăng ký trên 10 lần chạy. Đặc biệt, hầu hết kết quả tư vấn đều dựa trên các luật liên quan đến khối thi và điểm thi của các môn trong khối thi. Đây là một đặc điểm khá phù hợp với yêu cầu thực tế của công tác tư vấn tuyển sinh. 3.6. Kết luận Đóng góp của chương này là đề xuất mô hình tư vấn dựa trên chỉ số hàm ý thống kê và luật kết hợp. Điểm khác biệt của mô hình này là dựa vào giá trị của các thuộc tính điều kiện để tính toán ra các giá trị của các thuộc tính quyết định của cùng một đối tượng. CHƢƠNG 4. MÔ HÌNH TƢ VẤN LỌC CỘNG TÁC DỰA TRÊN CƢỜNG ĐỘ HÀM Ý THỐNG KÊ Chương này đề xuất một mô hình mới cho mô hình tư vấn lọc cộng tác dựa trên tiếp cận bất đối xứng. Mô hình tư vấn lọc cộng tác sử dụng luật kết hợp và độ đo cường độ hàm ý thống kê. Trong đó, mô hình sử dụng tập luật kết hợp có độ ngạc nhiên cao được sinh ra dựa trên ma trận xếp hạng và độ đo cường độ hàm ý thống kê.
17. 15 Kết quả nghiên cứu của chương này được công bố tại công trình (12) trong danh mục công trình công bố của tác giả. 4.1. Luật kết hợp dựa trên cƣờng độ hàm ý thống kê 4.1.1. Định nghĩa luật kết hợp dựa trên cường độ hàm ý thống kê Gọi { } là tập n người dùng; { } là tập m sản phẩm; { } là ma trận xếp hạng của người dùng cho các sản phẩm với mỗi dòng biểu diễn cho một người dùng ( ), mỗi cột biểu diễn cho một sản phẩm ( ); là giá trị xếp hạng của người dùng cho sản phẩm ; là tập các sản phẩm được xếp hạng bởi người dùng ; là tập các sản phẩm được xếp hạng bởi người dùng và . Luật kết hợp dựa trên độ đo cường độ hàm ý thống kê được định nghĩa: Trong đó là hai tập rời nhau với và Luật này được chấp nhận với ngưỡng cường độ hàm ý thống kê: với Trong đó được định nghĩa trong công thức (1.5). 4.1.2. Thuật toán sinh luật kết hợp dựa trên cường độ hàm ý thống kê Input: Tập dữ liệu huấn luyện và n ưỡng giá trị ườn độ hàm ý thống kê; Output: Tập luật kết hợp dự trên độ đo ườn độ hàm ý thống kê; Begin ước 1: Sinh các tập từ đến k phần tử ; ; ; ước 2: Sinh tập con không rỗng cho các tập ứng viên
18. 16 Với mỗi tập ứng viên I thực hiện ; ước 3: Sinh các luật kết hợp vớ n ưỡn ườn độ hàm ý thống kê Với mỗi tập con s khác rỗng và s thuộc I thực hiện thao tác sau: ; Nếu giá trị ườn độ hàm ý của luật kết hợp r n ưỡng ( ) thì ; End. 4.2. Mô hình tƣ vấn lọc cộng tác dựa trên cƣờng độ hàm ý thống kê 4.2.1. Định nghĩa mô hình tư vấn dựa trên cường độ hàm ý thống kê Gọi { } là tập n người dùng; { } là tập m sản phẩm; { } là tập dữ liệu huấn luyện, với là giá trị xếp hạng của người dùng cho sản phẩm ; { } là tập dữ liệu kiểm tra, với là giá trị xếp hạng của người dùng cho sản phẩm ; { } là tập luật kết hợp được sinh ra từ tập dữ liệu huấn luyện dựa trên độ đo cường độ hàm ý thống kê; { } là ma trận logic, với là giá trị kiểm tra logic giữa luật và người dùng , nếu người dùng có xếp hạng cho các sản phẩm thuộc vế trái của luật thì , ngược lại ; { } là tập luật kết hợp được chọn cho người dùng . Kết quả tư vấn cho người dùng là tập các sản phẩm thuộc vế phải của tập luật và các sản phẩm này chưa được người dùng xếp hạng { }. 4.2.2. Thuật toán tư vấn dựa trên cường độ hàm ý thống kê Input: - Tập luật kết hợp được sinh ra từ tập dữ liệu huấn luyện, - Tập dữ liệu kiểm tra; Output: Kết quả tư vấn cho từn n ười dùng trong tập dữ liệu kiểm tra;
19. 17 Begin ước 1: Tạo ma trận logic dựa trên tập luật kết hợp và tập dữ liệu kiểm tra t = ; l = ; { }, với { } { }; Với mỗi luật kết hợp đã họn thực hiện Với mỗ n ười dùng trong tập kiểm tra thực hiện ế ậ ả ộ ế á ậ ê ậ ả đượ ườ ê ộ ế ạ ì N ược lại ước 2: Chọn các luật kết hợp cho từn n ười dùng cần tư vấn Với mỗ n ười dùng trong tập kiểm tra thực hiện Với mỗi luật kết hợp đã họn thực hiện Nếu ( ) thì ; ước 3: Chọn các sản ph m cần tư vấn cho từn n ười dùng Với mỗ n ười dùng trong tập kiểm tra thực hiện ; ; End. 4.2.3. Đánh giá độ chính xác của mô hình 4.3. Thực nghiệm 4.3.1. Dữ liệu thực nghiệm Phần thực nghiệm được thực hiện trên hai tập dữ liệu khác nhau: tập dữ liệu xếp hạng dạng số thực (MovieLens) và tập dữ liệu xếp hạng dạng nhị phân (MSWeb).
20. 18 4.3.2. So sánh độ chính xác của mô hình trên dữ liệu xếp hạng dạng nhị phân và dữ liệu xếp hạng dạng số thực Kết quả đánh giá độ chính xác của mô hình dựa trên ba độ đo Precision, Recall và Fmeasure (Hình 4.2) cho thấy mô hình cho kết quả tư vấn trên tập dữ liệu xếp hạng dạng nhị phân có độ chính xác cao hơn so với kết quả tư vấn trên tập dữ liệu xếp hạng dạng số thực. Hình 4.2. Biểu đồ cho thấy mô hình có độ chính xác cao trên dữ liệu xếp hạng dạng nhi phân 4.3.3. Độ chính xác của mô hình so với các mô hình tư vấn lọc cộng tác khác Để đánh giá hiệu quả của mô hình đề xuất (IIR) so với các mô hình lọc cộng tác khác, luận án tiến hành so sánh độ chính xác của mô hình đề xuất với độ chính xác của các mô hình tư vấn lọc cộng tác: Mô hình tư vấn lọc cộng tác dựa trên người dùng (UBCF), Mô hình tư vấn lọc cộng tác dựa trên sản phẩm (IBCF) và Mô hình lọc cộng tác dựa trên luật kết hợp (AR). Kết quả so sánh được trình bày trong hình 4.3.
21. 19 Hình 4.3. So sánh độ chính xác của các mô hình tƣ vấn Kết quả này cho thấy mô hình tư vấn dựa trên cường độ hàm ý thống kê có độ chính xác khá cao trên hai tập dữ liệu thực nghiệm. Đặc biệt, trên dữ liệu nhị phân (MSWeb), mô hình có độ chính xác vượt xa so với các mô hình còn lại. 4.4. Kết luận chƣơng 4 Đóng góp của chương này là đề xuất mô hình tư vấn lọc cộng tác dựa trên cường độ hàm ý thống kê. Thực nghiệm mô hình trên hai tập dữ liệu chuẩn và so sánh kết quả đánh giá với các mô hình tư vấn lọc cộng tác hiệu quả khác. Kết quả thực nghiệm cho thấy việc sử dụng luật kết hợp bất đối xứng dựa trên phương pháp phân tích hàm ý thống kê có thể làm tăng độ chính xác của mô hình tư vấn lọc cộng tác. CHƢƠNG 5. MÔ HÌNH TƢ VẤN LỌC CỘNG TÁC DỰA TRÊN TƢƠNG ĐỒNG HÀM Ý THỐNG KÊ Chương này trình bày các bước xây dựng độ đo tương đồng dựa trên tiếp cận bất đối xứng cho mô hình tư vấn lọc cộng tác dựa trên người dùng. Độ đo tương đồng giữa hai người dùng được xây dựng dựa trên luật kết hợp và độ đo cường độ hàm ý thống kê. Kết quả nghiên cứu của chương này được công bố tại các công trình (7), (8) trong danh mục công trình công bố của tác giả.
22. 20 5.1. Độ đo tƣơng đồng dựa trên cƣờng độ hàm ý thống kê 5.1.1. Độ đo tương đồng hàm ý thống kê giữa hai người dùng Giá trị tương đồng hàm ý thống kê giữa hai người , xác định bởi công thức sau: ∑ r u u Trong đó: - u u : là giá trị tương đồng giữa hai người dùng u u ; - r : là giá trị cường độ hàm ý thống kê của luật kết hợp r ; - : là số lượng luật kết hợp của tập luật kết hợp được sinh ra từ dữ liệu xếp hạng của hai người dùng u u . 5.1.2. Thuật toán đo độ tương đồng hàm ý thống kê giữa hai người dùng Input: Dữ liệu xếp hạng củ h n ười dùng u u ; Output: Giá trị tươn đồng giữ h n ười dùng u u ; Begin ước 1: Sinh luật kết hợp từ ma trận xếp hạng củ n ười dùng ước 2: Chọn các luật kết hợp ho h n ười dùng u u ; ̅ ; ̅ ; ước 3: á định các tham số ̅ cho các luật đã họn Với mỗi luật trong tập luật kết hợp đã họn á định các tham số , , , ̅ >; ước 4: Tính giá trị ườn độ hàm ý thống kê cho tập luật kết hợp đã họn Với mỗi luật kết hợp trong tập luật đã họn ; ước 5: ính độ tươn đồng giữ h n ười dùng u u ( u u ) ; ;
23. 21 End. 5.2. Mô hình tƣ vấn lọc cộng tác dựa trên tƣơng đồng hàm ý thống kê 5.2.1. Định nghĩa mô hình tư vấn dựa trên tương đồng hàm ý thống kê Mô hình tư vấn lọc cộng tác dựa trên tương đồng hàm ý thống kê được định nghĩa như sau: Trong đó: - { } là tập n người dùng của hệ thống; - { } là tập m sản ph m của hệ thống; - { } là ma trận xếp hạng củ n ười dùng cho các sản ph m, là giá trị xếp hạng củ n ười dùng cho sản ph m ; - là hàm tính toán để tìm ra các sản ph m cần tư vấn ho n ười dùng (với { } ). 5.2.2. Thuật toán tư vấn lọc cộng tác dựa trên tương đồng hàm ý thống kê Input: - Tập n ười dùng U; Tập sản ph m I, Ma trận xếp hạng R; - N ười dùng cần tư vấn ; Output: Các sản ph m tư vấn ho n ười dùng : { }; Begin ước 1: á định nh sá h n ườ n tươn đồng vớ n ười dùng Với mỗ n ười dùng thực hiện á định giá trị tươn đồng giữa và bằn độ đo tươn đồng hàm ý thống kê: >; ;
24. 22 ; ước 2: Tính giá trị xếp hạng dự đoán ho á sản ph m ; ; ước 3: Chọn các sản ph m tư vấn ho n ười dùng ; End. 5.3. Thực nghiệm 5.3.1. Dữ liệu thực nghiệm Phần thực nghiệm được thực hiên trên hai tập dữ liệu: tập dữ MovieLense và tập dữ liệu MSWeb. 5.3.2. Đánh giá mô hình trên dữ liệu xếp hạng dạng số thực Bảng 5.4. So sánh các thông số lỗi của hai mô hình RMSE MSE MAE Mô hình sử dụng độ đo tương 0.8961562 0.8030960 0.7077939 đồng hàm ý thống kê Mô hình sử dụng độ đo Pearson 0.9796664 0.9597462 0.7704055 Bảng 5.4 cho thấy các chỉ số lỗi (RMSE, MSE, MAE) của mô hình có giá trị thấp hơn so với kết quả đánh giá của mô hình sử dụng độ đo tương đồng Pearson. 5.3.3. Đánh giá mô hình trên dữ liệu xếp hạng dạng nhị phân Kết quả của mô hình được so sánh với mô hình sử dụng độ đo tương đồng Jaccard bằng cách xây dựng biểu đồ ROC để vẽ đường tỷ số của precision và recall được trình bày trong hình 5.8. Qua biểu đồ cho thấy tỷ số precision và recall trên mô hình sử dụng độ đo tương đồng hàm ý thống kê có giá trị cao hơn so
25. 23 với tỷ số precision và recall trên mô hình sử dụng độ đo tương đồng Jaccard. Hình 5.8.3Biểu đồ ROC so sánh tỷ số precision – recall trên hai mô hình 4.4. Kết luận chƣơng 5 Đóng góp của chương này trình bày các bước xây dựng độ đo tương đồng mới cho mô hình tư vấn lọc cộng tác dựa trên người dùng. Độ đo tương đồng giữa hai người dùng được xây dựng dựa trên luật kết hợp và độ đo cường độ hàm ý thống kê được gọi là độ đo tương đồng hàm ý thống kê.
26. 24 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 1. Các kết quả của luận án - Nghiên cứu tổng quan về độ đo hấp dẫn khách quan, phương pháp phân tích hàm ý thống kê, khuynh hướng biến thiên hàm ý thống kê và mô hình tư vấn. - Đề xuất phương pháp phân lớp các độ đo hấp dẫn khách quan dựa trên tiếp cận bất đối xứng sử dụng các tham số hàm ý thống kê. - Đề xuất mô hình tư vấn dựa trên chỉ số hàm ý thống kê. Mô hình này giải quyết cho lớp bài toán tư vấn khi các thuộc tính điều kiện và thuộc tính quyết định trên cùng một đối tượng. - Đề xuất mô hình tư vấn lọc cộng tác dựa trên cường độ hàm ý thống kê. Mô hình này dựa trên luật kết hợp và độ đo cường độ hàm ý thống kê để đưa ra kết quả tư vấn cho người dùng. - Đề xuất độ đo tương đồng hàm ý thống kê dựa trên tiếp cận bất đối xứng để cải thiện độ chính xác của mô hình tư vấn lọc cộng tác dựa trên người dùng. - Xây dựng được bộ công cụ thực nghiệm ARQAT trên ngôn ngữ R bao gồm các chức năng đáp ứng cho việc triển khai các thực nghiệm của luận án. 2. Hƣớng phát triển - Xây dựng kernel tương đồng dựa trên phương pháp phân tích hàm ý thống kê cho mô hình tư vấn lọc cộng tác nhằm giảm thời gian tính toán cho các hệ thống tư vấn trực tuyến đáp ứng nhanh yêu cầu của người dùng. - Xây dựng mô hình tư vấn lọc cộng tác dựa trên đồ thị hàm ý phân cấp (implicative hierarchy graph).
27. DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC [1] Phan Quốc Nghĩa, Nguyễn Minh Kỳ, Nguyễn Tấn Hoàng, Huỳnh Xuân Hiệp, “Hệ tư vấn dựa trên tiếp cận hàm ý thống kê”, Kỷ yếu Hội nghị Quốc gia lần thứ VIII về Nghiên cứu cơ bản và ứng dụng Công Nghệ thông tin (FAIR), pp. 297-308, 2015. [2] Phan Quốc Nghĩa và Huỳnh Xuân Hiệp, “Hệ tư vấn dựa trên khuynh hướng biến thiên hàm ý thống kê”, Hội thảo quốc gia lần thứ XVIII: Một số vấn đề chọn lọc của Công nghệ thông tin và truyền thông, Chủ đề: Xử lý dữ liệu lớn, pp. 93-99, 2015. [3] Nghia Quoc Phan, Hiep Xuan Huynh, Fabrice Guillet, Régis Gras, “Classifying objective interestingness measures based on the tendency of value variation”, Quaderni di Ricerca in Didattica, ISSN 1592-4424, pp. 143-172, 2015. [4] Nghia Quoc Phan, Vinh Cong Phan, Hung Huu Huynh, Hiep Xuan Huynh, “Clustering the objective interestingness measures based on tendency of variation in statistical implications”, EAI Endorsed Transactions on Context- Aware Systems and Applications, Vol. 3, No. 9, pp. 1-8, 2016. [5] Nghia Quoc Phan, Phuong Hoai Dang, Hiep Xuan Huynh, “Similarity Kernel for User-based Collaborative Filtering Recommendation System”, The 2016 IEEE RIVF International Conference on Computing & Communication Technologies, Addendum proceeding, pp. 40-46, 2016. [6] Phan Quốc Nghĩa, Đặng Hoài Phương, Huỳnh Xuân Hiệp, “Lựa chọn mô hình và tham số cho bài toán tư vấn lọc cộng tác dựa trên đồ thị đánh giá”, Tạp chí Khoa học Trường Đại học Cần Thơ, Số chuyên đề: Công nghệ thông tin (2017), ISSN 1859-2333, pp. 171-178, 2017.
28. [7] Phan Quốc Nghĩa, Nguyễn Minh Kỳ, Đặng Hoài Phương, Huỳnh Xuân Hiệp, “Hệ tư vấn lọc cộng tác theo người dùng dựa trên độ đo hàm ý thống kê”, Kỷ yếu Hội nghị Quốc gia lần thứ IX về Nghiên cứu cơ bản và ứng dụng Công Nghệ thông tin (FAIR), pp. 231-239, 2016. [8] Nghia Quoc Phan, Phuong Hoai Dang, Hiep Xuan Huynh, “Statistical Implicative Similarity Measures for Userbased Collaborative Filtering Recommender System”, (IJACSA) International Journal of Advanced Computer Science and Applications, Vol. 7, No. 11 (ISI/WoS ESCI index), pp. 140-146, 2016. [9] Lan Phuong Phan, Nghia Quoc Phan, Vinh Cong Phan, Hung Huu Huynh, Hiep Xuan Huynh, and Fabrice Guillet, “Classification of objective interestingness measures”, EAI Endorsed Transactions on Context-Aware Systems and Applications, Vol. 3, No. 10, pp. 1-13, 2016. [10] Lan Phuong Phan, Nghia Quoc Phan, Ky Minh Nguyen, Hung Huu Huynh, Hiep Xuan Huynh, and Fabrice Guillet, “Interestingnesslab: A Framework for Developing and Using Objective Interestingness Measures”, In ICTA 2016: International Conference on Advances in Information and Communication Technology, Springer-Verlag, pp. 302-311, 2016. [11] Phan Quốc Nghĩa, Đặng Hoài Phương, Huỳnh Xuân Hiệp, “Mô hình tư vấn lọc cộng tác tích hợp dựa trên tương đồng sản phẩm”, Tạp chí Khoa học và Công nghệ - Đại học Đà Nẵng, Vol. 1(110), pp. 55-58, 2017. [12] Nghia Quoc Phan, Phuong Hoai Dang, Hiep Xuan Huynh, “Collaborative recommenderation based on statistical implication rules”, Journal of Computer Science and Cybernetics, Vol. 33, No. 3, pp. 1-16, 2017.